Joint UAV Flight and Opportunistic Routing under Reinforcement Learning for Delay-Tolerant Networks

インターネットが存在しない、あるいは少なくとも、あなたのスマートフォンが毎秒サーバーに接続されているような種類のインターネットが存在しない世界を想像してみてください。被災地や遠隔地の森林、あるいは電波が混雑している忙しい都市のような場所では、メッセージは送信者から受信者へと瞬時に「飛ぶ」ことはできません。代わりに、メッセージは「ホットポテト（熱いジャガイモ）」のゲームをしなければなりません。これは、動いている車やドローンがプレイヤーとなる、タグ回しゲームのようなものです。メッセージは「イッツ（次は君だ）」のタグです。もしあなたがタグをキャッチしたら、それを保持し、さらに遠くまで運べる誰かとぶつかるまで持ち続けます。これを「ストア・キャリー・フォワード（蓄積・運搬・転送）」と呼びます。

厄介なのは、これらのネットワークがしばしば疎で混沌としていることです。「プレイヤー」（車や人々）は固定された道路上を移動し、「タグ」（メッセージ）には期限が設けられています。もしプレイヤー同士が十分に頻繁に出会わなかったり、あるいはプレイヤーが増えすぎてタグを入れるポケットが足りなくなったりすると、メッセージは失われてしまいます。これを解決するために、科学者たちは、空飛ぶ伝令役として無人航空機（UAV）、つまりドローンを使用し始めました。ドローンは交通渋滞の上空を飛び、より遠くまで到達し、正確に行き先を選ぶことができます。しかし、ここで大きな疑問が生じます。中央のボスが全員に指示を出すことなく、どのようにしてドローンにどこへ飛ぶべきかを伝え、同時に地上車両にいつメッセージを渡すべきかを伝えるのでしょうか？ もしドローンが間違った方向に飛んでしまったら、車は決して出会えないかもしれません。もし車が間違った相手にメッセージを渡してしまったら、ドローンは空っぽの場所に飛んでいくことになるかもしれません。

これこそが、Xiao WangとShun-Ren Yangの研究者らが、JUROR（Joint UAV flight and Opportunistic Routing：共同UAV飛行および日和見ルーティング）に関する論文で取り組んだパズルです。彼らは単に推測したわけではありません。彼らは強化学習と呼ばれる一種の人工知能を用いて、スマートなシステムを構築しました。ドローンと車のチームが一緒にビデオゲームをプレイしているところを想像してみてください。彼らには未来の地図はありませんが、試行錯誤を通じて学習します。メッセージの伝達に成功すれば「ポイント」を獲得します。メッセージが期限切れになったり、ドローンが他のドローンの群れに衝突したりすると、ポイントを失います。論文では、このシナリオを数千回シミュレーションすることで、ドローンと車が協力する方法を教えています。

主な知見は、ドローンと車が単に固定されたルールに従うのではなく、一つのチームとして共に働くことを学んだとき、より多くのメッセージを配信できるということです。研究者たちは、ドローンが「制御可能」である必要があること、つまり、交通が混雑している場所に基づいてドローンの飛行場所が決定される必要があることを発見しました。また、ドローンは学習中（シミュレーター内）には「リファレンスガイド（グローバル情報）」を使用できますが、実際に作業している（実世界での運用）ときは、自分が見える範囲の情報のみを使用して自律的に判断を下さなければならないことも分かりました。この**「集中学習・分散実行（CTDE）」**と呼ばれるアプローチこそが、秘伝のソース（成功の鍵）となりました。

シミュレーションにおいて、JURORシステムは従来の古い手法を大幅に上回る性能を示しました。例えば、69個のメッセージが送信されたあるテストシナリオでは、従来の手法では約半数のメッセージしか配信できませんでしたが、JURORシステムは57個以上（約83%）を配信しました。論文は、単にドローンを追加するだけでは不十分であることを示唆しています。ドローンは、地上車両の新しい出会いの場を作り出すために積極的に操縦される必要があり、車両はドローンの動きに基づいていつメッセージを渡すべきかを判断しなければなりません。これは、情報の流れを維持するために、空を飛ぶものと地上を歩くものが同期して動かなければならない、繊細なダンスなのです。

空飛ぶ伝令たちの物語

では、JURORは実際にどのように機能するのでしょうか？ 賑やかな街の通りを思い浮かべてください。渋滞に巻き込まれたたくさんの車（地上ノード）がいて、その上空を数機のドローン（UAV）がブンブンと飛び回っています。車は特定の目的地に送るべきメッセージを持っていますが、近くにいる車やドローンとしか通信できません。もし車が渋滞にはまっていたら、誰にも到達できません。もしドローンがランダムに円を描いて飛んでいたら、渋滞を完全に見逃してしまうかもしれません。

研究者たちは、この問題が「鶏と卵」の関係であることに気づきました。車はメッセージを外に出すためにドローンが自分たちのところへ飛んでくる必要がありますが、ドローンはどこへ飛ぶべきかを知るために、車がどこに密集しているかを知る必要があります。この問題を解決するために、JURORはネットワーク全体を一つのチームとして扱います。各車両と各ドローンは、独自の脳を持つ「エージェント」です。

学習プロセス：試行錯誤
このシステムは、**近接方策最適化（PPO）**と呼ばれる手法を使用しています。子犬にボールを持ってこさせる練習をしているところを想像してください。あなたは子犬にどのように走るべきかを教えるのではなく、ただボールを投げ、戻ってきたときに「いい子だ！」と言うだけです。時間が経つにつれ、子犬はどの動きが報酬（おやつ）につながるかを学びます。JURORも同じことをしますが、数学を用いて行います。

1. シミュレーション: 研究者たちは、70個のノード（65台の車と5機のドローン）を持つ仮想世界（シミュレーター）を作成しました。彼らは、メッセージの急増や一定の流れのトラフィックなど、さまざまな交通シナリオを設定しました。
2. チーム報酬: 単一のドローンや車だけに報酬を与えるのではなく、システムは「チームスコア」を与えます。メッセージが配信されれば、全員がポイントを得ます。メッセージが期限切れになったり、バッファ（メモリ）がいっぱいになってメッセージが破棄されたりすると、全員がポイントを失います。これにより、ドローンと車に協力を強いています。もしドローンが車がいない場所に飛んでいけば、チームのスコアには貢献しません。もし車がメッセージを長く持ちすぎれば、チームは失点します。
3. 「リファレンスガイド」と実生活: ここが巧妙な点です。システムが「学習（トレーニング）」しているとき、「批評家（クリティック）」は盤面全体を見ることができます。それは、すべての車とドローンの位置、メモリの量、そして交通渋滞がどこにあるかを正確に把握しています。そして、エージェントに対して「おい、今の動きは良かったぞ！」あるいは「それは悪い動きだった」と伝えます。しかし、システムが「展開（デプロイ）」され、実世界で使用されるとき、ドローンや車は目の前にあるものしか見ることができません。彼らは街全体を見ることはできません。現在接触している、あるいは通信している相手のことしか分からないのです。論文は、たとえこの限定的な視界であっても、エージェントは「リファレンスガイド」の助けを借りて学習してきたため、驚くほど高いパフォーマンスを発揮できることを示しています。

ドローンの新しい役割
古いシステムでは、ドローンは芝刈り機が前後に行ったり来たりするように、あらかじめ設定されたパターンに従って飛ぶだけかもしれません。しかし、JURORはドローンに賢くなることを教えます。ドローンは「ストレス・フィールド（応力場）」を見ます。街に、メッセージが積み上がっている場所を示す目に見えないヒートマップがあると考えてください。もし多くの車が大量のメッセージを抱えて一箇所に停滞していれば、そのエリアは赤く光ります。ドローンは、メッセージを回収して運び去るために、その赤いゾーンに向かって飛ぶことを学びます。
論文では、ドローンが将来の交通状況を予測（LSTMという、パターンのための短期記憶のようなツールを使用）すべきかどうかについてもテストを行いました。その結果、特定の状況では予測が役立つこともありますが、常に必要なわけではないことが分かりました。時には、現在の交通渋滞に単に反応するだけで十分なのです。実際、激しい交通量のシナリオでは、未来を予測しようとすることが、予測がノイズを含みドローンを混乱させてしまうため、システムをわずかに悪化させることもありました。

得られた結果
結果は明白でした。シミュレーションにおいて、JURORはゲームチェンジャーとなりました。

• ドローンなしの場合: 単に車だけで、制御可能なドローンがない場合、システムは苦戦します。あるテストでは、69個のうちわずか13個のメッセージしか配信できませんでした。
• ドローンあり（学習済み）の場合: 制御可能なドローンをたった1機追加するだけで大きな違いが現れ、45個以上のメッセージが配信されました。ドローンと車がフルチームとして共に学ぶと、配信率は57個以上に急上昇しました。
• 従来の手法との比較: JURROは、特に交通量が多いシナリオにおいて、従来の手法よりも大幅に多くのメッセージを配信しました。しかし、論文では、動きが規則的で予測可能なシナリオでは、PRoPHETのような伝統的な手法もかなり良好な成績を収めており、JURORの優位性は複雑で混雑した、あるいは混沌とした環境で最も顕著になることを指摘しています。

論文はいくつかのアイデアについても否定しました。ドローンを車とは別の存在として扱うことはできないという点です。ドローンとメッセージの経路を同時に最適化しなければなりません。もし、メッセージのルーティングとは別にドローンの飛行経路を最適化しようとすると、システムは最大限の能力を発揮できません。また、「ホットスポット」の予測（交通がどこで行われるかを推測すること）は、一見魅力的に聞こえますが、魔法の杖ではありません。それは交通の種類に大きく依存します。時には助けになり、時には邪魔になります。最も信頼できるセットアップは、ドローンと車が、グローバルな教師の助けを借りつつ、ローカルな観察を用いて現在の状況に反応するものでした。

なぜ重要なのか
これは単にメールを速く送ることについての話ではありません。これは、インターネットが途絶えたときに何が起こるかについての話です。携帯電話の基地局がダウンした自然災害を考えてみてください。生存者から救助隊へメッセージを届ける必要があります。生存者は車の中にいるかもしれず、救助隊はドローンの中にいるかもしれません。もしドローンがどこへ飛ぶべきかを知らなかったり、あるいは車がいつメッセージを渡すべきかを知らなかったりすれば、メッセージは失われます。JURORは、このようなネットワークを堅牢にする方法を示しています。空と地上の部分が共に踊ることを学ぶことで、世界が崩壊しているときでも、通信のラインを維持できることを証明しているのです。

研究者たちは単に理論を構築しただけでなく、数字を検証しました。彼らは、JURORを他の5つの有名な手法（PRoPHETやMaxPropなど）と比較し、交通量が増えるとJURORが一般的に勝利することを示しました。論文は、飛行経路とメッセージ経路を共に決定するというこの「結合（ジョイント）」アプローチこそが、遅延耐性ネットワークの潜在能力を解き放つ鍵であると結論付けています。これは、混沌とした世界において、つながり続けるための最善の方法は、地上にいても空にいても、一つのチームとして機能することであるということを思い出させてくれます。