Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration

技術要約：過去の協調のエピソード記憶を通じた、都市型捜索救助における人間とロボットのチームワークの向上

問題提起
都市型捜索救助（USAR）のような動的で危険な環境における効果的な人間とロボットのチームワークには、ロボットが相互作用を通じて試行錯誤から学習するだけでなく、パートナーやタスク状況に適応することが求められる。MATRX USAR環境における先行研究では、ロボットが時間の経過とともに適応できること、および人間とロボットのチームがチャットやリフレクション・インターフェースを介して協調パターン（CP）を外部化できることが示されているが、これらの歴史的なパターンを将来の相互作用の初期化に活用する方法については依然として課題が残っている。核心となる問題は、ロボットが空のメモリ状態から開始するのではなく、明示的な過去のチーム経験を新しい協調エピソードへとどのように転移させ、初期段階のパフォーマンスを向上させるかである。

手法
著者らは、過去の協調パターンを知識グラフのエピソード記憶として表現し、新しいタスクが始まる前にロボットを初期化するために利用するフレームワークを提案している。

1. オントロジーと表現:

   • 協調パターン（CP）は、JanusGraphを用いてプロパティグラフとしてモデル化される。オントロジーには、robot（ロボット）、participant（参加者）、cp（協調パターン）、situation（状況）、robot_action（ロボットの行動）、human_action（人間の行動）の6つのエンティティタイプが含まれる。
   • 関係性は、エッジファミリー（has_cp、has_situation、has_robot_action、has_human_action）を介して捉えられる。行動の順序を保持するため、行動エッジはシーケンスインデックス（例：has_robot_action_0、has_robot_action_1）によって区別され、計9つの異なる関係ラベルが存在する。
   • ノードのプロパティには、数値指標（例：time_elapsed、success）および文字列属性（例：行動の説明）が含まれる。文字列属性はSentence-BERTを用いてベクトル化され、数値特徴量は正規化された上で共通の次元数に投影される。

2. グラフ表現学習:

   • CPグラフの有意義な表現を学習するために、**関係グラフ畳み込みネットワーク（RGCN）**が採用されている。モデルは、最終的なRGCNレイヤーの上に単一の線形分類器を持つノード分類目的を使用する。
   • 10個のノードクラスは、スキーマタイプ（1つのcp、1つのsituation、3つのhuman_actionステージ、および5つのrobot_actionステージ）に対応する。この教師あり学習により、エンコーダは協調パターンの初期ステップと後半ステップを区別することができる。
   • 学習後、各CPグラフの最終的なノード埋め込みを平均プーリングすることで、グラフレベルの埋め込みが生成される。

3. メモリの選択と初期化:

   • 学習されたグラフ埋め込みは、K-means（$K=5$）を用いてクラスタリングされる。
   • 著者らは、再利用可能なメモリのソースとして、最も高い成功率（42%）と構造的な単純さ（人間の介入が最小限で、連続するロボットの行動によって支配されている）を示すクラスター1をヒューリスティックに選択した。
   • クラスター1の重心に最も近いCPが、代表的なメモリとして選択される。このCPは、状況（「岩の山の上」、「大きな岩」）と、人間の入力を必要としない2ステップのロボット行動シーケンス（大きな岩を持ち上げ、置く）を含んでいる。
   • 実験設定では、人間とロボットの相互作用が始まる前に、この単一のプリロードされたCPを用いてロボットが初期化される。

主な貢献
本論文は、主に以下の3つの貢献を述べている。

• エピソード的チームメモリの表現: 過去の相互作用からのCPを、状況的コンテキスト、行動構造、およびタスクの結果を保持する知識グラフのエピソード記憶として表現すること。
• 再利用可能な過去の経験の選択: 歴史的なCPを整理し、初期化のための代表的なパターンを特定するために、ノードタイプによる教師あり学習を用いたグラフ表現学習を活用すること。
• 初期チームパフォーマンスの向上: 選択された過去のメモリでロボットを初期化することが、特に協調の開始時においてパフォーマンス指標を大幅に向上させることを実証すること。

実験結果
研究は、MATRX USARシミュレーションにおける20人の参加者と160回のラウンドレベルの観察を対象に行われた。ロボットは、初期化されたメモリを持つ条件と、単一の選択されたCPがプリロードされている条件の2つでテストされた。

• 成功率: 救助の成功率は、メモリなしの**25.7%から、メモリありの41.3%**へと増加し、60.7%の相対的な改善を示した。
• タスク時間: 平均タスク時間は283秒短縮された。
• 時間的ダイナミクス: 最も顕著な利得はラウンド1で見られた。これは、共有されたルーチンが形成される前に、メモリがチームのタスクへの方向付けを支援していることを示唆している。
• トレードオフ: 成功率と時間は向上したが、メモリ初期化条件では**犠果（被害）**が平均してわずかに高くなった。これは、ロボットが重い堆積物の除去戦略を実行した際に、偶発的に岩が落下したためと考えられる。また、再利用されたCPが後半のシナリオで導入された「茶色の岩」特有のリスクを考慮していなかったため、最も困難なラウンド（7および8）ではパフォーマンスが低下した。

意義と主張
著者らは、本研究を、新しい一般的なメモリ転移理論ではなく、検査可能な過去のチーム経験を用いてロボットを初期化するための具体的なメカニズムとして位置づけている。

• 透明性: 不透明なポリシー更新とは異なり、再利用される経験は、人間が検査、議論、修正できる明示的で人間が読める状況・行動構造として残る。
• 初期相互作用のサポート: 結果は、再利用可能なエピソード記憶が、共有されたルーチンがまだ形成されていない協調の開始時に最も効果的であることを示唆しており、調整された出発点を提供する。
• 限界: 本論文は、シミュレーション設定、小さなサンプルサイズ、単一の重心に最も近いCPを選択するというヒューリスティックな手法、およびランダムまたはエキスパートが選択したメモリを用いたベースラインの欠如を含む限界を謙虚に認めている。著者らは、このアプローチが、アグレッシブな堆積物除去に関連する安全上のリスクを排除するものではないが、人間の監視下で協調をサポートするデプロイメントモデルを提供するものであると述べている。