技術要約：オンボード視覚言語モデルを用いたマルチエージェント・ロボット制御

問題提起

視覚言語モデル（VLM）および視覚言語行動（VLA）モデルは、ロボット制御における潜在能力を示しているが、産業現場への実用的な導入には大きな障壁が存在する。これらの制限には以下が含まれる：

• 計算資源と接続性の依存性： 多くのソリューションは、多大な外部計算能力とネットワーク接続を必要とし、運用コストとレイテンシを増大させる。
• 説明責任と安全性： モデルの意思決定における解釈性の欠如は、安全性や倫理的懸念を引き起こす。
• 汎化の問題： 解釈性技術や制約関数を用いた既存の手法であっても、分布外（out-of-distribution）データへの汎化に苦慮することが多い。
• コンテキスト保持： 多様な長期的タスク（安全点検、メンテナンス、探索、人間との相互作用など）を処理するために単一のVLMをデプロイすると、タスクの多様性が増すにつれて重要な情報が失われる「コンテキストウィンドウのオーバーフロー」のリスクが生じる。

手法

著者らは、クラウドやエッジサーバーへの依存を排除し、完全にオンボードのハードウェア上で動作するように設計された**マルチエージェントシステム（MAS）**アーキテクチャを提案している。このシステムは、シミュレーションされた産業用倉庫環境内で、多目的自律移動マニピュレータ（RB-KAIROS+）を制御する。

システムアーキテクチャ

このMASはRAIフレームワークを用いて構築されており、ROS 2、MoveIt 2、およびNav2と統合されている。アーキテクチャは、いくつかの特化したエージェントで構成されている：

1. Megamind（オーケストレーション・エージェント）： コンパクトなモデルにおけるコンテキスト保持の問題に対処する監督エージェント。これは、二状態の自己フィードバックループを通じて動作する：
   • プランニング状態： ロボットの状態とタスクキューに基づき、次のタスクを選択し、サブエージェントに委譲する。
   • 分析状態： サブエージェントの出力を評価する。リカバリが必要な場合は、修正ステップを生成してキューに追加し、プランニング状態に戻る。これにより、タスクの進行とリカバリのロジックを外部化する。
2. インスペクション・エージェント（点検エージェント）： 前方カメラを監視し、異常（箱の置き間違い、障害物、液こぼれなど）を検知する。これは、自然言語による記述と問題のフラグ立てを行う第一段階と、それらを分類（例：掴めるアイテムとしての「箱」、"ゴミ"、"その他"、または "なし"）する第二段階のワークフローを使用する。出力は、問題の種類と3Dポーズを含む構造化されたJSON形式となる。
3. セーフティ・エージェント（安全エージェント）： 継続的な規制遵守モニタリングを行う。以下の3段階のパイプラインを採用している：
   • ビジョン（視覚）： VLMが潜在的な危険を特定する。
   • リトリーバル（検索）： エージェントは、倉庫に関連する事項にフィルタリングされたOSHA 29 CFR 1910規制を含むベクトルデータベース（FAISS）に対してクエリを実行する。インデックス作成にはQwen3-Embedding-0.6Bを、再ランキングにはQwen3-Reranker-0.6Bを使用する。
   • リーズニング（推論）： VLMは、取得された規制の抜粋と視覚的なシーンを照合して違反を判断し、規制ID、深刻度、および根拠を出力する。
4. MoveItおよびNav2エージェント： Megamindからのコマンドを実行し、マニピュレーションとナビゲーションのための低レベル制御を提供する。
5. ヒューマン・ロボット・インターフェース（HRI）： オペレーターが自然言語によるコマンドを発行し、ライブビデオやステータスの更新を確認できるQtベースのグラフィカル・インターフェース。

モデル戦略

• ベースモデル： システムは、すべての視覚タスク（点検、安全、およびMegamind）に対して、コンパクトな**3BパラメータVLM（LFM2-VL-3B）**を利用する。
• 知識蒸留によるファインチューニング： ベースモデルがパッケージ品質の検証（タスクT4）に苦戦することを解決するため、著者らはモデルのファインチューニングを行った。アノテーション済みのシミュレーション画像から合成トレーニングデータ（自然言語記述）を生成するために、教師モデルとしてQwen3-256B-A22Bを使用した。3Bモデルはこのデータセットを用いて1エポックのファインチューニングが行われた。
• ハードウェア： スタック全体は、Hardware-in-the-Loop（HIL）シミュレーションにおいて、AMD Ryzen™ AI mini PC（128 GBのユニファイドRAM、うち96 GBをGPUに割り当て）上で動作する。

主な貢献

1. オンボードMASアーキテクチャ： ローカルハードウェア上で動作する完全に機能するマルチエージェントシステムを実現し、コンパクトなモデル（3〜20Bパラメータ）が外部計算資源なしで複雑な移動マニピュレータを制御できることを示した。
2. オーケストレーションによるコンテキスト管理： 「Megamind」エージェントは、明示的なタスク委譲と自己フィードバックによるリカバリループを通じて、小型モデルのコンテキスト保持の限界を克服することに成功した。
3. 特化した安全パイプライン： 検索拡張生成（RAG）技術（エンベディング、リランキング、推論）を用いてVLMを規制データベース（OSHA）と統合し、解釈可能な安全コンプライアンスを提供した。
4. オープンソース公開： 設定可能な倉庫、ロボットプラットフォーム、およびソフトウェアスタックを含むシミュレーション環境を、エージェント・システムの研究を促進するためにApache 2.0ライセンスの下で公開する。
5. パフォーマンスの最適化： 知識蒸留を介したコンパクトなモデルのファインチューニングが、低い推論コストを維持しながら、特定のタスク精度（例：パッケージ検査）を大幅に向上させることを実証した。

結果

システムは、以下の5つのタスクカテゴリをカバーするHardware-in-the-Loopシミュレーションにおいて検証された：

• T1: 安全点検。
• T2: 倉庫メンテナンス。
• T3: 倉庫探索。
• T4: パッケージ品質検証。
• T5: 人間の要求への応答。

定量的な改善：
パッケージ検査（タスクT4）のためのファインチューニング後、モデルは以下の成果を達成した：

• 箱の状態のアノテーション精度： **76.7%から91.5%**へ向上。
• F1スコア： 0.755から0.915へ向上。
• 真陰性（True Negatives）： **54%から95.5%**へ増加。
• 偽陽性（False Positives）： **46%から4.5%**へ減少。

システムは、優先度の高い異常を処理するためにユーザーのタスクを中断したり、多段階のワークフロー（例：検査、移動、または廃棄）を実行したりするなど、動的な産業環境におけるリアルタイムの応答と動作を正常に実証した。

重要性と主張

本論文は、完全にオンボードのMASアーキテクチャが、クラウド依存型のデプロイメントに代わる実行可能かつ費用対効果の高い選択肢であることを主張している。コンパクトでローカルにホストされたVLMを利用することで、本システムは外部計算プラットフォームに伴う高い運用コスト（電気、ハードウェア）とレイテンシの問題に対処している。

著者らは、本研究を、コスト効率が高く、解釈可能で安全な自律システムが極めて重要となる中小企業（SME）向けの柔軟なロボティクスへの一歩として位置づけている。モバイルマニピュレータのためのエージェント・システムにおける研究の道を切り開き、成熟したスタック（ROS 2, MoveIt 2）とモジュール化されたエージェント設計を組み合わせることで、汎用的なポリシーが直面する課題であるリアルタイムの反応性と証明可能な制御を克服できることを強調している。