技術要約：ModuLoop – モジュラー・シンセサイザーとクローズドループ・デバッガーを用いたロボット制御のための低レベルコード生成

問題提起

大規模言語モデル（LLM）は、コード生成や記号的推論において目覚ましい能力を示しているが、その低レベルなロボット制御への応用は依然として限定的である。既存のアプローチは、一般的に2つのカテゴリーに分類される。(1) 自然言語を高レベルな計画へと翻訳し、実行のために外部モジュールに依存する手法、または (2) ユーザー定義のAPIを介して直接実行可能な低レベルコードを生成する手法である。前者は実行ループにおけるLLMの関与を制限し、後者はプロンプトへの依存、汎化性能の低さ、およびフィードバックに基づく洗練の欠如という問題に直面しやすい。これらの問題は、精密な動作、リアルタイムのエラー処理、および広範な手動チューニングや事前定義されたデータセットなしでの物理環境への適応を必要とする低レベル制御タスクにおいて極めて重要である。

手法：ModuLoopフレームワーク

著者らは、タスク固有のファインチューニングを行うことなく、LLMが低レベルなロボット制御タスクのフルコントロールループに能動的に参加できるように設計されたフレームワークであるModuLoopを提案している。このシステムは、以下の3つのコアコンポーネントからなるクローズドループ構造を通じて動作する。

1. シミュレーションベースのワークスペース検証

実世界での実行前に物理的な実現可能性を確保するため、本フレームワークはシミュレーションベースの検証環境（Isaac Sim）を採用している。

• プロセス: LLMは、タスクの制約と事前のフィードバックに基づき、候補となるエンドエフェクタの位置を生成する。
• フィルタリング: これらの候補は、逆運動学（IK）フィルタリングおよびシミュレーションチェックを受け、到達可能、衝突の恐れあり、または到達不能として分類される。
• フィードバック: 結果はLLMにフィードバックされ、次なる生成の洗練に使用される。これにより、衝突がなく、運動学的に妥当な座標のみがキャリブレーションに使用されることが保証される。

2. モジュラー・コード・シンセサイザー (MCS)

LLMは、高レベルな自然言語の指示を、単一のモノリシックなスクリプトとしてではなく、粒度の細かいサブタスクへと分解する。

• 分解: タスクは、独立したサブタスク（例：座標への移動、センサーデータの取得、行列の計算）へと分割される。
• 生成: 各サブタスクは、個別のPython関数またはコードブロックとして実装される。
• 統合: これらのブロックは、一貫性のある実行可能なスクリプトへと組み立てられる。このモジュール化されたアプローチにより、論理的一貫性と構造的な完全性が確保される。

3. クローズドループ・デバッガー (CLD)

本フレームワークは、生成されたコードを反復的に実行し、実行フィードバックを用いてコードを自律的に洗練させる。

• 実行と分析: コードはロボット環境内で実行される。ランタイムエラーが発生した場合、**アナライザー（分析器）**がその原因に関する仮説を策定する。
• プロービング: 仮説を検証するために、システムはコード内にデバッグ・プローブ（例：追加のロギングや診断チェック）を挿入し、再実行を行う。
  接触。
• 洗練: **リファイナー（洗練器）**は、分析に基づき、標的を絞った修正を適用する。
• 精度評価: ランタイムエラーが発生しない場合でも、タスクの精度が不十分な場合（例：キャリブレーション誤差が閾値を超えている場合）、システムは原因（例：深度フィルタリングの不足）を診断し、精度を向上させるためにコードを洗練させる。
• 終了: タスクが精度基準を満たすか、最大反復回数に達するまで、このループは継続される。

主な貢献

本論文は、主に3つの貢献を述べている：

1. シミュレーションベースのフィードバックループ: 解析的手法と比較して、データ効率と精度を大幅に向上させ、衝突のない実行可能な座標を確保するメカニズム。
2. モジュラー・コード・シンセサイザー: 自然言語のコマンドを実行可能な低レベルPythonモジュールへと分解するフレームワークであり、シングルパスのコード生成を超えたものである。
3. クローズドループ・デバッグ・メカニズム: ランタイムエラーと精度メトリクスを使用して、生成されたコードを反復的に修正・改善する自律的なシステムであり、LLMを受動的なプランナーから能動的で自己修正可能なエージェントへと変貌させる。

実験結果

本フレームワークは、UR3ロボットマニピュレータとIntel RealSense D435iカメラを用い、2つのタスクにおいて検証された。

1. ハンドアイ・キャリブレーション

• 性能: MCSとプロービングを用いたCLDの組み合わせにより、コード生成において96.67%の成功率、精度閾値（誤差2cm未満）の達成において86.67%の成功率を達成した。
• 比較: これは、シングルプロンプト生成器（SPG）や、Code-as-Policies (CaP)、ProgPromptといったベースライン手法を大幅に上回る結果である。例えば、SPG + デバッガーはわずか10%の成功率であったのに対し、提案されたModuLoopは96.67%を達成した。
• 効率性: プロービングベースのデバッグは、非プロービング手法と比較して、収束に必要な反復回数を減少させた。
• モデルのバリエーション: GPT-4oが最良の結果をもたらしたが、GPT-4.1-miniおよびGeminiも生存能力を示しており、Geminiは同等のコード生成成功率を示したものの、キャリブレーションの安定性はやや低かった。

2. ピック・アンド・プレース・タスク

• セットアップ: フレームワークは、単純な物体へのターゲティングから、意味的推論、空間的順序付け、および方位制御を必要とするタスクまで、複雑さが増していく5つのタスクに適用された。
• 性能: ModuLoopは、すべてのタスクにおいて最も高い成功率を達成し、特に複雑なシナリオ（タスク3〜5）において顕著であった。「Hard 1」（空間推論と精密なポジショニング）では、ModuLoopは60%の成功率を達成したが、これはSingle-Promptの24%およびModular Code Synthesizer単体での48%を上回る。
• 汎用性: システムは、文脈依存の物体識別（例：「スナックを持ってきて」）や、明示的なプログラミングなしでの幾何学的推論を必要とするタスクを正常に処理した。

意義と主張

本論文は、学習済みのLLMを使用して、追加のトレーニングや手動プログラミングなしに、低レベルなロボット制御コードを自律的に生成、実行、および適応できることを実証していると主張している。

• 自律性: 本フレームワークは、LLMを受動的なプランナーから、リアルタイムの診断と実行駆動型の洗練が可能な自律的エージェントへと昇華させる。
• スケーラビリティ: 高精度を要求するキャリブレーションと、意味的推論を要求するマニピュレーションの両方でシステムを検証することで、著者らは本フレームワークが多様なロボットタスクに対してスケーラブルであり、拡張可能であることを主張している。
• 限界: 著者らは、現在の実装が最小限のAPI（主に物体の位置）に依存しており、より豊かな環境APIを必要とする複雑な接触豊富な操作（例：組み立てや引き出しの開閉）には最適ではないことを謙虚に認めている。また、LLM固有のレイテンシが、高速な産業用途における応答性を制限する可能性があることも指摘している。

結論として、ModuLoopは、LLMを物理的な制御ループに統合するための堅牢な経路を提供し、自然言語の指示と精密で実行可能なロボットの挙動との間の溝を埋めるものである。