Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation

本論文は、勾配更新やデモンストレーション、報酬設計を必要とせず、視覚観察と構造化されたエピソード結果に基づいて実行可能な Python コードを反復的に書き換えることで、ロボット把持タスクにおける失敗を自己診断・修正し、高成功率を達成する「Act-Observe-Rewrite（AOR）」というマルチモーダル LLM ベースのフレームワークを提案し、その有効性を検証したものである。

要約

この論文は、**「ロボットが失敗を自分で分析し、その結果を元に『自分自身の手順書（プログラム）』を書き換えて、徐々に上手くなる」**という新しい仕組みについて説明しています。

従来のロボット学習は、人間が大量のデータを与えて「教える」か、失敗しても「計算上の重み」を微調整するものでした。しかし、この新しい方法（AOR：Act–Observe–Rewrite）は、**「失敗したら、ロボットが『なぜ失敗したのか』を言語で考え、その原因をコード（命令書）そのものとして書き直す」**という点で画期的です。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

🤖 物語：ロボット「クマ」の修行

この論文の主人公は、ロボットアームを持つ「クマ」くん（AI）です。クマくんは、テーブルの上にある「赤い箱」を掴んで、別の箱の上に置くという課題をこなそうとしています。

1. 従来の方法 vs 新しい方法

• 従来のロボット（暗記型）：
  人間が「こうやって掴みなさい」という1000 回分の動画を見せ、クマくんはそれを丸暗記します。でも、もし「机の位置が少し違う」だけで、クマくんはパニックになって失敗します。また、失敗しても「なぜ失敗したか」は分からず、ただ「もっと練習しよう」と計算を繰り返すだけです。

• この論文の方法（AOR：書き換え型）：
  クマくんは**「天才的なプログラマー兼エンジニア」**です。

  1. 行動（Act）： まず、自分の作った「手順書（Python コード）」に従って箱を掴もうとします。
  2. 観察（Observe）： 失敗したら、カメラで「どこがズレたか」を見ます。例えば、「箱の位置を計算する式が間違っていた！」とか、「カメラの向きが逆だった！」とか。
  3. 書き換え（Rewrite）： 失敗の原因を言語で分析し、「手順書そのもの」を自分で書き直して、新しいバージョンにします。

  次回の試行では、書き直された新しい手順書で挑戦します。これを繰り返すだけで、クマくんは失敗を繰り返さずに上手になっていきます。

2. 具体的なエピソード：クマくんの「目」のトラブル

この仕組みがどれほどすごいのか、実際の失敗例で見てみましょう。

• エピソード①：カメラの「上下」が逆だった

  • 現象： クマくんは箱の位置を計算しようとしたのですが、常に箱の**「上」**を向いてしまい、箱に届きませんでした。
  • 従来の方法なら： 「もっと近づけよう」「もっと上に行こう」とパラメータ（数値）を微調整し続けても、根本的な「計算式」が間違っているため、永遠に失敗します。
  • AOR の方法： クマくんは失敗した映像を見て、「あ！私の計算式は『カメラの 0 行目は上』と間違えていた。でも、このカメラは『0 行目は下』なんだ！」と気づきます。
  • 結果： 彼は**「計算式そのもの」**を修正し、y 座標の符号を反転させる というコードを書き換えました。これで一発で解決しました。

• エピソード②：色が見えなかった

  • 現象： 箱は「赤」なのに、クマくんは「銀色」の箱を探していました。
  • AOR の方法： 「おや？箱は赤いのに、私のプログラムは『銀色』を探している。あ、カメラの映像では箱が赤く映っているんだ！」と気づき、**「銀色を探す」→「赤色を探す」**という命令を書き換えました。

3. なぜこれがすごいのか？（3 つのポイント）

1. 「教える」必要がない：
   人間が「こうやってやれ」という動画（デモンストレーション）を 1 回も見せる必要がありません。失敗から自分で学べます。
2. 「理由」が分かる：
   従来の AI は「失敗した」という結果だけを知りますが、このクマくんは**「計算式が間違っていたから失敗した」という理由**まで言語で説明できます。まるで、自分が書いたプログラムをデバッグ（修正）しているエンジニアのようです。
3. 「仕組み」そのものを変えられる：
   単に「少し左に行こう」という微調整ではなく、「計算のやり方を変えよう」「カメラの使い方を直そう」という根本的な設計変更も可能です。

4. 限界と課題

もちろん、完璧ではありません。
最後の課題（箱を積み上げるタスク）では、クマくんは「掴んだ箱を置くとき、下の箱に指が当たってしまう」という失敗を正確に発見しました。「原因はこれだ！」と分かったのです。
しかし、「では、どうすれば指が当たらずに置けるか？」という解決策（新しい手順）を見つけ出すところで、少し行き詰まりました。これは、AI が「原因の特定」は得意でも、「創造的な解決策の提案」にはまだ限界があることを示しています。

🎯 まとめ

この論文が伝えているのは、**「ロボットに『暗記』させるのではなく、『自分で考えて、自分のルールを書き換える』能力を持たせる」**という新しいアプローチの成功です。

まるで、**「失敗するたびに、自分でマニュアルを書き直し、次はもっと上手にやろうとする、賢い修行中の職人」**のようなロボットです。これにより、新しい作業を教えるために大量のデータを用意する必要がなくなり、ロボットが現実世界でより柔軟に活躍できるようになる可能性があります。

技術概要

Act–Observe–Rewrite (AOR): 物理的操作におけるマルチモーダルコーディングエージェントによるコンテキスト内ポリシー学習

技術的概要（日本語訳）

本論文は、Vaishak Kumar 氏（General Bionix, Inc.）によって提案された**「Act–Observe–Rewrite (AOR)」**という新しいロボット操作学習フレームワークを提示しています。この研究の核心は、勾配更新、デモンストレーションデータ、報酬設計なしに、マルチモーダル大規模言語モデル（LLM）が自身の失敗を推論し、実行可能な Python コードとしてロボット制御ポリシーを逐次的に書き換えることで、物理的タスクの成功率を向上させることができるという点にあります。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

従来のロボット操作における基盤モデル（VLA: Vision-Language-Action）は、インターネット規模のデータで事前学習され、ゼロショットで汎化しますが、特定のデプロイ設定で失敗した場合、その原因を特定し再学習なしに適応することが困難です。また、大規模な事前学習コストは研究者が迅速に反復実験を行うことを阻害しています。

既存の「言語エージェント」研究（Reflexion, ReAct など）は、言語による自己反省を通じてタスクを改善してきましたが、これらは主に記号的な環境や高レベルの計画に限定されており、連続的な物理操作（キネマティクス、センサーノイズ、幾何学的制約）における微細な制御コードの修正には対応していませんでした。

AOR が解決する課題：

• 失敗の原因を自然言語の戦略記述ではなく、実行可能な制御コードのロジックレベルで特定し修正すること。
• デモンストレーションや勾配ベースの学習（RL など）に依存せず、試行錯誤（Trial-and-Error）のみでタスクを習得すること。

---

2. 手法：Act–Observe–Rewrite (AOR) フレームワーク

AOR は、エピソード実行とポリシー更新を分離した2 段階のループで構成されます。

2.1 アーキテクチャ

1. 高速ループ（エピソード内）：
   • ロボットは現在の Python コントローラー（ポリシー）に基づいて動作します。
   • 視覚入力（RGB-D）と自己位置情報を処理し、アクションを生成します。
   • エピソード終了時に、報酬、フェーズログ、キーフレーム画像などの構造化された結果を記録します。
2. 低速ループ（エピソード間）：
   • マルチモーダル LLM（実験では Claude Code）が、過去の失敗エピソードの画像と構造化データ（診断信号）を分析します。
   • LLM は失敗モードを診断し、**制御コード全体を新規に生成（書き換え）**します。
   • 生成されたコードはサンドボックス環境でコンパイル・検証され、次のエピソードで使用されます。
   • 重要な点： モデルの重みは一切更新されません。学習は「コンテキスト内のコード生成」として行われます。

2.2 セーフティと安定性

• コンパイルサンドボックス： 生成されたコードは実行前に検証され、エラーの場合は前の動作するコントローラーにフォールバックします。
• アクションクランプ： 出力されるアクションは安全範囲に制限されます。
• 境界付き書き換え： 全体構造を維持しつつ、診断された失敗モードに特化した修正を行うよう指示されます。

---

3. 主要な貢献

1. ポリシー表現としての「実行可能コード」の採用：
   • 従来のパラメータ調整やスキル選択ではなく、制御ロジックそのものを LLM の推論単位とすることで、失敗の根本原因（例：OpenGL 座標系と OpenCV の違いによる符号エラー）をコードレベルで特定・修正可能にしました。
   • これにより、単なるパラメータチューニングを超えた、アーキテクチャ変更や幾何学的補正が可能になります。
2. 視覚的証拠に基づく自己診断：
   • LLM は失敗時のキーフレーム画像と制御コードを同時に参照し、「なぜ失敗したか」を物理的・幾何学的に推論します（例：深度センサーのバイアス、カメラ座標系の不一致）。
3. デモンストレーション不要の学習：
   • 人間のデモンストレーションや報酬関数の設計なしに、自律的にタスクを習得・改善する実証を行いました。

---

4. 実験結果

Robosuite シミュレータ上で、3 つの操作タスク（Lift, PickPlaceCan, Stack）に対して評価を行いました。コーディングエージェントには Anthropic の「Claude Code」を使用しました。

タスク	内容	達成率	必要な LLM 呼び出し回数	備考
Lift	赤い立方体を持ち上げる	100%	3 回	視覚バイアスと静止把持の必要性を自律的に発見・修正。
PickPlaceCan	コカ・コーラ缶をビンに置く	100%	2 回	缶の色の認識ミス（銀色ではなく赤としてレンダリング）と、ビン内のマーカーによる重心計算の誤りを修正。
Stack	赤い立方体を緑の立方体の上に積む	91%	20 回	視覚パイプラインのバグ（座標変換）を修正し精度向上。残りの失敗は把持時の接触によるもので、エージェントは原因を特定したが解決策（配置戦略の回避）は見出せなかった。

重要な発見：

• 自律的なバグ発見： エージェントは、人間が手動でチェックしなかった「OpenGL 座標系と OpenCV 座標系の不一致」や「深度センサーの表面バイアス」などの深刻な視覚パイプラインのバグを、失敗の画像とコードの対照から自律的に特定しました。
• 失敗の分析： Stack タスクの残存失敗（9%）は、把持指がターゲットの立方体に接触してずらす現象でした。エージェントはこの原因を正しく特定しましたが、接触を回避する新しい配置戦略（例：角度の変更など）を探索する段階で局所最適解に陥り、解決に至りませんでした。

---

5. 意義と将来展望

• 解釈可能性とデバッグツールとしての価値：
  AOR は単なる学習手法ではなく、ロボットシステムのデバッグツールとしても機能します。LLM がコードと視覚データを照合することで、従来の RL や模倣学習では不明瞭だった「視覚エラー」と「制御エラー」の区別を明確に行うことができます。
• VLA モデルとの補完性：
  広範な汎化を目指す VLA モデルに対し、AOR は特定のタスクにおける深掘りと解釈可能性を提供します。VLA が特定の環境で失敗した場合、AOR によるリフレクションとコード修正で迅速に適応させることが可能です。
• 今後の課題：
  • 現在の結果はシミュレーションのみであり、実世界への転送には不確実性のモデリングが必要です。
  • 探索の局所最適解問題（Stack タスクの残存失敗）を克服するため、多様性を促すメカニズムや並列探索の導入が考えられます。
  • 古典的な制御手法（HSV セグメンテーション等）に依存しがちなエージェントに対し、より現代的な知覚手法（学習済み特徴量など）を指示することで、さらに頑健なシステムが構築できる可能性があります。

結論：
Act–Observe–Rewrite は、大規模言語モデルが物理世界の制御コードを「読み、診断し、書き換える」ことで、デモンストレーションなしに高度な操作タスクを習得できることを実証しました。これは、ロボット学習における「コード生成によるリフレクション学習」という新たなパラダイムを示す重要な成果です。