Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

ロボットに料理を教える場面を想像してみてください。最も重要なのは、「スープは熱く、ボウルに入っていること」といった、最終的な料理が「どのような見た目であるか」を伝えることだと考えるかもしれません。しかし、もしロボットが最終的な「絵」のことしか考えていなかったらどうでしょう？ スープを空中に投げ飛ばしたり、周囲に飛び散らせたり、あるいは鍋を落としたりしてでも、スープをボウルに入れようとするかもしれません。適切に料理をするためには、目的地だけでなく、動きそのものの「ダンス」を理解する必要があります。穏やかなかき混ぜ方、慎重な注ぎ方、あるいは手がハンドルを握る際のかけがえのない独特な方法です。これがVLA（Vision-Language-Action：視覚・言語・行動）モデルの世界です。これらは、ロボットが見るもの（視覚）、指示される内容（言語）、そして体の動かし方（行動）を組み合わせた、非常にスマートなAIの脳です。長い間、科学者たちはロボットに「何（what）」と「どこ（where）」を教えることには長けてきましたが、「どのように（how）」を教えることには苦戦してきました。彼らはロボットの複雑で連続的な動きを単純な指示リストへと翻訳しようとしてきましたが、その過程で、レシピの最も重要な部分、すなわち動作のスタイルやニュアンスを誤って削除してしまっていた可能性があります。

「Lost in Reconstruction（再構成における喪失）」と題されたこの論文は、ロボットの脳に動きを教える際の特定の問題に取り組んでいます。研究者たちは、ロボットの滑らかな動きをデジタルな「トークン」（例えば、曲を音符のリストに変換するように）に変換する際、標準的な手法では、どの「動詞」が実行されているかを伝えるための手がかりが捨てられてしまうことを発見しました。彼らは、「ひっくり返す（flip）」「押す（push）」「折りたたむ（fold）」といった言葉が、単にどこに到達するかだけでなく、動きの「やり方」の中に隠された情報を持っていることを突き止めました。動きのデジタルコードへの変換方法を修正することで、彼らはSALT（Semantically ALigned action Tokenizer：意味的に整列した行動トークナイザー）と呼ばれる新しいシステムを作り上げました。テストにおいて、SALTを使用したロボットは、古い手法が43%未満の成功率であったのに対し、指示に従うことに非常に優れており、約72%の確率でタスクを成功させました。この論文は、ロボットが人間の言語を真に理解するためには、単に経路をどれだけ正確に描き直せるかに集中するのではなく、その「動きの語彙」がいかに動詞の意味を保持し続けるかが重要であることを示唆しています。

問題点：「どのように」が「何を」の中で失われるとき

ロボットの動きを、絶え間なく流れる川だと考えてみください。VLAモデルを用いてロボットを教える際、科学者はしばしばこの流れる川を、一連の「踏み石」へと変えなければなりません。動きを小さな塊に切り分け、各塊にデジタルなラベル、つまり「トークン」を割り当てます。それは、スムーズなジャズのメロディを、コンピュータが読める数字のリストに変えるようなものです。

問題は、標準的な手法が**再構成（reconstruction）**に執着しすぎていることです。それは、「これらの数字を元の川と全く同じものに戻せるか？」と問いかけます。数字が元の動きに十分に近ければ、システムは「よくできました！」と言います。しかし、研究者たちは、「十分に似ていること」と「意味があること」は別物であることに気づきました。

ダンスを説明している場面を想像してください。「ダンサーは地点Aから地点Bへ移動した」と言うことができます。これは「ゴール」です。しかし、「滑った（glided）」「足を踏み鳴らした（stomped）」「回転した（twirled）」といった「動詞」は、動きの詳細の中に隠されています。論文は、現在のロボットシステムは、目的地のことしか気にしない翻訳者のようなものだと主張しています。彼らは、たとえ両方の動きが同じ場所に到達したとしても、「ひっくり返す（flip）」と「押す（push）」を同じ一連の踏み石へと変換してしまうかもしれません。つまり、システムは「どのように」行うべきかを示す手がかりである「動詞の接地（verb-grounding）」情報を失ってしまうのです。

発見：動詞は動きの中に生きている

これを証明するために、研究者たちは、あらゆる動きが「スプーンをタオルに乗せて」や「パンケーキをひっくり返して」といった話し言葉の指示とペアになった、人間が制御する実在のロボットの膨大なデータセットを調査しました。彼らは指示を動詞へと分解し、ロボットの動きを分析しました。

彼らは、2つの明確な情報の源を見つけました：

1. ゴール（目標）： 開始時と終了時の間の視覚的な変化（例：スプーンが今、タオルの上にある）。
2. 運動力学（モーション・ダイナミクス）： ロボットがそこに至るまでの実際の経路（例：グリッパーの速度、曲線、タイミング）。

論文は、これら2つのソースが相補的であることを示しています。「折りたたむ（fold）」のような動詞の場合、最終的な形状が最も重要な手がかりとなります。しかし、「ひっくり返す（flip）」や「回転させる（turn）」のような動詞の場合、ロボットがどのように動くかというプロセスこそが、その動詞を特定する唯一の手がかりとなります。開始点と終了点を見るだけでは「ひっくり返す」と「押す」を区別することはできません。動きを見なければならないのです。研究者たちはこれを測定し、運動力学が、視覚的なゴールだけでは捉えられない独自の情報を提供していることを発見しました。実際、特定の動詞において、動きは約0.059ビットのユニークな情報を提供しており、これは理解に大きな差を生むのに十分な量でした。

過ち：圧縮が意味を消し去る

次に、研究者たちは、動きをデジタルトークンに変換するさまざまな方法が、この「動詞」の情報をどれほど保持しているかをテストしました。彼らは以下の3つの一般的な方法を調査しました：

• Bin（ビン化）： 単に動きを固定サイズのバケットに切り分ける。
• FAST： 動きを周波数パターンに圧縮する。
• VQ-VAE： 可能な限り正確に動きを再構築しようとすることで、一連の「踏み石」を学習する。

彼らは、これらのシステムがデータを小さく（トークン数を少なく）圧縮するにつれて、動詞の情報を系統的に消し去っていくことを発見しました。それはまるでスポンジを絞るようなものです。水（データ）を絞り出すと、同時に形（意味）も失われてしまいます。「再構成のみ」を目的とした手法は、経路を正確に再現することだけに注力していたため、言語的な手がかりを保持することに失敗しました。圧縮が強くなるにつれ、元の動きとトークン化されたバージョンの間のギャップは広がっていきました。論文は、これがボトルネックであると論じています。もしロボットの内部的な「動きの言語」が、人間の「動きの言語」と一致していなければ、ロボットは指示に従うことに苦労することになります。

解決策：SALT

これを解決するために、著者らはSALT（Semantically ALigned action Tokenizer）を導入しました。単にロボットに動きを再構築させるのではなく、新しいルールを追加しました。「あなたは、その動きから元の指示を推測できなければならない」というルールです。

その仕組みを簡単な比喩で説明します。あなたが学生に絵を描くよう教えていると考えてください。

• 従来の方法： あなたは学生に、「元の絵と全く同じに見えるように、この絵を描いてください」と言います。学生は線を正しく引くことに集中します。
• SALTの方法： あなたは学生に、「この絵を、元の絵に似せて描いてください。さらに、もし君の描いた絵を友人に見せたとき、その友人が『何の絵か』を当てられるようにしてください」と言います。

技術的な観点では、SALTは動きのデジタルな「踏み石」を取り出し、それを凍結された事前学習済みの言語モデルに投入します。モデルは、それらの踏み石「だけ」に基づいて、元の指示（例：「カップをひっくり返す」）を推測しなければなりません。もし踏み石に指示を推測するための十分な情報が含まれていなければ、システムはペナルティを受けます。これにより、ロボットは動きを正確に再構築することを学びつつも、動詞の情報を安全に保持するように、動きのトークンを整理することを強制されるのです。

結果：より優れたロボット、より明確な意味

研究者たちは、SimplerEnvと呼ばれるシミュレーション環境で、ロボットが「スプーンをタオルに乗せる」「ブロックを積み重ねる」といった4つの異なるタスクを実行するテストを行いました。彼らは、3種類のバージョンのロボットを比較しました：

1. 標準的な FAST トークナイザーを使用するもの。
2. 標準的な VQ-VAE トークナイザー（再構成のみ）を使用するもの。
3. 新しい SALT トークナイザーを使用するもの。

結果は明白でした。SALTを用いたロボットは、**71.9%の試行で成功しました。標準的なVQ-VAEを用いたロボットの成功率は42.7%に過ぎず、FASTを用いたロボットはわずか31.2%**でした。

しかし、これは単にゲームに勝ったということだけではありません。研究者たちは、ロボットの「脳」の内部を調べ、どのように動きの語彙を整理しているかを確認しました。その結果、SALTは動詞に特化したコードを発達させていることがわかりました。例えば、特定のデジタルトークンが「ひっくり返す」や「回転させる」という動作に高度に特化していました。対照的に、古い手法では、これらの動きが汎用的で混ざり合ったトークンの中に散らばっていました。SALTは、同じことを指す異なる言い方（例：「レバーを回す」と「レバーを前方に垂直に動かす」）を同じ動きのコードの下にグループ化することさえ学習しており、表面的な言葉ではなく「意味」を理解していることを示しました。

これが意味すること

この論文は、ロボットが人間の言語を真に理解し従うためには、単に動きを正しく見せることだけに集中してはならないことを示唆しています。私たちは、ロボットの内部的な動きの表現が、人間が行う「言語的な区別」を保持するようにしなければなりません。ロボットの行動トークンを、それを記述する言語と一致させることで、より正確であるだけでなく、より直感的であるロボットを構築できるのです。著者らは、これらの結果は有望ではあるものの、特定のデータセットを用いたシミュレーション内でのテストであり、今後の研究では、これらの成果が予測不可能な現実世界でも維持されるかを確認する必要があると述べています。しかし、「動作の『どのように』を保持することが、動作の『何を』と同じくらい重要である」という核心的なアイデアは、人間を真に理解するロボットを作るための新しい道筋を提示しています。