ロボットが散らかった寝室を片付けようとしている場面を想像してみてください。私たちにとって、散らかった部屋はただの服や本、おもちゃの山に過ぎません。しかし、ロボットの脳にとって、それは恐ろしい数学の爆発です。あらゆる物体が潜在的な障害物であり、ロボットにぶつかる可能性のあるもの、あるいはロボットが誤って倒してしまうかもしれないものです。ロボットは、どのように動くべきかを判断するために、あらゆる物体が他のあらゆる物体とどのように相互作用するかを計算しなければなりません。もし物が多すぎると、数学が膨大になりすぎて、まるで巨大なファイルを開こうとしているコンピュータのように、ロボットはフリーズしてしまいます。これが「クラッター問題（散らかり問題）」であり、ロボットが清潔で空っぽのラボでは素晴らしい働きを見せる一方で、私たちの現実の、散らかった家での手伝いには向いていない主な理由です。科学者たちは、ロボットに「ゴミ」を無視するように教えようとしてきましたが、通常、それは人間が特定のものを無視するように手動でプログラムする必要があり、状況が変わると上手くいきません。

ここで、LENS（LLM誘導型環境簡略化）と呼ばれる新しいアイデアが登場します。LENSを、ロボットのための超スマートで魔法のようなメガネだと考えてください。部屋全体の数学を解こうとする代わりに、ロボットはこのメガネをかけ、強力な「脳」（大規模言語モデル）を使用してシーンを観察し、「この特定の作業にとって、実際に重要なものは何か？」と問いかけます。もしロボットが赤いカップを持ち上げる必要があるなら、このメガネは「隅にある洗濯物の山は無視して、あの3冊の本のスタックを1つの単一のブロックとして扱いなさい」と伝えるかもしれません。リアルタイムで世界を簡略化することで、ロボットはパニックを止めて作業を開始できるのです。この論文は、この「スマートメガネ」のアプローチを使用することで、ロボットが従来型の数学ベースのプランニングでも、動画を見て学習する最新のAIでも、以前よりもはるかに散らかった部屋を扱えるようになることを示しています。

ロボットの悪夢：考えすぎるほどの物量

大量の宿題を抱えているとき、その「山の塊」を見つめているせいで集中するのが難しいと感じることはありませんか？ロボットも同じ感覚です。ロボットが散らかった部屋の中で物体を動かそうとするとき、その部屋にあるすべてのものについて考えなければなりません。あの椅子が道を塞ぐだろうか？あの玩具は転がっていってしまうだろうか？もし物体が50個あれば、ロボットは衝突しないようにするために何百万回もの計算を実行しなければなりません。

長い間、研究者たちは非常に清潔で整理された部屋でのみ動作するロボットを作ることで、この問題を解決しようとしてきました。しかし、それは現実ではありません。現実は散らかっています。ロボットが散らかった部屋に置かれると、混乱してしまいます。彼らの「視覚」は散らかり、「脳」は圧倒されてしまいます。彼らはタスクとは関係のないおもちゃを動かそうとしたり、数学が難しすぎてフリーズしたりすることがあります。問題はロボットが愚かなのではなく、一度に多くのことをやりすぎていることなのです。

解決策：魔法のフィルター

この論文の著者である、ペンシルベニア大学のアイリーン・リアオ氏とそのチームは、LENSと呼ばれる巧妙な解決策を考案しました。ロボットをあらゆる物に対応できるほど賢くする代わりに、彼らはロボットにとっての世界をより小さくすることに決めました。

ビデオゲームをプレイしていて、画面が多すぎるキャラクターやアイテムで埋め尽くされていて、ゴールが見えない状況を想像してください。そこで、重要でないものをすべてぼかすフィルターをかけるとします。突然、進むべき道がはっきりと見えるようになります。LENSは、ロボットに対してまさにそれを行います。視覚言語モデル（Vision-Language Model）と呼ばれる特殊なAIを使用して、シーンを観察し、何を保持し、何を捨てるかを決定します。

LENSは、シーンを簡略化するために主に2つのことを行います。

1. プルーニング（切り捨て）: もし物体が遠くにあったり、タスクに関係がなかったりする場合、LENSはロボットに対し、それが存在しないかのように振る舞うよう指示します。例えば、ロボットが緑色のブロックを動かす必要がある場合、LENSは「隅にある青いボールは無視せよ」と言うかもしれません。
2. マージ（結合）: 時には、本が積み重なっているように、物体同士がくっついていることがあります。それぞれの本を別々の問題として扱う代わりに、LENSはそれらをロボットの心の中で一つに「接着」し、単一の大きな物体として扱います。これにより、数学が非常に簡単になります。

仕組み：「試行、失敗、修正」のループ

ここからが本当に面白い部分です。LENSは単なる一度限りのフィルターではありません。それは「ループ」なのです。ロボットは簡略化された視界でタスクを実行しようと試みます。もし失敗した場合（例えば、本のスタックを動かそうとしてバラバラになってしまった場合など）、ロボットは「ねえ、あれはうまくいかなかったよ！」というメッセージを「魔法の脳」に送り返します。すると、脳は再びシーンを観察し、自分がミスをしたこと（おそらく、本来無視すべきものを無視しなかった、あるいは結合すべきものを結合しなかったこと）に気づき、フィルターを更新します。これは、人間がパズルを解こうとして、ピースが間違った場所にあることに気づき、再び挑戦するのと似ています。

研究者たちはこれを3つの異なる方法でテストしました。

• プランニング（計画）: 論理を用いてステップを導き出す古典的なプランニングシステムで使用しました。
• コントロール（制御）: ロボットの筋肉をリアルタイムで制御するシステムで使用しました。
• ラーニング（学習）: 動画を見て学習する現代的なAI（Vision-Language-Actionモデル）で使用しました。

得られた結果

結果は非常に印象的でした。実験において、LENSを備えたロボットは、LENSなしのロボットよりも散らかった部屋を扱うのがはるかに上手でした。

• スピード: 部屋の中の物体が増えるにつれて、LENSなしのロボットはどんどん遅くなっていきました。物体が7個あるとき、LENSなしのロボットは対処法を見つけるために4,000秒以上（1時間以上！）かかりました。一方、LENSを持つロボットは、物体がいくつあっても、わずか40秒から135秒という速さを維持しました。
• 成功率: 散らかった部屋では、LENSなしのロボットは完全に失敗することがよくありました。LENSがあれば、成功率は格段に上がりました。例えば、ロボットが緑色のボウルを赤い皿に移動させるテストにおいて、LENSなしのロボットは邪魔にある他のボウルに惑わされました。LENSを持つロボットは余計なボウルを無視し、仕事を完遂しました。
• 実機ロボット: 彼らはシミュレーションだけでなく、実際の物理的なロボットでもこれをテストしました。ロボットは散らかりの中を物体を押し進んだり、ぬいぐるみをつまみ上げたりすることができ、注意をそらすものをうまく無視することができました。

なぜこれが重要なのか

この論文は、現実の世界に対処するために、必ずしも「より賢い」ロボットを作る必要はないということを示唆しています。代わりに、特定のものを「無視する」能力を教えることができるのです。ロボットに、行おうとしている作業に基づいて動的に世界を簡略化させる方法を与えることで、私たちはロボットを、私たちの散らかった家庭でより役に立つ存在にすることができます。それは、優れた教師が、教科書全体を丸暗記させるのではなく、レッスンの最も重要な部分に集中できるよう生徒を導くのと似ています。

著者たちは、これはまだ完璧な解決策ではないことも慎重に述べています。時としてロボットは依然として間違いを犯すことがあり、「魔法の脳」はフィルターを正しく設定するために何度か試行錯誤する必要があるかもしれません。しかし、これは大きな前進です。言語による理解能力と、シーンを簡略化する能力を組み合わせることで、ラボで機能するロボットと、私たちの日常生活で実際に役立つロボットとの間の溝を埋めることができることを示しています。