あなたは、ロボットに世界を理解する方法を教えようとしていると想像してください。長い間、科学者たちは、ロボットが自らパターンを「学習」することを期待して、何百万もの画像や動画を見せることでロボットを教えてきました。これは、学生に本の図書室を与えながら、言葉を読ませず、表紙の絵から物語を推測させるようなものです。ロボットは、脳内に似たものが近くに集まる巨大で目に見えない地図を作り上げますが、その地図はそれを作った人間にとっても謎のままです。私たちはそれが機能することを知っていますが、「なぜ」機能するのかは分かっておらず、もしロボットが間違いを犯した場合、地図のどの部分が間違ったのかを簡単に特定することもできません。

これを解決するために、研究者たちは、ロボットの思考をもっと人間の話し方に近づける方法を探しています。漠然とした感覚やぼやけた画像ではなく、ロボットに「車は赤い」や「信号は緑である」といった、明確でシンプルな文章を使わせたいと考えているのです。この論文はこの会話に踏み込み、次のように問いかけています。「もし、目に見えない謎めいた地図を通じてロボットに世界を理解させようとするのをやめて、代わりにシンプルな事実による共有の辞書を与えたらどうなるだろうか？」という問いです。目標は、画像や動画という混沌とした複雑な世界を、誰（あるいはどの機械）でも読み、確認し、組み合わせることができる、クリーンな記述のリストへと変えることです。

---

謎の地図から共有の辞書へ

あなたが友人に、混沌とした街の様子を説明しているところを想像してみてください。「わあ、見て、あの大きな赤いトラックが濡れた歩道のそばを猛スピードで通り過ぎて、その近くでは犬がボールを追いかけているよ！」と言うかもしれません。この文章には多くの詳細が含まれていますが、同時に少し乱雑でもあります。もし、あなたが「ボールを追いかける犬」の動画をすべて見つけたいと思ったとき、その文章全体で検索するのは難しいでしょう。なぜなら、犬はフリスビーを追いかけているかもしれないし、トラックは青いかもしれないし、歩道は乾いているかもしれないからです。

NVIDIAで働くこの論文の著者たちは、これらの記述を整理する新しい方法を提案しています。彼らはこれを Bag of Atomic Propositions (BoAP) と呼んでいます。「プロポジション（命題）」を、物語の最も基本的で単純な構成要素、つまり「犬がボールを追いかけている」「トラックは赤い」「歩道は濡れている」といった、シンプルで真実の記述だと考えてください。

すべての画像、動画、またはテキストログを、隠れた混乱した脳の一部に丸ごと保持させる代わりに、このフレームワークは、それらをこれらの単純な事実の「バッグ（袋）」へと分解します。これは、複雑なレゴのお城を、すべてのパーツを箱の中に仕分け、赤いもの、青いもの、車輪などを分ける作業に似ています。一度パーツを仕分ければ、どんなお城から来たものであれ、すべての赤いパーツや車輪を簡単に見つけることができます。

魔法の辞書（コードブック）

ここが難しいところです。人間（そしてロボット）は、同じことを異なる方法で表現します。ある人は「車が止まっている」と言い、別の人は「車両が待機している」と言うかもしれません。コンピュータにとって、これらは全く異なるものに見えます。もしこれを修正しなければ、「事実のバッグ」は乱雑で重複だらけになってしまいます。

これを解決するために、チームは Global Semantic Codebook を構築しました。あらゆる「車が止まっている」という言い回しが、一つの公式なエントリーである「車両が待機している」にマッピングされる、巨大なマスター辞書を想像してください。

プロセスは以下の通りです：

1. 抽出 (Extraction): 超高性能なAI（マルチモーダル大規模言語モデルと呼ばれます）が、ビデオや画像を見て、そこで起きていることを説明するシンプルな文章のリストを作成します。
2. クリーニング (Cleaning): AIは、車の特定のブランドや正確な青の色合いなど、大局的な把握には重要ではない「ノイズ」となる詳細を削ぎ落とします（ただし、それらの詳細がタスクに不可欠な場合は除きます）。
3. マッチング (Matching): AIは作成したすべての文章をマスター辞書と照合します。一致するものが見つかれば、乱雑な文章を、クリーンで公式なバージョンに置き換えます。

こうして、東京の自動運転車であれ、ブラジルの森林を飛ぶドローンであれ、世界中のあらゆるビデオが、同じ単純な事実の言語へと翻訳されます。

なぜこれが大きな意味を持つのか

この論文は、この手法が従来の「謎の地図」を用いた手法が苦戦する3つの素晴らしいことを実現できることを示しています。

1. 検索を極めて精密にする
もし、「歩行者が道を横断している」かつ「信号が赤である」かつ「路面が濡れている」動画を見つけたい場合、古い手法では混乱が生じます。信号は赤だが路面は乾いている動画や、信号は緑だが歩行者が横断している動画を見つけてしまうかもしれません。新しいシステムは、物事を個別の事実へと分解するため、それらを完璧に組み合わせることができます。これは、本のタイトルを推測するのではなく、特定のタグをチェックして図書館を検索するようなものです。論文では、膨大な走行ビデオやオープンワールドの映像データセットの中から、稀で複雑なシナリオを正常に特定できることを実証しています。

2. ロボットが「知らないこと」を明らかにする
これが最も強力な部分です。すべてが単純な事実として書き出されているため、それらを数えることができます。トレーニングデータ（ロボットが学習したビデオ）を見て、どのような事実が欠けているかを正確に把握できるのです。
例えば、この論文では走行ビデオのデータセットを分析し、ロボットは「左折する車」の例は何百万例も見てきた一方で、「雨の中で、かつ歩行者が横断している最中に左折する車」の例はほとんど見たことがないことを発見しました。古い手法では、単に「これは珍しい左折である」としか言えませんが、この新しい手法は、「雨、左折、そして歩行者という『組み合わせ』が不足している」と教えてくれます。これにより、科学者はロボットをより安全にするために、どのような新しいデータを収集すべきかを正確に知ることができます。

3. 異なる世界を繋ぐ
システムがすべてを同じ単純な言語に翻訳するため、車のビデオと、天気予報のテキストログ、あるいは道路標識の写真を比較することができます。これらはすべて同じ「事実のバッグ」に集約されます。これにより、ロボットは「濡れた路面」というテキストの説明が、たとえそれがテキストであっても、濡れた路面を見せているビデオと同じ概念であることを理解できるようになります。

結論

この論文は、AIのすべての問題を解決したと主張しているわけではありません。代わりに、情報の整理に関する新しい方法を提案しています。従来の「謎の地図」（高密度埋め込み）はパターンの認識には優れていますが、「なぜ」その事象が起きたのかを説明したり、特定のイベントの組み合わせを見つけたりすることには向いていないと論じています。

世界を Bag of Atomic Propositions に変えることで、著者たちは、AIをより透明にし、検索を容易にし、見落としている可能性のある稀で危険な状況を特定しやすくできることを示しました。それは、ロボットに乱雑なスケッチブックを与えるのではなく、整理された明確なノートを与えるようなものであり、それによって私たちがついにロボットの思考を読み、それが何を見ているのかを正確に理解することを可能にするのです。