あるコンピュータが、人の頭部に装着されたカメラを通じて世界を理解しようとしている場面を想像してみてください。これは、劇場の固定された席から映画を鑑賞するのとは異なります。この一人称視点では、世界は猛スピードで通り過ぎ、物体は瞬きする間に現れては消え、最も重要な手がかりはレンズの隅にある、小さく儚い細部であるかもしれないのです。人工知能にとって、これは非常に難しいパズルです。現代のコンピュータシステム、いわゆる大規模視覚言語モデル（Large Vision-Language Models）は、テキストを読み取ったり画像を見たりすることには非常に長けていますが、視界が混沌としていて個人的なものになると、しばしば苦戦します。彼らは実際にそこにあるものを注意深く見るのではなく、以前に読んだ内容に基づいて、何が起きているのかを推測してしまう傾向があります。例えば、キッチンを見て「誰かが料理をしている」と決めつけてしまうことがあります。たとえビデオの中でその人が単にコップを洗っているだけだとしても、彼らの内部データベースが「キッチンは料理をするための場所である」と教えてしまうからです。記憶への依存は観察の欠如を招き、ロボットが人間に助けを必要とする場面や、ウェアラブルデバイスが障害を持つ人を支援しなければならないような、極めて重要な状況においてミスを引き起こします。

中国の研究チームは、これらのコンピュータシステムに対し、「推測するのをやめて、見るように」教える新しい方法を開発しました。彼らはこの手法を「視覚的証拠誘導学習（Visual Evidence-Guided Learning）」と呼んでいます。その核心となるアイデアは単純ですが強力です。それは、コンピュータに対して、自分の答えが正しいことを証明する特定のビデオの部分を指し示すよう強制することです。実験において、彼らは、コンピュータにこれらの小さく決定的な視覚的手がかりを見つけ出し、それに依拠するように訓練したとき、コンピュータがビデオで起きていることを理解する能力が大幅に向上することを発見しました。コンピュータは一般的な知識に基づいた作り話をするのをやめ、実際に見たものを正確に描写するようになったのです。この「推測から観察へ」という転換は、人間の動きという現実の、混沌とした世界において、人工知能を信頼できるものにするための重要な一歩となります。

研究者たちはまず、なぜこれほど賢いシステムが一人称視点のビデオにおいてこれほど頻繁に失敗するのかを探りました。彼らは主に2つの問題があることに気づきました。第一に、視覚的な手がかりが弱い、あるいは特定しにくい場合、コンピュータは言語学習に頼り、常識を用いて空白を埋めてしまうことです。例えば、人が小さなカップにブラシを浸したとき、コンピュータはカップを無視して「人は絵を描いている」と言うかもしれません。なぜなら、それがブラシが通常行う動作だからです。第二に、コンピュータはしばしば全体像に気を取られてしまいます。もしビデオがアトリエ全体を映し出していたら、システムは特定の動作（例えば道具を持つ手）ではなく、部屋の雰囲気に焦点を当ててしまうかもしれません。研究者たちは、現在の学習方法では、小さな詳細を無視したり、自身の内部知識に頼りすぎたりすることに対して、コンピュータに罰を与えていないことに気づきました。コンピュータは、自身が見ている視覚的な証拠を価値あるものとして扱うよう教えられていなかったのです。

これを解決するために、チームは厳格なコーチのように機能する学習パイプラインを構築しました。彼らは、人間がすべてのビデオに対して手動でラベル付けを行うことは、時間がかかりコストもかかるため行いませんでした。代わりに、ビデオをスキャンして最も可能性の高い視覚的な手がかりを選び出す自動システムを作成しました。このシステムは、ビデオのフレームと問いかけられている質問を分析し、最も関連性が高いと思われる画像のパッチ（領域）を特定します。また、テストとして、それと似ているものの、より不明瞭な第2のパッチも選び出します。これにより、一つの信号が「真実」を表し、もう一つの信号が「混乱を招く誘惑」を表す、一対の信号が作成されます。コンピュータは、明確な信号に自身の推論を一致させ、混乱を招く信号を無視するように訓練されるのです。

このプロセスには、コンピュータが最終的な学習を開始する前に行われる、重要なフィルタリングステップが含まれています。研究者たちは、すべてのビデオが学習に適しているわけではないことに気づきました。一部のビデオはぼやけすぎていたり、重要な動作が自動システムでは明確に捉えられないほど小さかったりします。もしコンピュータがこうした質の低い例から学ぼうとすれば、混乱を学習することになってしまいます。そこでチームは、視覚的な手がかりの品質をチェックするメカニリズムを構築しました。もしコンピュータがビデオ内で明確で決定的な物体を見つけられない場合、その例は除外されます。また、その例が実際に学習に役立つかどうかもチェックします。もしコンピュータがその質問に簡単に答えられてしまったり、ビデオが明確な教訓を与えるには複雑すぎたりする場合、その例も破棄されます。これにより、視覚的な手がかりが鮮明で、教訓が明確な、より高品質で絞り込まれたビデオのセットが残ります。

コンピュータがこのフィルタリングされた高品質のデータで学習を終えると、強化学習の最終段階に入ります。ここでコンピュータは、正しい行動に対して報酬を受け取ることで、より良い選択をする方法を学びます。この新しいシステムでは、報酬は単に正解を得ることに対してではなく、「正しいものを見て、正解を得たこと」に対して与えられます。もしコンピュータが、答えを証明する特定の物体や動作を正しく特定できれば、報酬が得られます。もし一般的なシーンに基づいて推測したり、あらゆる可能性をカバーするために無関係な物体を列挙したりすれば、ペナルティが科されます。システムはまた、先ほど作成した「混乱を招くパッチ」に注意を向けることを積極的に抑制します。これにより、コンピュータはシーン全体に注意を分散させるのではなく、真に重要な一点へと注意を絞り込むよう強制されるのです。

このアプローチの結果は驚くべきものでした。研究者たちは、コンピュータが一人称視点のビデオをどの程度理解できているかを測定するために設計された、いくつかの異なるベンチマークを用いて彼らの手法をテストしました。彼らは、自らの新しいシステムを、最近開発された他の高度な手法と比較しました。あらゆるテストにおいて、彼らのシステムはより優れた性能を示しました。物体の特定、一連の動作の計画、あるいは複雑なシーンの理解など、ビデオで起きていることに関する質問への回答において、より正確でした。この改善は異なる種類のコンピュータモデルにわたって一貫しており、この手法が特定の脳構造（アーキテクチャ）に関わらず有効であることを示唆しています。研究者たちは、このシステムが、重要な詳細が小さい場合や素早く動く場合に特に優れていることを発見しました。これこそが、従来のシステムが通常失敗する箇所なのです。

チームはまた、自動システムが実際に正しい手がかりを選んでいるかどうかを検証する時間も設けました。彼らはサンプルのビデオを手作業でチェックし、コンピュータが選んだ視覚的パッチが、人間が最も重要だと考える部分と一致するかどうかを確認しました。その結果、大多数のケースにおいて、コンピュータの選択は正しかったことが判明しました。これにより、自動プロセスが教師として使用できるほど信頼できるものであるという自信を得ました。また、彼らはフィルタリングの厳格さなどの異なる設定に対して、システムがどの程度敏感であるかもテストしました。その結果、ある「スイートスポット（最適解）」が存在することが分かりました。フィルタリングが緩すぎるとコンピュータは悪い例から学習してしまい、厳しすぎると学習するためのデータが不足するというものです。適切なバランスを見つけることで、システムを効率的かつ効果的なものにしました。

最も興味深い発見の一つは、このシステムがコンピュータの「思考」の仕方をどのように変えたかという点です。研究者が旧来のモデルの推論プロセスを調べたとき、コンピュータが一般的な背景に基づいて結論を急いでいることが分かりました。対照的に、新しいシステムは、決定を下す前に具体的な証拠を探すという明確なパターンを示しました。例えば、「人が道具を持っている」という問いに対し、旧モデルは背景に基づいて「人は作業場で作業している」と答えるかもしれません。しかし、新しいモデルは「人はドライバーを持っている」と答えます。なぜなら、手と道具に焦点を当てるよう訓練されているからです。この「グローバルな文脈（全体像）」から「ローカルな証拠（局所的な詳細）」への転換こそが、システムをより信頼できるものにしているのです。それは単に、通常何が起きるかをもとに推測しているのではなく、実際に何が起きているかを報告しているのです。

研究者たちは、彼らの手法が完璧ではないことも認めています。この手法が最も効果を発揮するのは、重要な手がかりが、ビデオの小さな部分に明確に見える、単一の局所的な物体や動作である場合です。もし答えが、時間の経過とともに広がる長い一連の出来事に依存していたり、重要な物体が他のものの後ろに隠れていたりする場合、システムは依然として苦戦することがあります。また、問いかけが抽象的すぎる場合、自動システムがそれに一致する視覚的な手がかりを見つけるのが困難になることもあります。しかし、特定の視覚的な詳細が答えの鍵となる大多数のタスクにおいて、彼らのアプローチは堅牢な解決策を提供します。

この研究は、人工知能をより現実の世界に根ざしたものにするための、重要な一歩を象욱しています。コンピュータに対し、「知っていること」よりも「見えていること」を重視するように教えることで、研究者たちは、危険な間違いや愚かなミスを犯しにくいシステムを作り上げました。ロボットやスマートデバイスが普及していく世界において、一人称視点を信頼できる形で理解し、まさに何が起きているかを把握できるシステムを持つことは不可欠です。この手法は、高価な人間の教師や膨大な量の新しいデータを必要としません。代わりに、巧妙なフィルタリングプロセスと、コンピュータを真実へと導く新しい報酬制度を用いています。技術が進歩し続ける中で、この「視覚的証拠」への焦点は、機械に世界を見せるための標準となり、機械が本当に見るべきものを見られるようにすることを保証するでしょう。