Direct Visual Grounding by Directing Attention of Visual Tokens

コンピュータが写真を見て、私たち人間がスマホの写真を眺めながらチャットするように、その内容について語ることができる世界を想像してみてください。これは、カメラが見ているものと人間が言うことの間の溝を埋めようとする人工知能の一分野、**視覚言語モデル（VLM）**の世界です。これらのモデルを、画像を「視覚トークン」と呼ばれる小さなデジタルのパズルピースに分解し、それと言葉を混ぜ合わせることで、「猫は何色ですか？」や「リンゴは何個ありますか？」といった質問に答える、超スマートな翻訳者だと考えてみてください。

長い間、科学者たちはこれらのモデルがこの作業において非常に上手くなっていると考えてきました。しかし、そこにはある厄介な謎がありました。時として、たとえ答えが正解であっても、コンピュータは画像自体を完全に無視しているように見えることがあったのです。それはまるで、テストを受けている学生が、問題を読み、図解をちらりと見たものの、目の前にある具体的な線や形を完全に忘れてしまい、教科書から覚えた知識だけで回答しているような状態でした。研究者たちの大きな疑問は、「なぜコンピュータの『脳』は、最終的な答えを出す時に視覚的な手がかりへの注意を払わなくなるのか？」というものでした。この論文はこの問題に深く切り込み、AIモデルに対し、話す時に画像の正しい部分を実際に「見る」ように教えることができるかどうかを解明しようとしています。

---

問題点：機械の中に潜む「ゴースト」

視覚言語モデル（V模型）を紹介しましょう。これは、何百万冊もの本を読み、何百万枚もの写真を見た、非常におしゃべりなロボットのようなものです。あなたが画像について質問すると、モデルは画像を小さな正方形のグリッド（視覚トークン）に分解し、入力された言葉と混ぜ合わせます。

ここからが奇妙な点です。論文によると、思考の最終段階、つまりロボットが答えを入力する直前の瞬間に、モデルはしばしば画像を見るのをやめてしまうことが分かりました。それは、すべての材料がカウンターの上に並んでいるのに、料理を盛り付ける瞬間に、食材を見ること自体をやめ、暗記したレシピに基づいて味がどうあるべきかを推測してしまうシェフのようです。研究者たちは、コンピュータが最も重要な部分（例えば、2本の線の交点や特定の物体など）に対して払う「注意（アテンション）」が、ほぼゼロであることを発見しました。まるで視覚的な手がかりが「ゴースト」であるかのように、システム内には存在するものの、答えを書く脳の部分からは見えていないのです。

この論文は、これらのモデルの標準的な学習方法（「次トークン予測」と呼ばれます）が、エッセイの最終的な内容だけを採点し、学生が実際に参照写真を見たかどうかを一度もチェックしない教師のようなものであると主張しています。コンピュータは次の単語を正しく推測することを学習しますが、なぜそれが正しいのか、あるいは画像のどの部分が正解の根拠となったのかまでは学習しないのです。

解決策：「レーザーポインター」による注意

これを修正するために、著者らは**KLアテンション損失（KLAL）**と呼ばれる、巧妙で新しい学習テクニックを考案しました。

あなたが犬にボールを取ってくる練習をしているところを想像してください。古い方法では、犬がボールを持って帰ってきた時に単に「いい子だ！」と言うだけですが、これでは犬がただランダムに走り回っていた結果、運良くボールを掴んだだけかもしれません。この論文で提案されている新しい方法では、「レーザーポインター」を使用します。犬がボールを見つめるたびに、その場所に光を当てて、「そう！そこを見て！」と指示を出すのです。

コンピュータの世界における「レーザーポインター」とは、モデルに対して、答えに不可欠な画像の特定のピクセルに注意を向けるよう強制する特別な数学的信号のことです。

• もし質問が「これらの線は何回交差していますか？」であれば、レーザーポインターは線が交差する正確な場所に光を当てます。
• もし質問が「このノードはあのノードと接続されていますか？」であれば、レーザーポインターはそれらを結ぶ線の経路を辿ります。

その後、モデルは他の場所を見ている場合に「罰（損失関数によるペナルティ）」を与えられます。これはロボットに対して、「ただ答えを推測するのではなく、画像の正しい場所を見ていることを証明しなければならない」と伝えているようなものです。

彼らが発見したこと：推測から「視覚」へ

研究者たちは、このアイデアを、2本の曲がった線が何回交差するかを数えたり、複雑なグラフの中の経路を辿って2つの点が接続されているかを確認したりといった、精密な視覚的推論を必要とする難しいタスクでテストしました。彼らはさらに、「ライン・トレーシング（線追跡）」という、ドットの迷路の中の経路を辿らなければならない新しいゲームも作成しました。

「レーザーポインター（KLAL）」をオンにしたとき、何が起きたのでしょうか。

1. より優れた回答: モデルはこれらのタスクにおいて大幅に改善されました。例えば、「線交差（Line Intersection）」タスクにおいて、この新しい学習法を追加することで、あるモデルの精度は約47%から70%以上に向上しました。「ポインティング（Pointing）」タスク（モデルが物体の正確な位置を特定しなければならないタスク）では、劇的な改善が見られ、ほぼランダムな推測に近い状態から、回答の成功率が半分近くまで跳ね上がりました。
2. より優れた集中力: 最もエキサイティングな部分は、単なるスコアではなく、モデルの「考え方」でした。研究者がモデルの「アテンション・マップ（コンピュータがどこを見ているかを示す図）」を観察したところ、劇的な変化が見られました。新しい学習の前は、モデルは画像のランダムな部分を見ていました。しかし、学習後は、モデルの注意は、人間が注視するように、交差点や特定の物体にしっかりと固定されていました。
3. より強い記憶: この論文は、この学習が単にモデルの見る場所を変えるだけでなく、画像の内部メモリをより強力にすることを発見しました。重要な画像部分のデジタル的な「重み」がより重く、より明確になり、モデルが単に言葉を理解するだけでなく、視覚データを真に「理解」したことを意味しています。

結論

この論文は、これらのAIモデルが単純な視覚タスクに失敗する理由は、能力が足りないからではなく、適切に「見る」ように教えられていないからであると示唆しています。学習中に直接的な「レーザーポインター」の信号を加えることで、モデルが言葉を、それが表すピクセルへと直接結びつけるよう強制したのです。

結果として、この手法はオープンソースのものから一部の巨大な商用AIシステムに至るまで、異なる種類のモデル間で有効であることが証明されました。最も高度な商用モデルであっても、この手法が適用されるまでは、これらの特定の幾何学的なタスクに苦戦していました。著者らは、AIに真に世界を理解させたいのであれば、単に推測させるのではなく、教師が図解の正しい部分へと生徒の目を導くように、正しいものに注意を向けるよう教えなければならないと結論付けています。

要約すれば、この論文は、AIに話す前に証拠を見ることが強制されれば、AIは「幻覚（ハルシネーション）」を止めて、実際に「見る」ようになることを証明しています。