v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

複雑な絵の中に隠されたパズルのピースを解こうとしている場面を想像してみてください。人工知能の世界には、画像を見ながら同時にテキストを読み取ることができる「マルチモーダル」な脳を持つ特別なモデルが存在します。通常、これらのAIモデルが図形を含む数学の問題を解こうとする際、彼らは画像を一瞥して全体的な雰囲気だけを記憶し、あとはテキストのみを使って問題を解こうとします。それは、地図を5秒間だけ眺めて目を閉じ、一度も地図を見返すことなく新しい街へ向かって運転しようとするようなものです。問題は、運転の指示が長く複雑になるにつれて、AIはどこで曲がるべきかや、ランドマークがどのような見た目だったかを忘れ始めてしまうことです。彼らは「グラウンディング（接地）」、つまり正解するために必要な視覚的根拠から離れてしまうのです。

この論文は、これらのAIの思考法であるv1という新しい手法を紹介しています。v1は、一度見てから推測するのではなく、モデルに対し、記憶すべき画像の特定の部分を能行的に指し示し、その情報をコピーし、行き詰まった時に思考プロセスへと再び貼り付ける方法を教えます。これは、長い数学の問題を解いている賢い学生が、図形を指で叩きながら、「待って、この角度をもう一度確認させて」と言い、その特定の視覚的詳細をノートに書き写して計算を完了させるようなものです。研究者たちは、このシンプルな「ポイント・アンド・コピー（指し示してコピーする）」というテクニックが、AIを画像の正しい部分に集中させ、難易度の高い視覚的数学テストにおいてより優れた回答をもたらすことを発見しました。

問題点：「一瞥（いちべつ）」の罠

現在の多くのマルチモーダルAIモデルは、図形をほんの一瞬だけ勉強するように言われ、その後目を閉じてしまう学生のようなものです。彼らは画像を一度だけメモリにエンコードし、その後はテキストのみを用いて推論を行おうとします。研究者たちは、このアプローチに欠陥があることに気づきました。推論が長くなり複雑になるにつれて、モデルは集中力を失い始めるのです。それはまるで、学生の目が虚ろになっていくようなものです。彼らは画像内の重要な詳細への注意を払わなくなります。論文は、AIが問題を解くためのステップを書き進めるにつれて、実際の画像への注意が薄れ、必要な証拠を見ていないために間違いを犯し始めることを示しています。

解決策：ポイント・アンド・コピー

これを修正するために、チームはこれらのAIモデルのための軽量なアップグレードであるv1を作成しました。v1を、AIに魔法のポインターとコピー機を与えるものだと考えてください。AIが問題を考えている最中に、画像の特定のパーツ（三角形の中の角度や、グラフの棒など）を確認する必要があると気づいたとき、彼らは単に推測するだけではありません。代わりに、「ポインティング」メカニズムを使用して、その正確な画像領域を選択します。

指し示した後、彼らはその場所から視覚的な情報を「コピー」し、それを思考の流れに直接「ペースト」します。これは、AIが思考の過程で、元の画像データを外科的な精度で何度も再アクセスできることを意味します。つまり、画像を新鮮な状態に保ちながら計算を進めることができるのです。重要なのは、これは新しい画像を生成したり新しい絵を描いたりすることではなく、元の画像データに精密に再アクセスすることです。モデルは、「あの赤い棒をもう一度見る必要がある」と言い、そこを指し示し、データをコピーし、そして新鮮な視覚的コンテキストを持って推論を継続することを学びます。

AIへの教え方

単にAIに「もっとよく見ろ」と言うだけでは不十分です。どのように見るべきかを訓練する必要があります。研究者たちは、推論のステップが画像の特定の部分と明示的に結びついている30万個の例を含む、v1gと呼ばれる大規模なデータセットを構築しました。彼らは、以下の巧妙な自動プロセスを用いてこのデータを作成しました：

1. 他のAIモデルによる既存の推論パスを取り出した。
2. 強力な言語モデルを使用してそれらのパスを分解し、AIが画像の「どこを見るべきであったか」を特定した。
3. 「グラウンディング」のアノテーション（注釈）を追加した。これは、「この角度に言及するときは、画像のこの特定の領域を見なければならない」というデジタル付箋のようなものです。

このデータセットにより、v1モデルは、行き詰まった時や検証が必要な時に、手を伸ばして正しい場所を指し示し、情報をコピーすべきであることを学びました。

結果：よりスマートで集中した推論

チームは、MathVista、MathVision、MathVerseを含む、いくつかの挑戦的な数学ベンチマークでv1をテストしました。これらのテストは、注意深い視覚的検査を必要とする図、チャート、幾何学的な形状で満たされています。

結果は目覚ましいものでした。v1は比較的規模の小さいモデル（70億パラメータ）であるにもかかわらず、多くのより大きなモデルや他の特化した推論モデルを上回りました。

• MathVisionベンチマークにおいて、ポインティング機能を持たないベースモデルのスコアは23.6でした。
• トレーニング中にポインティング機能を追加したが、テスト中には使用しなかった場合のスコアは、25.3へとわずかに上昇しました。
• しかし、モデルがテスト中にポイント・アンド・コピー機能を使用することを許可したところ、スコアは34.5へと跳ね上がりました。

これは、画像を能動的に再訪問する能力が成功の鍵であることを示しています。モデルは単に数学が上手くなっただけでなく、数学を解きながら「見る」ことが上手くなったのです。ある例では、他のモデルがチャートの最も高い棒を誤認した一方で、v1は特定の棒を正しく指し示し、データをコピーして、正しいパーセンテージを算出しました。また、六角形を用いた経路探索パズルのタスクでは、v1はルートを確認するために正しい形状を指し示すことに成功しましたが、他のモデルは迷走しました。

これが意味すること

この論文は、マルチモーダルな推論の未来は、単にモデルを大きくしたりテキスト生成を賢くしたりすることだけではないと示唆しています。それは、必要な時に動的に視覚情報にアクセスする能力を彼らに与えることです。「ポイント・アンド・コピー」をさせることで、研究者たちは、視覚的な証拠を推論のステップと一致させ続け、モデルが真実から逸脱するのを防ぐ方法を見つけました。

研究者たちは、これがすべての問題を解決する魔法の杖ではないことも慎重に述べています。時にはモデルが間違った領域を指してしまったり、指し示しすぎたりしたり、あるいは、きれいに枠に収まらない非常に抽象的な概念に苦戦したりすることもあります。しかし、核心となる発見は明白です。能動的な視覚的参照は助けになります。それは、AIを「地図を一瞥してあとは祈るしかない学生」から、「すべてのターンが正しいことを確認するために、常に地図をチェックするナビゲーター」へと変えるのです。