あなたは、超スマートなロボットに周囲の世界を説明する方法を教えていると考えてみてください。あなたはロボットに犬の写真を提示し、「何が見えますか？」と尋ねます。理想的には、ロボットは「犬が見えます」と言うべきです。しかし、時としてこれらのAIモデルは少しばかり独創的になりすぎることがあります。例えば、写真には存在しないのに、「赤い帽子をかぶった犬が見えます」と言ってしまうかもしれません。これは「ハルシネーション（幻覚）」と呼ばれます。それは、ロボットが実際にそこにあるものを見ているのではなく、白昼夢を見ているような状態です。

これを修正するために、科学者たちは「選好最適化（Preference Optimization）」と呼ばれる学習方法を用いています。これは、「熱いか冷たいか（Hot or Cold）」ゲームのようなものです。あなたはロボットに2つの回答、つまり「正しい回答（熱い回答）」と「作り話の回答（冷たい回答）」を見せます。ロボットは「熱い」方を選ぶように学習します。最近、研究者たちはこれをさらに良くするために、写真の記述（テキスト）のような追加の手がかりを与える試みをしました。そうすることで、ロボットが空想（白昼夢）を止めることができるのではないかと考えたのです。しかし、ここで大きな疑問が生じます。ロボットは本当にその手がかりを使っているのでしょうか、それとも単にそれを無視して推測しているだけなのでしょうか？

これこそが、論文「Context Blindness in DPO」が調査している内容です。著者である韓国大学校とKAISTの研究チームは、追加の手がかりを与えても、多くのAIモデルが「コンテキスト盲目（Context Blindness）」に陥っていることを発見しました。彼らは、標準的な学習方法では、ロボットに情報を注視させるようには教えられていないことを突き止めました。そこで彼らは、より優れた手法としてC2-DPO（Context-Calibrated Direct Preference Optimization）という新しい学習技術を考案しました。単にどちらの回答が良いかを教えるのではなく、C2-DPOは、追加の手がかりがあるときには、ロボットにその回答に対してより高い確信を持たせ、手がかりがない場合でもその確信を維持させるように教えます。彼らの実験によれば、この新手法はロボットの白昼夢を大幅に減少させ、現実の世界を観察する上でより信頼性の高いものにしています。

問題点：ロボットの白昼夢の癖

マルチモーダル大規模言語モデル（MLLM）は、脳を持つ超強力なカメラのようなものです。写真を見て、それについて話すことができます。しかし、彼らには厄介な癖があります。細部を捏造してしまうことがよくあるのです。もし、何の変哲もない白い皿の写真を見せたら、彼らは自信満々に「皿の上にピザのスライスがあります」と言うかもしれません。文章としては完璧に聞こえますが、それは嘘です。これが「物体ハルシネーション（Object Hallucination）」です。

これを止めるために、科学者たちは**直接選好最適化（Direct Preference Optimization: DPO）**という手法を使用します。あなたが学生のエッセイを採点している教師だと想像してください。そこには2つのバージョンがあります。一つは正確で、もう一つは嘘に満ちています。あなたは学生に「正確な方を好む」と伝えます。時間が経つにつれ、学生は正確な書き方を学ぶようになります。AIの世界では、研究者はモデルに「真実の回答」と「ハルシネーションを含む回答」のペアを与え、常に真実の方を選ぶように訓練します。

最近、一部の研究者はAIをさらに助けようと試みました。質問をする前に、写真に「ヘルパーテキスト（キャプションのようなもの）」を追加したのです。その意図は、「ロボットがキャプションを読み、かつ写真を見るならば、作り話はなくなるだろう」というものでした。しかし、この論文の著者は疑念を抱きました。「ロボットは本当にキャプションを読んでいるのか、それとも単に無視して推測しているだけなのか？」

発見：盲目のロボット

答えを見つけるために、著者らは**コンテキスト的選好利得（Contextual Preference Gain: CPG）**という単純なテストを作成しました。CPGは「信頼度メーター」と考えてください。

テストの仕組みは以下の通りです：

1. フル・コンテキスト： 写真に役立つキャプションを添えてロボットに見せます。「皿の上にピザはありますか？」と尋ねます。ロボットは「いいえ、空です」と答えます。そのとき、ロボットがどれほど自信を持っているかを確認します。
2. 劣化させたコンテキスト： キャプションを取り除きます。写真のみをロボットに見せ、同じ質問をします。ロボットは「いいえ、空です」と答えます。そのときの自信を再び確認します。

もしロボットが本当に注意を払っているなら、キャプションがあるときの方がはるかに自信を持っているはずです。信頼度メーター（CPG）は上昇するはずです。これが、賢く、地に足のついた（grounded）ロボットがすべきことです。

しかし、著者らが標準的なAIモデル（通常のDPO学習を用いたもの）をテストしたところ、衝撃的なことが分かりました。信頼度メーターはほとんど動きませんでした。キャプションがあってもなくても、ロボットは全く同じレベルの自信を感じていたのです。ロボットはコンテキスト盲目でした。追加の助けを無視して、自身の推測に頼っており、それが厄介なハルシネーションを引き起こしていたのです。

著者らは強い相関関係を見出しました。追加の手がかりを与えたときにモデルの信頼度メーターが上昇するほど（高いCPG）、嘘をつく頻度が低くなります。しかし、標準的なモデルのCPGはほぼゼロでした。彼らは本質的に、使うべきコンテキストに対して「盲目」であり、与えられた情報を利用できていなかったのです。

解決策：C2-DPO（「コンテキスト較正型」トレーナー）

では、どうすれば盲目のロボットに「見る」ことを教えられるのでしょうか？著者らは、C2-DPOと呼ばれる新しい学習法を提案しました。

単に「正しい回答を選べ」と言うのではなく、C2-DPOはゲームのルールを変更します。それはロボットに特定のレッスンを強制します。すなわち、**「追加の手がかりがあるときは、手がかりがないときよりも、自分の回答に対して『もっと』確信を持たなければならない」**ということです。

彼らは、自信のレベルの差を広げることに報酬を与える特別な数学的トリック（損失関数）を用いてこれを行います。

• シナリオA（フル・コンテキスト）： ロボットは写真とキャプションを見ます。回答が正しいことに対して、非常に自信を持たなければなりません。
• シナリオB（劣化させたコンテキスト）： ロボットは写真のみを見ます。依然として自信を持つ必要がありますが、学習によって「フル・コンテキスト」時の自信が有意に高くなるように設定されます。

これは探偵を訓練するようなものです。標準的な探偵は、目撃者がいてもいなくても事件を解決できるかもしれません。しかし、C2-DPOの探偵は、「目撃者がいるなら、私は100%確信できる！目撃者がいなくても、かなり確信しているが、もっと証拠が必要だということも分かっている」と言うように訓練されます。これにより、AIは（目撃者／キャプションという）追加の情報を、自身の推論を強化するために実際に活用することを強制されます。

結果：白昼夢の減少と真実の追求

著者らは、LLaVA-v1.5-7BやQwen2-VL-Instruct-2Bを含むいくつかの有名なAIモデルを用いて、この新しい手法をテストしました。彼らは、物体を捏造するロボットを捕まえるためのテストであるObject HalBenchにおいて、C2-DPOを従来の標準的な手法と比較しました。

結果は目覚ましいものでした：

• Qwen2-VL-Instruct-2Bモデルにおいて、C2-DPOはハルシネーションを含む応答の割合を**36%減少させ、ハルシネーションを含む言及（特定の単語）の割合を60%**減少させました。
• AMBERベンチマークにおいて、ハルシネーションスコアは旧手法による39.9から、C2-DPOによる16.1へと低下しました。
• 決定的なことに、モデルは他のタスクにおいて「馬鹿」になることはありませんでした。彼らは以前と同様に、一般的な質問に答えたり論理パズルを解いたりすることができました。ただ、作り話をすることを止めただけなのです。

また、著者らはこのトリックが画像なしでも機能することを示しました。テキストのみのモデル（質問と回答のみを使用）に同じロジックを適用した場合でも、精度が向上しました。これは、問題が単に画像を「見る」ことではなく、モデルが与えられた情報をどのように「価値あるもの」として学習するかにあることを示唆しています。

なぜこれが重要なのか

この論文は、私たちが現在AIに「正直」になるよう教えている方法には、重要な要素が欠けている可能性があることを示唆しています。私たちは追加の手がかりを与え、それを使ってくれることを期待してきましたが、学習方法が「注意を払うこと」を強制していませんでした。単に「コンテキストを尊重する自信」に報酬を与えるよう学習を調整することで、膨大な新しいデータセットや複雑な新しいアーキテクチャを必要とせずに、AIモデルを大幅に信頼性の高いものにできることを著者らは示しました。

これは、ロボットの白昼夢を止める最善の方法は、単にデータを増やすことではなく、手元にあるデータの価値を理解するように教えることである、ということを思い出させてくれます。著者らが発見したように、モデルをコンテキストに対して較正（キャリブレーション）すれば、ハルシネーションは消え去り、ロボットは真実を語り始めるのです。