SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models
本論文は、マルチモーダル大規模言語モデルが視覚的およびテキスト的な手がかり間の競合をどのように解決するかを評価するために、25,555個の画像バリアントで構成される制御された反事実的ベンチマークであるSIGNPOST-Benchを導入し、敵対的なテキスト介入が地理特定精度を著しく低下させ、評価された20のモデル間で異なる調停行動を露呈させることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、あるミステリーを解こうとしている探偵だと想像してください。ミステリーとは「この写真はどこで撮られたのか？」というものです。あなたには、これを解くための2つの手がかりがあります。1つ目の手がかりは、視覚的なシーンです。建築物、木々、車、そして建物に当たる光の当たり方などです。2つ目の手がかりは、写真の中の看板や店、あるいは広告に書かれたテキストです。通常、これらの手がかりは一致します。「パリ」と書かれた看板は、パリにあるように見える建物の上に置かれています。しかし、もしこれらが食い違ったらどうなるでしょうか？ 例えば、雪が降る山の木造小屋の写真なのに、窓の明るいネオンサインが「サハラ砂漠へようこそ」と叫んでいたとしたら？
これが**マルチモーダル大規模言語モデル（MLLM）**の世界です。これらは、画像を見ることとテキストを読むことを同時に行える、非常にスマートなAIコンピュータです。科学者たちは、これらの組み合わせを用いて、世界についての推測を行うようAIを教えてきました。しかし、大きな疑問があります。視覚的な手がかりとテキストの手がかりが衝突したとき、AIはどちらを信じるのでしょうか？ 紛らわしい看板を無視して雪に注目するのでしょうか？ それとも、看板を盲信して景色を忘れてしまうのでしょうか？ これまで、このような特定の種類の混乱をテストする優れた方法はありませんでした。
そこで、研究者たちが「AIを騙すゲーム」として設計した新しい実験、SIGNPOST-Benchが登場しました。彼らは何千もの現実世界の写真を取り上げ、それぞれの写真に対して特別な「反事実的（counterfactual）」なバージョンを作成しました。これは、1枚のオリジナル写真から4つの新しいコピーを作る、写真編集ワークショップのようなものです。
- 空白（The Blank）：テキストを完全に消去しました。
- 類似（The Similar）：その場所に対して依然として意味が通じる別の看板に置き換えました（例：「ミシガンへようこそ」を「デトロイトへようこそ」に変更）。
- ランダム（The Random）：その場所とは全く関係のない看板を掲げました（例：「月へようこそ」）。
- 敵対的（The Adversarial）：これが最も巧妙です。看板を、特定の異なる場所を指し示す「嘘」に置き換えました（例：「ミシガンへようこそ」を「ニューヨークへようこそ」に変更）。
研究者たちは、20種類の異なるAIモデルに対し、すべての写真の5つのバージョンすべてについて場所を推測するよう求めました。彼らは、AIが嘘を見抜けるのか、それとも新しい看板に騙されてしまうのかを知りたかったのです。
結果は非常に示唆に富むものでした。AIがオリジナルの写真を見たとき、場所を当てる能力はかなり高いものでした。しかし、敵対的（Adversarial）な嘘が導入されると、モデルは混乱しました。平均して、AIの推測精度は4.8倍低下しました。推測の誤差が約282キロメートルだったものが、今や1,347キロメートルにまで広がったのです。
さらに興味深いことに、AIはただ「悪化した」だけではありませんでした。AIは「誘導」されていたのです。看板に「ニューヨーク」と書かれているとき、AIは単にランダムに推測したのではなく、実際にニューヨークに近づくように推測を動かしていました。実際、テストされたすべてのモデルにおいて、矛盾するテキストの存在が答えを嘘の方へと引き寄せていました。6.5%から20.1%の割合で、AIの推測は、看板が指し示していた偽の場所から50キロメートル以内に収まっていました。
また、この研究では、看板を読むことや写真を見ることの「賢さ」が、必ずしも衝突を見抜く能力を保証するわけではないことも判明しました。クリーンで正直な写真を使って場所を当てるのが得意なモデルの中には、嘘を無視することに関しては、より小さなモデルよりも劣るものさえありました。つまり、看板を読む能力があることは、それが写真の他の部分と矛盾する場合に、それを無視できることを意味するわけではないのです。
最後に、研究者たちはAIに「コーチング」を試みました。具体的には、衝突に注意するように指示を出したのです。これにより、AIが矛盾に気づく確率は49%に向上しましたが、正しい場所を当てる精度が向上することはありませんでした。AIは「何かがおかしい」とは認識していましたが、それでもパズルを解く方法を見つけ出すことはできなかったのです。
要するに、この論文は、現在のAIモデルが、テキストと画像が一致しない場合に非常に騙されやすいことを示しています。彼らはテキストを信じすぎてしまい、それが明白な嘘であっても、テキストを優先してしまう傾向があります。研究者たちは、将来のAI開発者が、モデルが具体的にどこで失敗しているのかを理解し、目で見ているものを信じるべきか、それとも看板を疑うべきかを判断できる、より優れた探偵へと育てられるよう、この「SIGNPOST-Bench」テストを構築しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。