Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies
本論文は、石原テストを用いて大規模視覚言語モデル（LVLM）を評価し、それらのモデルが色覚異常に関する事実的知識を有しているにもかかわらず、影響を受ける個人の変化した知覚体験をシミュレートできず、代わりに規範的な色彩知覚に陥っており、インクルーシブなアクセシビリティを支援する能力における決定的な欠落を浮き彫りにしていることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたには、非常に賢く、博識なロボットの助手がいます。あなたは、そのロボットに人間の目、色盲、そして異なる視覚を持つ人々がどのように世界を見ているかについて、あらゆることを教え込みました。そのロボットは、色盲とはどのようなものかについて、完璧なエッセイを書くことができます。
しかし、あなたがそのロボットに一枚の写真を見せ、「もしあなたが色盲だったら、この写真の中に何の数字が見えますか？」と尋ねたとします。
ロボットは、色盲の人を通じて世界を見るのではなく、自分自身の「完璧な」目で写真を見てしまい、普通の人が見るであろう答えを答えてしまいます。そのロボットは、色盲に関する「事実」は知っていますが、その体験を実際に「感じたり」「シミュレートしたり」することはできないのです。
これが、この論文が発見した核心です。
「石原」テスト：ロボットの視力検査
これをテストするために、研究者たちは石原テストと呼ばれる有名なツールを使用しました。これを見たことがある人もいるでしょう。色とりどりの点の集まりで構成された円です。
- 正常な視力を持つ人の場合： 点が集まって、「12」や「8」といった明確な数字を形成しています。
- 赤緑色覚異常（赤緑色盲）の人の場合： 色が混ざり合ってしまい、全く別の数字（例えば「3」など）が見えたり、あるいは何も見えなかったりします。
研究者たちは、これらの写真をロボットのための診断ツールとして扱いました。彼らは様々な大規模AIモデル（「ロボット」）に対し、これらの写真を見せて、さまざまな色盲の人になりきって答えるよう求めました。
ロボットをチェックした3つの方法
研究者たちは、単に「何が見えますか？」と聞いたわけではありません。彼らは、医師が患者を診察するように、3つの異なる方法でロボットを検証しました。
「何を言うか」のチェック（生成）：
ロボットに、見えた数字をそのまま言わせました。- 結果： 「あなたは赤緑色覚異常です」と言い聞かせても、ロボットはほとんどの場合、正常な視力を持つ人が提示するであろう答えを出してしまいました。ロボットは、色盲の人が実際に目にするであろう「間違った数字」を幻視（ハルシネーション）することができなかったのです。ロボットは「正常な視力モード」に縛り付けられていました。
「どの程度確信しているか」のチェック（確信度）：
ロボットが回答に対してどの程度の自信を持っているかを測定しました。- 結果： ロボットは「正常な視力」で答えるときは非常に自信に満ちていました。しかし、色盲の人として答えるよう求められると、非常に混乱し、確信が持てなくなりました。単に間違った数字を推測したのではなく、「どうやって確信を持てなくなり、正しく迷うか」さえも分からなかったのです。それは、数学の問題の答えは知っているものの、問題を逆向きに解こうとすると道に迷ってしまう学生のような状態でした。
「脳の内側」のチェック（内部表現）：
ロボットの「脳」（内部データ層）の深部を調べ、指示に基づいて実際に処理内容が変わっているのかを確認しました。- 結果： 深部においても、ロボットの視点は変わっていませんでした。指示の内容に関わらず、ロボットは完璧な視力を持っているかのように画像を処理していました。それは、目隠しをしているのに、まるではっきりと目が見えているかのように部屋の様子を説明する人のようでした。
「ドクター」と「パターン学習者」
研究者たちは、「もしかしたらロボットにはもっと医学的なトレーニングが必要なのだろうか？」あるいは「単に点のパターンを暗記しているだけなのだろうか？」と考えました。
- 医学データに特化して訓練されたロボットをテストしました。結果： それでも色盲のシミュレーションには失敗しました。
- 偽のドットパターンを数千個学習させ、単に形を暗記しているだけなのかをテストしました。結果： 完璧な視力を持っているときには数字を見る能力が向上しましたが、色盲のふりをする能力は逆に低下しました。
大きな教訓
この論文の結論は、これらのAIモデルは色盲について「語る」ことは得意ですが、それを「体験する」ことは極めて苦手であるということです。
このように考えてみてください。あなたは水中にいる感覚についての本を読むことができますが、本を読んだからといって、5分間息を止めることができるようになるわけではありません。これらのAIモデルは、色盲についての「本」を読みましたが、色盲の人の目を通して世界を見るという「息を止める」ことはできないのです。
これは重要なことです。私たちがこれらのロボットを、人々が世界をナビゲートしたり、地図を読んだり、図表を理解したりするのを助けるために使い始める際、彼らが「正常な視力を持つ人」にしか通用しない指示を誤って出してしまい、他の人々を置き去りにしてしまわないようにしなければなりません。この論文は、現在のところ、これらのロボットがたとえふりをしたとしても、その核心部分においては依然として「視覚正常者」のままであることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。