Do Vision Encoders Exhibit Human-like Color Thresholds?

私たちの最も賢い機械たちの「色盲」

夕焼けを眺めているところを想像してみてください。あなたの目には、空はただの大きなオレンジ色の塊ではありません。それは、ある色の変化には非常に敏感で、別の変化には全く気づかないほど滑らかなグラデーションです。これは人間の視覚の仕組みです。私たちの脳は、ある特定の色には信じられないほど敏感で、他の色にはそれほど敏感ではないため、決して均一ではない世界の「地図」を作り上げています。科学者たちは何十年も前から、この感度の偏りについて知っており、人間が色の違いを認識するためにどれほどの変化が必要かを正確にマッピングしてきました。

では、コンピュータに「見る」ことを教える場面を想像してください。私たちは、何百万枚もの写真を学習することで、猫や車、雲を認識できる「ビジョン・エンコーダー」と呼ばれる巨大なデジタル脳を構築してきました。これらの機械は、現代の人工知能における主役です。しかし、ここで大きな疑問が生じます。これらのデジタル脳は、私たちと同じように色を見ているのでしょうか？ 彼らは、人間がリンゴの赤色に見出すような微細な変化を感じ取る独自の「地図」を持っているのでしょうか？ それとも、全く異なる、おそらくもっと奇妙なレンズを通して世界を見ているのでしょうか？ これこそが、新しい研究が解決しようとした謎です。最先端のAIが、偶然にも人間のように見ることを学んだのか、それとも私たちが予想もしなかった方法で「色盲」のままなのかを検証したのです。

大いなる色のテスト：AIの脳は私たちと同じように見えるのか？

この研究において、研究チームは50種類以上のAIビジョンモデルをテストにかけました。これらのモデルを、古典的な「畳み込みニューラルネットワーク（CNN）」から、最新の超複雑な「トランスフォーマー」、そして画像のテキスト説明を読んで学習するモデルまで、幅広い生徒が集まった一つの大きなクラスだと考えてください。研究者たちは、**「これらの機械は人間のような色の閾値（しきい値）を持っているのか？」**を知りたいと考えました。

それを確かめるために、彼らは単にAIに色を答えさせるのではありませんでした。代わりに、「間違い探し」のゲームを作りました。彼らは18個の特定の基準色（特定の青や緑のシェードなど）を選び、その周囲をわずかに異なる色の雲で囲みました。人間の場合、各色の周囲には既知の「セーフゾーン（安全圏）」が存在します。それは、引き伸ばされた楕円形（マクアダム楕円と呼ばれます）のような形で、その楕円の内側にある色の変化は、人間の目には見えません。しかし、その楕円の外側に一歩でも踏み出すと、突然その違いが見えるようになります。

研究者たちは、これらの色をAIモデルに入力しました。そしてAIにこう問いかけました。「これらの周囲の色の中で、中心の色に最も似ているのはどれですか？」 AIは、自身のデジタル脳の中に独自の「類似性マップ」を作成することで回答しました。もしAIが人間のように機能していれば、その「似ている色のマップ」は、人間の「セーフゾーン」である楕円と完璧に重なるはずです。

結果：虹の中のミスマッチ

結果は衝撃的なものでした。研究の結果、一般的に、これらのAIモデルは人間と同じようには色を見ていないことが判明しました。

最も優れた性能を持つモデルでさえ、人間の色彩感覚と一致したのはわずか25%程度（具体的には、mIoUと呼ばれるスコアが0.25未満）でした。これを換算すると、もしあなたが人間の色彩知覚を完璧に再現しようとしているなら、これらのAIモデルは詳細の4分の1にも満たない部分しか正解できていないことになります。彼らは色に対して完全に盲目というわけではありませんが、その「虹のマップ」は歪んでいました。

研究では、異なるタイプの「AIの生徒たち」について以下のことが明らかになりました。

• 独学の生徒たちが勝利： ラベルなしで画像を見て自習したモデル（自己教師あり学習モデル）が最も優れた成績を収めました。彼らは人間の視覚に最も近かったものの、依然として完璧とは程遠い状態でした。
• テキスト学習者は予測不能： 画像とテキストを照合して学習したモデル（CLIPなど）は、最も予測困難でした。トップクラスの成績を収めるものもあれば、最下位に沈むものもありました。彼らは二極化しており、ある程度正解するか、あるいは大きく外れるかのどちらかでした。
• 大きければ良いわけではない： 巨大で超複雑なAIモデルの方が、小さくて古いモデルよりも優れた視覚を持つと考えるかもしれません。しかし、研究によれば、モデルの規模を拡大しても問題は自動的には解決しませんでした。 実際、古い小型のモデル（古典的なVGG16など）が、巨大で現代的な基盤モデルと同等の性能を示すこともありました。これは、脳を大きくするだけでは、人間のように見ることを教えることにはならないことを示唆しています。
• ブルーの問題： AIは青系の色に最も苦戦しました。人間が非常に似通った青のシェードを区別するのが難しいのと同様に、AIもここで最も苦労し、しば قبرしば「セーフゾーン」を完全に誤っていました。

なぜこれが重要なのか

研究者たちは、膨大な量の写真を学習させたとしても、人間のような色彩感受性が自然に現れるわけではないと指摘しています。現在のモデルの学習方法は、色の微細で繊細な知覚よりも、他の要素（物体認識やテキストの理解など）を優先しているようです。

この研究は、これらのAIモデルは色を構造化された方法で整理することには長けている（単なるランダムなノイズではない）ものの、その整理の仕方が人間とは異なっていると結論付けています。もし、古い絵画の修復、果物の熟成度のチェック、あるいはデジタルアートのデザインなど、完璧な色の照合を必要とするタスクにこれらのモデルを使用する場合、問題に直面する可能性があります。AIは、人間には明らかに異なって見えるのに、二つの色が同一であると判断してしまうかもしれません。あるいはその逆も起こり得ます。

要するに、私たちのデジタルな目は「大きな全体像」を見ることは上手くなっていますが、世界をリアルに感じさせるための、あの小さく色彩豊かなディテールを見る方法については、まだ学習の途上にあります。夕焼けをAIが見る方法と、私たちがそれを見る方法との間の溝は、依然として大きく開いたままなのです。