Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space

人間がどのように世界全体の色彩を見ているのか、その地図を描こうとする場面を想像してみてください。長い間、科学者たちは人々に「この赤は、オレンジに近いですか、それとも紫に近いですか？」といった具合に、色のペアを比較させることでこれを行ってきました。しかし、これはほんの数歩ずつ歩を進めることで、大陸全体の地図を作ろうとするようなものです。膨大な時間がかかりますし、私たちは似た色の「近所」ばかりを探索してしまい、4,000色以上に及ぶ広大なグローバルな景観を謎のまま残してしまっています。

これを解決するために、研究者たちは**深層ニューラルネットワーク（DNN）**をデジタルな探偵として使うことにしました。これらのネットワークを、色の見方を学習した人工的な脳だと考えてください。大きな疑問は、「どのタイプの人工的な脳が、最も人間に近い色の見方をするのか？」ということでした。

彼らは、これら3種類のデジタルな脳に対して、3つの異なる「トレーニングキャンプ」をテストしました：

1. 自己教師あり学習（SSL）： 脳が、誰の助けも借りずに、自力で何百万枚もの写真を見てパターンを見つけ出そうとする学習法です。
2. 教師あり学習（SL）： 脳が、先生が「これは猫です」「これは犬です」と指し示しながら写真を見る学習法です。
3. CLIP： 脳が、写真とその記述（例えば「赤いリンゴ」や「青い空」など）を一致させるように学習する手法です。

これらのデジタルな脳が人間の視覚と一致するかどうかを確認するために、研究者たちは**グロモフ・ワッサースタイン最適輸送（GWOT）**という特別な数学的ツールを使用しました。これは、デジタルな脳の色のマップと人間のマップを一緒に折り畳み、それらが完璧にフィットするかどうかを確認しようとする、超精密な「シェイプシフター（形を変えるもの）」だと考えてください。

研究結果は以下の通りです：

• 初期レイヤー： すべてのタイプのネットワークにおける「初期の思考」部分を見たとき、それらはすべて優れた成果を上げていました。それらは、赤リンゴと緑リンゴを区別する方法をすでに習得した見習いのように、人間と同じくらい正確にできていました。
• 最終的な判定： しかし、情報がネットワークのより深い部分へと進むにつれ、状況は変化しました。
  • 自己教師あり学習と教師あり学習のネットワークは、最終的な答えに到達するまでに、人間の知覚から離れ始めました。それらは、人間とは異なる独自の色の整理方法を発展させたのです。
  • CLIPが勝者となりました。CLIPは、情報の処理が進み、最終的な結論に至るまで、「人間らしい」色のマップを維持し続けた唯一のネットワークでした。すべての情報を処理した後でも、その色の捉え方は、構造的に人間の見え方と一致していました。

全体像：
研究者たちは、この勝利したネットワーク（CLIP）を使用して、4,096色という広大な領域を探索しました。これは、ラボで人間がテストしようとすれば数十年かかる規模です。ネットワークは、私たちが知っている色で立ち止まることはありませんでした。それは、何千もの色が互いにどのように関連しているかを示す、完全で構造化されたマップを生成しました。

要約すると、この論文は、AIに画像と言葉を一致させるよう訓練することで（CLIP）、私たちと同じ色の見方をするツールが得られることを示しています。これにより、私たちはこのツールを使って、未テストの膨大な色の世界を予測できるようになりました。これは、実際の人間に対して終わりのない、時間のかかる実験を行うことなく、将来の科学的探究のためのコンパスとして機能するのです。