Human-AI Perceptual Alignment by Playing Hues and Cues

ロボットに、単に形を認識するだけでなく、物の「感じ」を理解させる方法を教えようとしているところを想像してみてください。人工知能の世界には、「ビジョン・ランゲージ・モデル（視覚言語モデル）」と呼ばれる特別な種類の脳があります。これらのモデルを、何十億冊もの本を読み、インターネット上の何十億枚もの写真を見た超スマートな学生だと考えてみてください。彼らは「これは犬です」とか「これは車です」と言うのは得意です。しかし、彼らは犬の「色」を理解できるのでしょうか？ バナナが（あらゆる写真の中で物理的に黄色いからではなく）私たちの脳の中に「バナナは黄色い」という「記憶」を持っているから黄色いのだということを、彼らは知ることができるのでしょうか？ ここが難しいところです。人間の色彩感覚は、単に目に光が当たることだけではありません。それは私たちの文化、記憶、そして共有された物語に関わるものなのです。科学者たちは、これらのAI学生が人間のように見ることを学んでいるのか、それとも膨大なデータの中にあった奇妙なパターンに基づいて単に推測しているだけなのかを知りたいと考えています。

これを知るために、研究チームはあるゲームをすることにしました。彼らは退屈なチャートや複雑な数学テストは使いませんでした。代わりに、「ヒューズ・アンド・キューズ（Hues and Cues）」というボードゲームを使用しました。巨大なボードがあり、そこには虹のマップのように配置された、それぞれが少しずつ異なる色を持つ480個の小さな正方形があります。ゲームの仕組みはこうです。誰かが言葉（例えば「バナナ」や「希望」）を言い、あなたはボード上でその言葉に最もよく一致する正方形を指ささなければなりません。単純に聞こえますが、これは私たちの脳がいかに言葉と色を結びつけているかを明らかにします。研究者たちは、このゲームを使って162種類の異なるAIモデルをテストし、325人の実際の人間と一緒に遊ばせました。彼らは、AIの「推測」が群衆の「記憶」と一致しているのか、それともAIが自分の頭の中で迷子になっているのかを知りたかったのです。

ロボットたちが席に着いたとき、何が起きたのでしょうか。

セットアップ：デジタル・ボードゲーム
研究者たちは、デジタル版の「ヒューズ・アンド・キューズ」ボードを作成しました。このボードには、科学的に測定できるようにマッピングされた480の明確な色の正方形があります。彼らは、自分のスマートフォンやコンピュータでゲームを行うための325人の大規模なグループを集めました。各参加者は、100の異なる言葉をボード上の最適な色に一致させるよう求められました。言葉には、「バナナ」や「血」のような簡単で物理的なものもあれば、「希望」、「フェミニズム」、「ポップカルチャー」のような難解で抽象的なものもありました。

AIがプロトコルから逸脱していないことを確認するため、研究者たちはモデルに全く同じデジタルボードを与えました。AIの仕事は、言葉を見て、最もよく一致すると考える上位5つの色の正方形を選ぶことでした。研究者たちは、AIの選択を「人間のコンセンサス（共通認識）」、つまり実際の人間が出した平均的な回答と比較しました。彼らはさらに「人間のエラー率」も計算しました。これは、人間同士がどれほど意見を異にするかを示すものです。これにより、完璧な基準が得られました。もしAIが人間と同じくらい優れているなら、人間と同じくらいの「間違い」をするはずだからです。

大きな発見：「ブルー」への崩壊
結果は、印象的な勝利と、非常に奇妙で系統的な失敗が混ざり合ったものでした。

まず、良いニュースです。現実の物理的な物体に関する言葉については、AIは驚くほど優秀でした。「バナナ」、「カボチャ」、「豚」のような具体的なものに対して、AIモデルはしばしば人間と全く同じ色を選びました。彼らはバナナが黄色であり、豚がピンクであることを理解していました。実際、これらの物理的な物体については、AIは非常に精密であり、特定の写真の文字通りの色ではなく、人間が持つ「理想化された」記憶の色にさえ一致していました。これは、明確な物理的現実が存在する場合、AIは人間の「雰囲気（バイブス）」を学習できることを示唆しています。

しかし、ゲームが抽象的または文化的な概念に移ると、AIは壁にぶつかりました。「希望」、「怒り」、「フェミニズム」、あるいはスペインにおける特定の文化的意味を持つ「トラクター」のような言葉に対して、AIは意味をなさなくなりました。代わりに、モデルは奇妙なことを始めました。彼らはすべて、単一のデフォルトの色へと崩壊してしまったのです。

研究者たちは、AIが答えを知らないとき、ランダムに推測するのではなく、ほぼ常に特定の青色（ボード上の座標「I18」）を選んでいることを発見しました。まるでAIの脳がショートカットして、「これが何を意味するか分からないので、とりあえず青を選んでおこう」と言っているかのようでした。これは、「冬」、「スティッチ（映画のキャラクター）」、あるいは「アキオキ（ウーパールーパーの一種）」といった言葉に関わらず、何度も繰り返されました。

なぜこのようなことが起きたのか？
チームは、なぜAIがこれほどまでに青に執着しているのかを突き止めるために、さらに深く調査しました。彼らは、意味を持たない「ナンセンス」な言葉（ランダムな文字や、「the」や「and」のようなストップワードなど）を用いてモデルをテストしました。その結果、約42%のモデルに組み込まれたバイアスがあることが分かりました。ナンセンスな言葉を見たとき、彼らはランダムに推測するのではなく、特定のデフォルトの色、多くの場合その同じ青、あるいは時には黄色を選んだのです。

これは決定的な欠陥を明らかにしました。AIは「希望」という言葉を本当に「理解」していたわけではありません。単にトレーニングデータから学んだパターンに従っていただけなのです。インターネットには空や水の写真が非常に多いため、AIは混乱したとき、「青」が安全な賭けであることを学習しました。それは、歴史の質問の答えを知らない学生が、教科書の中でその言葉をたくさん見たからといって、答えとして単に「青」と書いているようなものです。

データの質による役割
研究者たちは、AIがどのようにトレーニングされたのかについても調査しました。彼らは、巨大で乱雑なインターネットのデータの山（LAIONデータセットなど）でトレーニングされたモデルと、より小さく、注意深く整理・精査されたデータセットでトレーニングされたモデルを比較しました。

彼らは、膨大な、乱雑なデータセットはAIを色の面で賢くするわけではないことを発見しました。実際、注意深く精査された高品質なデータでトレーニングされたモデルの方が、人間の色に一致させる能力が高いことが分かりました。データの単純な大きさよりも、データの「質」の方が重要だったのです。これはテスト勉強に似ています。編集されていないランダムなブログ記事を100万件読むことは、多くの事実を得る助けにはなるかもしれませんが、よく編集された教科書を読む方が、概念を理解する助けになります。「クリーンな」モデルは、ミスが少なく、そのデフォルトの青色に陥ることも少ないのです。

テイクアウェイ（結論）
では、これらすべては何を意味するのでしょうか？ この論文は、AIが物理的な物体とその色を認識することには非常に長けている一方で、人間の知覚の複雑で、文化的で、感情的な側面には依然として苦戦していることを示しています。AIが混乱したとき、それは不確実性を認めるのではなく、トレーニングデータの中で最も頻繁に見られたものに基づいて、通常は「青」という「安全な」色へとデフォルト設定で戻ってしまうのです。

研究者たちは、AIを真に理解させるためには、単にデータを増やすだけでは不十分であると示唆しています。私たちは、AIが不確実性を処理する際にクラッシュせずに済むように教える必要があり、また、人間が自然に従うような色の微妙な文化的ルールを学ぶのを助けるために、より優れた、よりクリーンなデータを使う必要があるのです。「ヒューズ・アンド・キューズ」のゲームは、最もスマートなAIモデルであっても、私たちと同じように世界を見るようになるには、まだ長い道のりがあることを証明しました。