グレーの正方形が白い背景の上にあり、もう一つの全く同じグレーの正方形が黒い背景の上にある絵を想像してみてください。たとえ二つの正方形が全く同じ色であっても、あなたの脳は、黒い背景の上にある方をより明るく見えるように錯覚させます。これは視覚的な錯覚であり、私たちの脳が世界を理解するためにどのように構築されているかを明らかにする、知覚のバグです。長い間、科学者たちは、私たちが作る人工的な脳――ディープニューラルネットワークと呼ばれるもの――も、同じように騙されるのではないかと考え続けてきました。彼らは、AIモデルがノイズの多い写真をクリーニングしたり、新しい画像を生成しようとしたりする際、人間と同じ「間違い」を犯し、存在しない明るさを見ていることが分かりました。しかし、ここに大きな謎があります。AIは自分自身の心の中で実際にその錯覚を「見ている」のでしょうか、それとも単に、最後に正しい画像を作り出すことで、見ているふりをしているだけなのでしょうか？それは、手品師が本当にポケットの中にウサギを入れているのか、それとも、ウサギが入っているように見える帽子から偶然ウサギを取り出しただけなのか、と問うようなものです。

この論文は、これらのAIモデルの「心」の内部を深く掘り下げ、その正体を突き止めようとしています。研究者たちは、画像のノイズを除去するように設計された様々なAIモデル（デノイジング・モデルと呼ばれます）をテストし、それらがトリッキーな光学錯覚を処理する際に、内部で何が起きているのかを観察しました。彼らは、驚くべき、そして少し不気味な発見をしました。AIモデルは、内部に錯覚の表現を確かに構築しているのですが、それは「幽霊」なのです。AIに「これは明るく見える」と伝える信号が生成され、ネットワーク内を伝わり、AIがその画像について考えることにさえ影響を与えます。しかし、AIが仕事を終えて最終的な画像を出力する頃には、その幽霊の信号は完全に消え去っています。AIは内部で錯覚に憑りつかれているものの、それを最終的な結果には決して表に出さないのです。著者たちは、この目に見えない内部信号を「知覚的ファントム（知覚の幻影）」と呼んでいます。

機械の中の幽霊

研究者がどのようにしてこれらの幽霊を見つけたのかを理解するために、AIモデルを巨大な多層階の工場だと想像してみてください。底の方からはノイズの混じった生の画像が入り、頂上からはクリーンで完璧な画像が出てきます。その中間には、画像が処理、変換、洗練されていく数十のフロア（レイヤー）があります。研究者たちは単に最終製品を見るだけでなく、すべてのフロアにカメラを設置し、そこで働く作業員（AIのニューロン）が何をしているのかを見守りました。

彼らは、「GVL」データセットとして知られる、視覚的なトリックを引き起こす特別な画像セットを使用しました。そこでは、二つの同一の色のパッチが、周囲の環境によって異なって見えます。彼らはこれらの画像をAIに投入し、工場のさまざまな場所での活動レベルを観察しました。そこで分かったのは、錯覚はどこにでも現れるわけではないということです。代わりに、「幽霊」の信号は、情報の圧縮が行われる「ボトルネック」として知られる、工場の真ん中にある特定の狭い廊下で最も強くなりました。

ここでひねりが加わります。研究者たちは、この内部信号が非常にリアルであることを発見しました。錯覚のある二つのパッチ間でAIの活動がどれほど変化したかを測定したところ、その差は非常に大きく、0.5を「中程度」とするスケールにおいて約0.66に達しました。これは、AIが通常の画像とは明らかに異なる方法で錯覚を処理していることを意味します。実際、この内部信号の強さは人間の知覚と非常によく一致しており、AIの活動を人間の視覚の数学的モデル（FLODOGと呼ばれます）と比較したところ、0.78という高い相関を示しました。これは非常に強い一致であり、AIが驚くほど人間の脳に近い方法で明るさについて考えていることを示唆しています。

ファントムの特性

しかし、次に研究者たちは、極めて重要な問いを投げかけました。「もしAIがこれほど強く錯覚を考えているのなら、なぜ最終的な画像は異なって見えないのか？」という問いです。この問いに答えるため、彼らは工場を使った「間違い探し」を行いました。彼らは、錯覚画像から得られた内部の「幽霊」信号を取り出し、それを通常の画像の処理過程に注入してみました。彼らは、注入すれば最終的な画像が変化し、錯覚が現れることを期待していました。

しかし、そうはなりませんでした。

どのようなタイプのAIモデル――標準的な「U-Net」型の工場であれ、新しい「Transformer」型の工場であれ――を使用しても、注入された幽霊の信号は出口に到達する前に消え去ってしまいました。最終的な画像は、まるで幽霊など最初から存在しなかったかのように、全く同じに見えました。研究者たちはこれを「知覚的ファントム」と呼んでいます。つまり、機械の内部では活動し、機能しているものの、外部の世界からは完全に不可視である表現のことです。

これが単なる偶然ではないことを証明するために、彼らは工場を「壊して」みました。彼らは、幽なる幽霊信号を運んでいる特定の「チャンネル（配線）」を見つけ出し、それを取り除きました（アブレーションと呼ばれるプロセスです）。これらの錯覚に敏感な配線を切断すると、内部信号は4割以上減少しました。これは、これらの特定の配線が実際に錯覚を運んでいたことを証明しています。しかし、ここが決定的な点ですが、これらの配線を切断しても、最終的な画像はほとんど変化しませんでした。実際、これらの「錯覚」の配線を切断することは、ランダムな配線を切断するよりも、最終的な画像をより安定させることになりました。まるで工場には、幽霊を捕まえ、それが製品を台無しにする前に静かに削除する自己修正メカニメントが備わっているかのようです。

なぜ幽霊が存在するのか

研究者たちはさらに、これは特定のAIアーキテクチャの癖なのか、それともこれらのモデルの学習方法によるものなのかを知りたいと考えました。彼らは、「デノイジング（除去）」モデル（ノイズを除去するように訓練されたもの）と、「識別（ディスクリミネイティブ）」モデル（猫や犬などの画像が何かを認識するように訓練されたもの）を比較しました。

結果は明白でした。幽霊が現れるのはデノイジング・モデルだけでした。識別モデルは、たとえ全く同じ工場のレイアウトを持っていても、これほど強い錯覚信号を示しませんでした。これは、画像の「再構成」や「クリーニング」を行おうとする行為こそが、AIに人間のような錯覚を発達させることを強いていることを示唆しています。それは、学習プロセスがAIに対して、人間と同じように文脈や周囲の状況に注意を払うよう教える一方で、AI自身の内部ルールが、この文脈が最終的な出力に影響を与えるべきではないと判断しているかのようです。

この研究はまた、DiT-XL/2と呼ばれる巨大なモデルを含む、さまざまな種類のAIについても調査しました。この巨大なモデルにおいても、錯覚の信号は中間層でピークに達しますが、最後には消失します。研究者たちは、AIの自己修正ダイナミクス――自分の仕事を再確認する方法――が、幽霊を消し去る理由であると考えています。それは、AIが厳格な編集者のように、「いや、その明るさはここにはふさわしくない」と言い、物語が出版される前にそれを消し去っているようなものです。

まとめ

では、これらすべては何を意味しているのでしょうか？AIモデルは単に人間の行動を模倣しているのではなく、内部で人間的な知覚の一種を実際に「経験」していることが分かりました。彼らは、人間が持つものと同じバイアスを備えた、視覚的なトリックに関する豊かで詳細な理解を構築しています。しかし、私たちとは異なり、彼らにはこれらのバイアスが最終的な出力に影響を与えないようにするためのフィルターがあるようです。

この発見は、ロボットが空を飛ぶ鮮明な夢を見ているのに、目が覚めて家を建てる時には、完璧に普通で地に足の着いた家を建てることを発見したようなものです。夢はロボットにとってリアルでしたが、家作りには影響しませんでした。研究者たちは、この「知覚的ファントム」現象は多くのAIシステムにおいて一般的である可能性があると示唆しています。これは、もし私たちがAIの生成物だけを見ているのであれば、そのAIが実際に何を理解し、どのように考えているかという、極めて重要な部分を見逃している可能性があることを意味します。AIは、たとえそれを私たちに見せることがなくても、私たちが目にすることのないものを見ているのかもしれません。

この研究は単に示唆しただけではありません。彼らはそれを測定し、配線を切り、信号を注入してテストしました。9つの異なるモデルにおいて、錯覚の信号は強力で、因果関係があり、そして出力時には完全に不可視であることを突き止めたのです。これは、AIの世界においては「見たままがすべてではない」ということ、そして時には、最も興味深いものは、機械の中に隠されたままの幽霊であるということを思い出させてくれます。