The macaque IT cortex but not current artificial vision networks encode object position in perceptually aligned coordinates

本研究は、マカク猿の側頭葉皮質（IT 野）が視覚的錯覚によって引き起こされる知覚的な位置シフトを反映する一方、現在の人工視覚ネットワークは同様の適応効果を示さず、生物と人工の視覚システムに歴史的依存性を伴う空間符号化のギャップが存在することを明らかにしました。

要約

🧠 結論：脳は「魔法の眼鏡」をかけているが、AI はまだ持っていない

この研究の核心は、**「脳（特に IT 皮質という部分）は、目の前にあるものの『実際の位置』だけでなく、私たちが『どう感じている位置』も記録している」**という発見です。

そして、**「今の AI は、目の前の画像のピクセル（画素）の位置しか見ておらず、人間の『感じ方』のズレを再現できない」**という残念な（でも重要な）結果が出ました。

---

🎢 1. 実験のトリック：「動く迷路」の魔法

研究者たちは、ある有名な視覚のトリック（錯覚）を使いました。それは**「運動後効果」**と呼ばれるものです。

• 実験のやり方：

  1. 参加者に、右に流れる「動く壁」を 30 秒間じっと見させます。
  2. その直後、**「止まっている物体」**を見せます。
  3. すると、不思議なことに、その止まっている物体は**「左にずれている」**ように見えてしまいます。

• なぜこうなる？
  脳が「右に動くもの」に慣れすぎてしまい、その反動で「左に動く（ずれている）」と勘違いしてしまうのです。
  重要なのは、画面の「実際の画素（ピクセル）」は全く動いていないのに、人間の「感じ方」だけがズレるという点です。

🧩 2. 脳の発見：「感じ方」を記録する天才

研究者たちは、サル（マカク）の脳内にある**「IT 皮質（ものを見るための高次な部分）」**の神経細胞を直接観察しました。

• 従来の考え：
  「IT 皮質は『これが何（クマか、車か）』を判断する場所だから、位置は関係ないはずだ。位置は『どこ』を司る別の場所がやるはずだ」と思われていました。
• 今回の発見：
  実際には、IT 皮質の神経細胞も**「止まっている物体」の位置を記録していました。**
  さらに驚くべきことに、「右に流れる壁を見た後」には、IT 皮質の神経の活動パターンが変化し、まるで人間が錯覚しているように「物体が左にズレている」という信号を送っていたのです。

【例え話】
IT 皮質は、単なる「カメラのセンサー」ではなく、**「魔法の眼鏡」**をかけているようなものです。

• 普通のカメラ（AI）： 壁が右に動いても、止まっている物体の位置は「ここ（ピクセルの座標）」と正確に記録するだけ。
• IT 皮質（脳）： 壁が右に動いた後、その「魔法の眼鏡」のレンズが歪んでしまい、「あ、物体は左にズレている！」と脳に報告してしまう。

つまり、脳は**「物理的な位置」だけでなく、「私たちがどう感じているか（知覚）」に合わせた位置**を、ものを見る場所（IT 皮質）で処理していることがわかりました。

🤖 3. AI の失敗：「魔法の眼鏡」がない

次に、研究者たちは最新の AI（人工知能）モデルに同じ実験を行いました。

• 結果：
  AI は、「右に流れる壁」を見た後でも、止まっている物体の位置を「ズレていない（正しい）」と判断し続けました。
  人間の錯覚や、サルの脳の反応のような「ズレ」は、AI には全く起きませんでした。

• なぜ？
  今の AI は、「入力された画像のピクセル」をそのまま処理するように作られています。過去の「動き」の影響を受けて、現在の「感じ方」が歪むような仕組み（適応やリカレントな処理）が、標準的な AI には備わっていないのです。

🔧 4. 解決策？脳を真似すれば AI も変わる

でも、研究者たちはさらに面白い実験をしました。
「もし、AI の内部に、**『サルの脳が実際に使っている変化のルール』**を無理やり組み込んだらどうなるか？」

• 実験：
  AI のデータに、サルの脳から得た「運動後効果による変化のルール」を適用しました。
• 結果：
  AI も、人間やサルと同じように「物体がズレている」と判断するようになりました！

これは、**「AI の頭脳（特徴量）自体は、ズレを表現する能力を持っているが、それを引き出す『魔法のスイッチ（適応メカニズム）』が欠けている」**ことを意味しています。

---

🌟 まとめ：何がわかったの？

1. 脳は「感じ方」を重視する：
   私たちが「もの」の位置を認識する時、脳は単なるカメラではなく、過去の経験（動きなど）によって「感じ方」をリアルタイムで調整しています。この調整は、ものを見る場所（IT 皮質）ですでに行われています。
2. AI はまだ「生々しい」感覚がない：
   今の AI は、画像の「事実」は正確に捉えますが、人間の「錯覚」や「文脈による感じ方のズレ」を理解する仕組みが欠けています。
3. 未来の AI へのヒント：
   より人間に近い AI を作るには、単に画像を認識させるだけでなく、**「過去の動きの影響を受けて、現在の認識を柔軟に変える仕組み」**を取り入れる必要があります。

一言で言えば：
「脳は、過去の動きで『レンズ』を歪ませて世界を見ている天才ですが、今の AI は『レンズ』を歪ませる魔法を持っていないので、同じ世界を見ても『ズレ』を感じることができない」というお話です。

この発見は、より人間らしく、文脈を理解できる AI を作るための重要な道しるべになりました。

技術概要

この論文は、霊長類の視覚野（特に下側頭葉：IT 野）が、物体の位置情報を「知覚的に整合した座標系」で符号化しているかどうかを検証し、現在の人工知能（AI）モデルがそのメカニズムを再現できていないことを示した研究です。

以下に、問題提起、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題提起 (Problem)

視覚処理において、「何（What）」を認識するか（物体識別）と「どこ（Where）」にあるか（位置特定）は、伝統的に腹側経路（ventral stream）と背側経路（dorsal stream）に分離されていると考えられてきました。しかし、近年の研究では IT 野にも物体の位置情報が含まれていることが示されています。
しかし、これまでの研究には重大な限界がありました。

• ピクセル位置と知覚位置の混同: 従来の実験では、物体の画素上の位置（retinal location）と知覚される位置が常に一致していました。そのため、IT 野から位置情報が復元できたとしても、それが単に網膜受容野からの受動的な入力（フィードフォワード）の反映なのか、あるいは実際に知覚と整合した意味のある符号化なのかを区別できませんでした。
• AI モデルとの乖離: 現在の深層学習モデル（ANN）も同様に位置情報を符号化しますが、これらが生物の知覚メカニズムを真に模倣しているのか、単に入力統計の反映に過ぎないのかは不明でした。

本研究は、運動後効果（Motion Aftereffect: MAE） を利用して、画素上の位置を一定に保ちつつ「知覚される位置」をずらす実験条件を作り出し、IT 野の符号化が知覚に整合しているか、そして AI モデルがその動的な変化を再現できるかを検証することを目的としました。

2. 手法 (Methodology)

本研究は、マカクザルの大規模皮質記録、人間の心理物理実験、および計算機シミュレーション（AI モデル）の 3 つのアプローチを統合しています。

• 刺激と実験パラダイム:
  • 運動適応（Motion Adaptation）: 被験者（人間とマカク）に、右方向または左方向に流れるグライダー（適応刺激）を 30 秒間提示し、その後に静止した物体画像（テスト刺激）を 100ms 提示しました。
  • MAE の利用: 適応後、静止物体は実際には同じ位置にありますが、運動適応の影響で「適応方向と逆方向にずれて見える」という現象（運動後効果）を利用しました。これにより、画素位置（不変）と知覚位置（変化）を分離しました。
• マカクザル実験:
  • IT 野に埋め込まれたマイクロアレイ電極を用いて、大規模なニューロン集団の活動記録を行いました。
  • 適応前と適応後の IT 活動パターンを比較し、線形デコーダーを用いて物体位置を推定しました。
• 人間実験:
  • 35 名の被験者に同様のタスクを行わせ、マウスクリックで物体の中心位置を報告させました。
• 人工知能（ANN）モデルの検証:
  • 静的モデル: VGG-16, ResNet-18, ViT-L32 などの物体認識モデル。
  • 動的モデル: SlowFast（動画認識）、ConvRNN（再帰的ネットワーク）など、時間的処理を持つモデル。
  • 神経化（Neuralization）: IT 野の適応データから導出された線形変換を ANN の特徴量に適用し、生物学的な適応効果を人工的に付与する実験を行いました。
  • 内在的適応のシミュレーション: ANN のユニット活性化に、IT 野の記録から得られた指数関数的減衰（適応）を内在的に組み込み、位置シフトが生じるか検証しました。

3. 主要な貢献と結果 (Key Contributions & Results)

A. IT 野における知覚整合的な位置符号化の証明

• 結果: 運動適応後、マカク IT 野のニューロン集団活動から復元された物体位置は、画素上の位置ではなく、人間が報告した知覚的な位置シフト（適応方向と逆方向へのシフト）と定性的に一致しました。
• 意味: これは、IT 野の位置情報が単なる網膜入力（フィードフォワード）の反映ではなく、運動適応によって再構成される「知覚的に整合した座標系」で符号化されていることを示しています。
• 幾何学的変化: 中心カーネルアライメント（CKA）解析により、運動適応が IT 野の表現幾何学（representational geometry）を再構成し、ノイズの増加ではなく構造的なシフトを引き起こしていることが確認されました。

B. 人工知能モデルの限界と「神経化」の可能性

• 既存モデルの失敗: 標準的なフィードフォワードモデルや、再帰的・時間的畳み込みを持つ最新モデル（SlowFast, ConvRNN）は、画素入力が同じであれば、適応前後で位置推定値を一切変化させませんでした。つまり、これらのモデルは MAE による知覚バイアスを内在的に再現できませんでした。
• 神経化実験の成功: 一方で、IT 野の適応データから導出された変換行列を ANN の特徴量に適用（神経化）すると、ANN も IT 野や人間と同様の位置バイアスを示しました。
• 結論: 現在の ANN は位置情報を表現する能力自体は持っていますが、「適応による表現の再構成（representational warping）」という動的なメカニズムが欠落していることが明らかになりました。

C. 適応メカニズムの解明

• 単なるニューロン発火率の低下（反復抑制）を ANN に組み込んでも、方向選択的な位置シフトは生じませんでした。これは、位置シフトが生じるためには、個々のニューロンの抑制だけでなく、ニューロン集団全体における重み付けの再構成（re-weighting）や、運動と形状の経路間の相互作用が必要であることを示唆しています。

4. 意義 (Significance)

1. 視覚処理理論への貢献:

   • 「What（腹側）」と「Where（背側）」の二経路仮説を再考する重要な証拠を提供しました。IT 野は物体識別だけでなく、文脈依存的な空間位置の知覚にも関与しており、両者の統合処理が行われていることを示しました。
   • 運動適応が神経表現の幾何学を再構成し、それが直接的に知覚バイアスに結びつくメカニズムを解明しました。

2. 人工知能（AI）への示唆:

   • 現在の最先端のコンピュータビジョンモデルは、生物の視覚系が持つ「動的な適応能力」や「文脈依存の知覚整合性」を欠いていることを浮き彫りにしました。
   • 真に生物学的に妥当な AI を構築するには、単なる分類タスクの精度向上だけでなく、運動と形状の経路を結合し、歴史的な入力（history-dependent）に基づいて表現幾何学を再構成するメカニズムをモデルに組み込む必要があることを提言しています。

3. 将来的な展望:

   • 本研究は、生物の視覚システムと人工視覚システムの間の原理的なギャップを特定し、次世代の動的視覚モデル開発のための新しいベンチマークと設計指針を提供しました。

総じて、この論文は神経科学と人工知能の交差点において、IT 野が「知覚と整合した空間符号」の重要な拠点であることを実証し、現在の AI がこの動的な側面を捉えきれていないことを明確に示した画期的な研究です。