A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

技術概要：インタラクティブな VR 実験に裏付けられたメンタルローテーションの深層学習モデル

問題定義
メンタルローテーション（異なる視点から見た物体を比較する能力）は、人間の基本的な認知プロセスである。Shepard と Metzler（1971）の画期的な研究は、人間の反応時間が角度の差異に線形に比例することを確立し、内部に「空間エンジン」が存在することを示唆したが、メンタルローテーション課題を解決すると同時に、脳がこのプロセスをどのように実行するかについての機械論的説明を提供する計算モデルは、これまで存在しなかった。現在の深層学習システムは、空間推論や新規な 3 次元方位への一般化においてしばしば困難を抱え、平面回転と奥行き回転の両方において、人間の性能の頑健性を再現することに失敗している。

方法論
著者らは、深層学習、等変表現、および神経記号推論を統合する 3 段階の機械論的モデルを提案する。このモデルの設計は、既存の文献と、被験者がジョイスティックを介して物体を操作する新規のバーチャルリアリティ（VR）実験セットに基づいている。

1. VR 実験デザイン: 著者らは、Shepard-Metzler 物体を用いた VR 環境で 19 名の参加者による実験を実施した。従来の 2 次元設定とは異なり、「アクション」設定では、被験者がサムスティックを使用して物体を回転させることを可能にした。主要な行動上の知見は以下の通りである：

   • 被験者は、物体を大まかな「象限」に整列させて判断を下す前に、驚くほど少ない数の「弾道的」な動作（通常 1 回）を実行した。
   • 被験者は完全な整列を求めず、むしろ物体同士を相対的に $\pm 45^\circ$ の範囲内に配置した。
   • 反応時間は大きな角度の差異において高い変動を示し、厳密に固定された連続的な回転速度という仮説に挑戦した。

2. 計算モデル: これらの知見に基づき、著者らは象限依存記号表現仮説を定式化した。これは、人間が連続的な回転空間を 4 つの離散的な象限に縮約するとするものである。モデルは 3 つの積み重ねられたモジュールから構成される：

   • モジュール I（等変ニューラルエンコーダ）: 3 次元物体の 2 次元画像で訓練された等変ニューラルレンダラ（EqNR）。これは明示的な 3 次元監督なしに内部のアナログ表現を操作することを可能にする、$SO(3)$ 回転に対して等変な 3 次元空間潜在表現を生成する。
   • モジュール II（神経記号物体エンコーダ）: ビジョントランスフォーマー（ViT）エンコーダと自己回帰型トランスフォーマーデコーダからなるビジョン記号モデル（VSM）。これは 3 次元空間潜在表現を、立方体間の方向遷移のシーケンスである逐次的な記号記述にマッピングする。重要なのは、このモジュールが記号レベルで等変性を強制することであり、物体が象限の境界を越えるときに記述が予測可能に変化することである。
   • モジュール III（ニューラル決定エージェント）: 記号記述のペアを入力とする多層パーセプトロン（MLP）。これは 2 つの機能を実行する：(a) 物体が同じ象限にある場合、類似性（一致/不一致）を判断するか、(b) 物体が異なる象限にある場合、整列に必要な回転動作（例：90 度時計回りに回転）を予測する。このエージェントは反復的に動作し、モジュール I からの空間表現に予測された回転を適用し、類似性の判断に至るまで再評価する。

主要な貢献

• 初の機械論的モデル: 本論文は、メンタルローテーション課題を解決するだけでなく、空間操作と記号的意思決定の間のギャップを埋める認知プロセスの機械論的説明も提供する、初のニューラルモデルを提示する。
• 表現の統合: この研究は、操作のための構造的に同型な空間表現と、意思決定および動作選択のための抽象的な記号記述を組み合わせる必要性を実証している。
• VR による検証: モデルは、標準的な行動指標（精度、反応時間の傾向）と、著者らの VR 実験から導出された新規な相互作用データ（手動動作の数）の両方に対して検証された。
• アブレーション研究: 体系的なアブレーションにより、等変エンコーダ、記号エンコーダ、または動作実行エージェントのいずれか単一のコンポーネントを除去することが、新規物体への一般化や人間のような動作シーケンスの再現の失敗につながることが確認された。

結果

• 性能: 完全なモデルはメンタルローテーション課題で 96.13% の精度を達成し、人間の性能（VR 設定では 91〜95%）と同等であった。
• 行動忠実度: モデルは、課題を解決するために最小限の動作数（0 または 1 の動作が支配的）を使用する人間の傾向を再現する。また、$0^\circ$ から $120^\circ$ までの差異における反応時間の線形傾向を成功裡に捉えるが、角度依存性の神経実装コストを仮定しない限り、$120^\circ$ から $180^\circ$ 間の反応時間の特定の増加を説明することは困難であった。
• コンポーネントの必要性:
  • 標準的なシアンネットワーク（純粋なフィードフォワード）は、新規な 3 次元回転への一般化に失敗し、等変空間表現の必要性を確認した。
  • 記号エンコーダを除去すると、モデルは課題を解決できなくなり、動作を導くための抽象記述の必要性を浮き彫りにした。
  • 動作実行エージェントを除去すると、モデルは高い精度で課題を解決できるが、人間で観察される逐次的で動作ベースの行動を再現することはできなかった。

意義と主張
著者らは、この研究がメンタルローテーションの認知プロセスに対する新たな洞察を提供し、特に回転が空間表現に適用されるが、意思決定は象限ベースの抽象化された記号によって導かれるというハイブリッドな見方を支持すると主張する。本論文は、人間の心は厳密な連続的なアナログプロセスではなく、回転空間における「不連続なジャンプ」を利用する可能性があると論じている。

機械学習の観点から、この研究は、規模のみに依存するのではなく、明示的に表現の帰納的バイアス（等変性と神経記号統合）を強制することが、空間推論においてより効果的であることを示唆している。著者らは、回転メカニズムの生物学的妥当性やデータ効率性などの根本的な問いが残っていることに言及しつつ、彼らのモデリング努力は、人間の空間推論をモデル化するために深層、等変、および記号的表現を統合する概念実証として機能すると述べている。この研究は人間の認知のすべての側面を解決すると主張するものではないが、行動データと整合する実行可能なニューラル実装を提供し、「私が創造できないものは、私は理解していない」という原則に従うことを目指している。