Do vision models perceive illusory motion in static images like humans?

この論文「Do vision models perceive illusory motion in static images like humans?（ビジョンモデルは人間のように静止画の錯視運動を知覚するか？）」は、深層ニューラルネットワーク（DNN）に基づくオプティカルフロー推定モデルが、人間が静止画で知覚する「錯視運動（Illusory Motion）」を再現できるかを検証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

• 背景: 自動運転やロボティクスなどにおいて、人間の視覚システムは低消費電力で頑健な運動知覚を実現しているが、最先端のコンピュータビジョンモデル（DNN）は、遮蔽や大きな変位、非剛体運動などの条件下で人間ほど頑健ではない。
• 核心的な問い: 近年の DNN は「逆位相（reverse-phi）」のような動的な錯視を再現できることが示されているが、静止画で生じる錯視運動（例：「回転する蛇（Rotating Snakes）」錯視）を、人間と同様に知覚・再現できるか？
• 仮説: 従来のピクセル単位の変位追跡に依存するモデルは、人間の視覚系が利用する計算戦略（微細な輝度非対称性や眼球運動との相互作用）を捉えておらず、静止画の錯視運動を再現できない可能性が高い。

2. 手法 (Methodology)

研究では、以下の実験デザインと評価手法を用いました。

• 刺激材料:
  • 主たる対象：**「回転する蛇（Rotating Snakes）」**錯視（グレースケール、青 - 黄、赤 - 緑の 3 色バリエーション）。
  • 対照刺激：錯視を引き起こす局所的な輝度勾配を無効化し、全体の空間配置と色組成は維持した「制御画像」。
  • その他：周辺ドリフト錯視、中央ドリフト錯視、ウチ錯視（Ouchi illusion）も評価対象に含めた。
• モデル評価:
  • 10 種類の代表的なオプティカルフロー推定モデルを評価（PWC-Net, RAFT, FlowDiffuser などの DNN、および FFV1MT, Dual などの脳科学的にインスパイアされたモデル）。
  • 推論プロトコル: 事前学習済みモデルを微調整（ファインチューニング）せず、そのまま評価。
• 視聴条件のシミュレーション:
  • 人間の視覚入力に近い条件をシミュレートするため、以下の 4 種類のフレームシーケンスを生成した。
    1. 静止 (Static): 同一フレームの繰り返し。
    2. 刺激出現 (Stimulus onset): 空白から画像が現れる瞬間。
    3. 微小眼球運動 (Microsaccade): 小さな画像シフト（15-120 ピクセル）。
    4. 眼球運動 (Saccade): より大きな画像シフト。
  • 人間はこれらの眼球運動（特に微小眼球運動）によって静止画の錯視運動を強く知覚することが知られているため、この条件が重要。
• 評価指標:
  • 人間の知覚（反時計回りの回転）とモデルの予測フロー場との方向一致度を正規化相関（Normalized Correlation）で定量化。
  • 従来のオプティカルフロー指標（EPE, AE）に加え、錯視の「方向性」に焦点を当てた評価を採用。

3. 主要な貢献 (Key Contributions)

1. 包括的な評価: 静止画の錯視運動（特に回転する蛇）に対する、多様な DNN および脳科学的モデルの能力を体系的に評価した。
2. 統合的な評価パイプラインの提案: 制御された比較、模擬視聴条件（眼球運動シミュレーション）、定量的評価指標を統合したベンチマークを構築。
3. メカニズムの解明: 錯視再現に寄与する計算コンポーネント（双チャンネル処理、眼球運動の過渡応答、再帰的統合）を特定するためのプロービング、制御、アブレーション分析を実施。

4. 結果 (Results)

• 一般的な DNN の失敗:
  • PWC-Net, RAFT, FlowDiffuser などの一般的な DNN は、静止画や刺激出現条件ではほとんど意味のあるフローを生成せず、眼球運動シミュレーション下でも、画像の移動方向に追従するだけで、人間のような「回転運動」の錯視を再現できなかった。
• 脳科学的モデルの性能差:
  • FFV1MT や DorsalNet などの脳科学的モデルも、滑らかで連続的な回転運動を再現するには至らなかった。
  • Dual モデル（脳科学的にインスパイアされた双チャンネルモデル）のみが、限定的ながら人間の知覚に近い結果を示した。
    • 特に**微小眼球運動（Microsaccade）**のシミュレーション条件下で、グレースケールおよび青 - 黄バリエーションにおいて、反時計回りの回転フローを部分的に生成した。
    • ただし、赤 - 緑バリエーションでは逆方向（時計回り）の相関を示すなど、完全な再現には至っていない。
• アブレーション分析の知見:
  • 双チャンネル構造の重要性: 第一級運動（輝度ベース）と第二級運動（高次特徴ベース）の両方の経路を持つことが、錯視知覚の再現に不可欠であることが示された。
  • 再帰的統合: 再帰的アテンション機構（Transformer 層など）が、局所的な手がかりを統合し、一貫した回転運動を生成する上で重要。
  • 学習データの重要性: 「非テクスチャ」および「非拡散」物体の運動データを含む学習セットが、高次運動知覚の獲得に重要であることが確認された。

5. 意義と結論 (Significance & Conclusion)

• 現状のギャップ: 現在のオプティカルフローモデルと人間の視覚運動処理の間には、静止画の錯視運動を再現する能力において大きな隔たりが存在する。
• 将来の方向性:
  • 生物学的インスピレーション: 人間の視覚系のように、第一級・第二級運動経路を併せ持ち、再帰的処理を行うアーキテクチャの重要性が再確認された。
  • 眼球運動の統合: 従来のモデルは静止フレーム間の比較に依存しがちだが、人間の網膜入力には微小眼球運動（Fixational eye movements）が不可欠である。この「網膜画像のシフト」をシミュレートした学習や推論を取り入れることで、より頑健で人間中心の AI 視覚システムが構築できる可能性がある。
• 科学的洞察: 異なる種類の錯視（回転する蛇 vs ウチ錯視）に対して、異なる計算メカニズム（高次処理の必要性の有無など）が関与している可能性が示唆された。

総じて、この研究は「人間が静止画で見る錯視運動」を基準とした新しい評価基準を提示し、より人間に近い知覚能力を持つコンピュータビジョンシステムの開発への道筋を示す重要な成果です。