技術要約：FOVI – 深層ビジョンモデルのための生物学的着想に基づく中心窩型インターフェース

1. 問題提起

高解像度の視覚データを処理することは、ディープラーニングモデルにとって深刻な計算上の課題をもたらします。標準的なコンピュータビジョンは低解像度の入力（例：224x224）に依存することが多いですが、ヒューマノイドロボティクス、自動運転、広範なシーン処理といった多くの実世界のアプリケーションでは、高解像度での広い視野（FOV）に対する感度が必要となります。

自己注意機構（self-attention）を利用するトランスフォーマーベースのアーキテクチャ（ViT）において、画像解像度を上げると、二重の二次関数的コストが発生します：

1. ピクセル数： ピクセル数は一辺の長さに対して二次関数的に増加します。
2. アテンションの複雑性： 自己注意機構は、パッチの数に対して二次関数的（$O(N^2)$）にスケールします（各パッチが他のすべてのパッチに注意を向けるため）。

既存の解決策はダウンサンプリングによって問題を簡略化することが多く、これは高周波の詳細情報を破棄してしまいます。逆に、従来の中心窩型センシング（対数極座標モデルや歪んだデカルト座標アプローチ）は、しばしば局所的な異方性サンプリングを引き起こし、非生物学的に妥当な受容野の形状や望ましくない歪みを生じさせます。多様なアーキテクチャ（CNNおよびViT）に採用可能でありながら、効率的かつ等方的なサンプリングを維持できる、汎用的な生物学的妥当性を持つ中心窩型インターフェースは存在していません。

2. 手法

著者らは、ヒトの網膜および一次視覚野（V1）に着想を得たシステムである FOVI（Foveated Vision Interface）を提案しています。その核心となる革新は、可変解像度の網膜様センサーアレイを、一様な密度を持つV1様のセンサー多様体へと再フォーマットすることにあります。

2.1. センサー多様体とサンプリング

FOVIは、網膜皮質マッピング（Rovamo & Virsu, 1984）の数学的モデルを利用しています。

• 皮質拡大関数 (CMF): サンプリング密度は $M(r) = \frac{1}{r+a}$ によって決定されます。ここで $r$ は離心率、$a$ は中心窩化の強さを制御するパラメータです。$a \to \infty$ とするとサンプリングは一様になり、$a$ が小さくなるほど中心窩化が強くなります。
• 等方性サンプリング: システムはCMFを積分して「皮質」次元を導出します。その後、この次元を一様にサンプリングし、対応する網膜半径を計算します。角度方向のサンプルは、局所的な等方性（任意の点において隣接する角度間の距離が、隣接する半径間の距離と等しくなること）を確保するように決定されます。
• 多様体表現: 得られた点は3Dセンサー多様体を形成します。この多様体を垂直子午線で切り、平坦化することで、ヒトのV1半球の網膜部位的組織を反映した2D表現を作成します。

2.2. kNN畳み込みとカーネルマッピング

この非一様な多様体上で標準的な畳み込み演算を実行するために、著者らは kNN畳み込み を導入しています。

• 受容野: センサー多様体上の出力ユニット周囲の $k$-最近傍（kNN）として定義されます。
• カーネルマッピング: 学習された参照カーネル（標準的なデカルト格子上で学習されたもの）を、各kNN近傍にマッピングする新しい手法です。
  • ステップ1: 出力ユニットに対する極座標近傍座標を定義する。
  • ステップ2: これらをデカルト座標に変換し、参照カーネルのフレームと位置を合わせる。
  • ステップ3: これらの座標を使用して、参照カーネルを空間的にサンプリングする。
• 解像度: 参照カーネルは、特異な空間的位置をより良く扱うためのアンチエイリアシング機構として機能するため、近傍サイズよりも高い解像度（$s = 2\sqrt{k}$）に設定できます。

2.3. アーキテクチャの実装

論文では、2つの異なる実装を示しています。

1. FOVI-CNNs: 各層の活性化マップがセンサー多様体となる階層的アーキテクチャ（AlexNet風）です。ダウンサンプリングはマックスプーリングによって行われ、kNNは次層のために定義されます。
2. FOVI-ViTs: DINOv3基盤モデルの foveated 適応版です。
   • パッチ化: パッチはセンサーアレイ上のkNNとして定義されます。
   • 適応: 学習済みの視覚的特徴を保持しつつオーバーフィッティングを最小限に抑えるために、パッチ埋め込み層とトランスフォーマー層の前半部分に 低ランク適応（LoRA） を適用して、事前学習済みDINOv3モデルを適応させています。これにより、モデルは新しいセンサーインターフェースを統合しながら、事前学習された特徴を維持できます。

3. 主な貢献

1. FOVIインターフェース: 視覚空間を網膜皮質マッピングモデルに従ってサンプリングし、一様な密度を持つセンサー多様体を生成する、新しい中心窩型ビジョンインターフェース。
2. kNN畳み込み: カーネルマッピングを備えた新しい畳み込みメカニズムであり、中心窩型で非ユークリッド的な入力に対して標準的なディープラーニング操作（重み共有、方向の整合）を可能にします。
3. 生物学的妥当性: このアーキテクチャは、受容野（RF）のサイズが離心率に対して線形にスケールすることを自然に生成し、ヒトのV1-V3のデータと一致します（対数極座標や歪んだデカルト座標法は異方的なRFを生じさせます）。
4. 基盤モデルの適応: LoRAを用いて大規模な事前学習済みViT（DINOv3）を中心窩型入力に適応させることに成功し、計算予算を抑えつつ高いパフォーマンスを実現するプロトコル。

4. 結果

4.1. FOVI-CNNの性能

• 受容野の特性: モデルは、ヒトのV1-V3のデータと一致するように、離心率とともに線形に増加するRFサイズを示します。この依存性は、非中心窩型のバリアントでは消失します。
• 分類精度: ImageNet-1Kにおいて、中間的な中心窩化（$a=0.5$）を持つモデルは、制限された「ピクセル予算」（256x256の画像から64x64ピクセルをサンプリング）の条件下で、強い中心窩化を持つモデルおよび非中心窩型（一様）のコントロールの両方を上回りました。
• 注視戦略: パフォーマンスは注視回数とともに大幅に向上し、約20回の注視で飽和します。

4.2. FOVI-ViTの性能

• 効率 vs 精度: FOVI-ViT-H+ バリアント（64パッチを使用、224x224の一様ベースラインの約1/16のピクセル量）は、単一の注視でImageNet-1Kにおいて 84%のTop-1精度 を達成しました。これは、フル解像度のViT-H+ベースラインの精度の96%以上を達成しつつ、GFLOPSを約1/3 に削減していることを意味します。
• ベースラインとの比較: FOVIモデルは以下のモデルを大幅に上回りました：
  • 64x64への一様ダウンサンプリング。
  • 「弱い」FOVI（一様サンプリングに近いもの）。
  • 対数極座標中心窩モデル（事前学習からの分布シフトにより苦戦）。
• スケーラビリティ: 分析によれば、非アテンション操作は約 $O(m^{1.76})$ でスケールしますが、アテンション操作は $O(m^4)$ でスケールします。FOVIは、高解像度入力に対する実効的なシーケンス長を削減することで、この $O(m^4)$ のボトルネックを効果的に緩和します。

5. 意義と主張

本論文は、FOVIが高解像度ビジョンの計算上のボトルネックに対する、汎用的で生物学的に妥当な解決策を提供すると主張しています。

• 効率性: 高解像度のエゴセントリック（自己中心型）ビジョンタスク（例：ロボティクス、自動運転）において、パフォーマンスを損なうことなく、ピクセル数を劇的に減らし計算コストを削減する経路を切り開きます。
• 柔軟性: 特定のアーキテクチャに限定されたり、異方性のアーティファクトに悩まされたりすることのない、CNNとトランスフォーマー（基盤モデルを含む）の両方に統合可能な手法です。
• 生物学的忠実度: ヒトの中心窩型サンプリングの局所的な等方性と離心率依存性を、エンドツーエンドのディープラーニングと互換性のある形で正確にモデル化した初めてのアプローチです。
• 将来の可能性: 著者らは、FOVIが計算制約が極めて重要な高解像度処理が必要なシナリオにおいて特に価値があると示唆しており、人間の周辺視現象（例：クラウディング、サッカード誘導）の計算モデリングにも有用であるとしています。

著者らは、標準的な2D畳み込みと比較したkNN畳み込みの計算オーバーヘッドや、現在の評価が検出やセグメンテーションではなく画像分類に限定されていることなど、限界についても謙虚に述べています。彼らは、主要な貢献はインターフェースの設計とその統合メカニズムにあると考えています。