技術要約: DeepGaze3.5-VL

問題提起

人間の視覚的注意の経時的なモデリング（スキャンパス予測）は、歴史的に、制約付きレヴィ・フライト（Lévy exploration）、サッカード・バイアス、あるいは抑制的タグ付けといった、手作業で設計された幾何学的事前分布を組み込んだ特化したアーキテクチャに依存してきた。これらのモデルは注視シーケンスを捉えることには成功しているが、その硬直した構造的バイアスは拡張性を制限し、柔軟な条件付けを困難にしている。タスク固有の指示を統合したり、異なる視聴者の特性に適応させたりするには、従来、カスタムの分離されたアーキテクチャの追加が必要であった。さらに、既存の生成的アプローチ（拡散モデルやニューラル点過程など）は、基礎モデルが持つ豊かなシーケンシャルな事前分布を活用できず、注視データのみに基づいてゼロから学習されることが多い。評価における決定的なボトルネックは、連続的な生成モデルでは正確な空間確率密度をネイティブに計算できず、厳密な情報理論的尺度ではなく、ヒューリスティックなシーケンス整列指標（例：ScanMatch）への依存を強いている点にある。

手法

著者らは、スキャンパス予測を、大規模視覚言語モデル（LVLM）を用いた純粋な離散シーケンスモデリング・タスクとして再定義するフレームワーク、DeepGaze3.5-VLを提案する。

コアとなる定式化

• 自己回帰的トークン予測: 連続的な座標を回帰する代わりに、モデルは注視を離散トークンのシーケンスとして予測する。空間座標 $(x, y)$ は、画像の次元方向に沿ったパーセンテージ位置を表す、ゼロパディングされた2桁の整数（00–99）にマッピングされる。これにより、すべての注視が正確に4つのトークン（$x$ に2つ、$y$ に2つ）を生成することを保証し、一様なトークン長と公平な確率比較を実現する。
• LVLMの統合: システムは、Low-Rank Adaptation (LoRA) を通じてファインチューニングされた、学習済みのLVLM（具体的には InternVL3.5-8B）を利用する。モデルは、入力画像 $I$ とオプションの条件付け因子 $C$（例：タスク記述、被験者ID）を自然言語プロンプトを介してエンコードする。
• 学習目的: モデルは、正解のスキャンパスを用いた標準的な次トークン予測によって学習される。この自己回帰構造により、任意の有効な注視シーケンスの対数尤度を正確に計算できる：
  $$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$$

評価戦略

• 情報利得 (Information Gain: IG): 著者らは、自己回帰的な整合性を利用して、センター・バイアス・ベースラインに対する対数尤度の改善として定義される正確な情報利得を計算する。連続的なモデルとは異なり、この定式化により、ヒューリスティックを用いることなく正確な空間確率密度を計算することが可能になる。
• 効率的な計算: $100 \times 100$ のグリッド全体にわたる空間分布（例：AUC）を計算するために、著者らは**接頭辞木（prefix tree）**戦略を採用している。共有される接頭辞においてKey-Value状態をキャッシュすることで、結合確率を4フェーズの展開（周辺 $x_1$、条件付き $x_2$、条件付き $y_1$、条件付き $y_2$）に分解し、10,000回のフォワードパスではなく、わずか1,111回のフォワードパスで実行できるようにしている。IGに関しては、注視ごとに4回のフォワードパスのみが必要となる。

主な貢献

1. 自己回帰的トークン予測としての定式化: LVLMを離散的な座標トークンの予測へとファインチューニングすることで、事前学習された意味的およびシーケンシャルな事前分布を活用している。このアプローチは、MIT1003データセットにおいて、同じバックボーンであるDeepGaze IIIに対し2.18 bitsの情報利得を達成し、これはDeepGaze IIIに対して46%の向上となる。
2. 正確かつ効率的な評価: 本フレームワークは、自己回帰構造を利用して完全な空間結合確率を分解し、大規模なスケールでの正確かつ高速な情報利得計算を可能にすることで、生成的なスキャンパスモデルにおける主要な評価のボトルネックを解消した。
3. 柔軟な条件付けと汎用性: モデルは、自然言語プロンプトを通じて多様な変動要因を自然に取り込むことができる。本モデルは、強力な分布外（Leave-One-Dataset-Out）の汎化性能を示し、アーキテクチャの変更なしに、タスク目標（自由視覚 vs 視覚探索）や個々の観察者の特性に対して条件付けが可能である。
4. イン・シリコ（in-silico）介入: この生成フレームワークは、制御された行動介入のための計算ツールとして機能し、実験的に実施することが困難なシナリオ（例：注視時間の変化）の反事実的なシミュレーションを可能にする。

結果

• パフォーマンス: DeepGaze3.5-VLは、5つの多様なデータセット（MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm）において、新たな最先端（SOTA）の性能を確立した。MIT1003において、同等のInternViT-6Bバックボーンで再学習したDeepGaze IIIの1.49 bitsに対し、2.18 bitsのIGを達成した。
• 表現の役割: パフォーマンスの向上は、単に優れた視覚特徴によるものではない。コントロール実験により、より優れたInternViT-6Bエンコーダを用いたDeepGaze IIIであっても、VLMには及ばないことが示された。さらに、情報利得とMMMUベンチマーク・スコア（マルチモーダル推論の尺度）との間に強い相関（$\rho = 0.93$）が観察された。これは、高次の意味理解がスキャンパス予測の質を駆動していることを示唆している。
• シーケンシャル vs 空間的: アブレーション研究により、静的な空間的サリエンシーが初期の注視を駆動する一方で、シーケンシャルな依存関係（特定の観察者の履歴）が後半の注視の主要な予測因子になることが明らかになった。フルモデルは、「履歴不変」および「空間のみ」のバリアントよりも、特にスキャンパスの後半段階において優れた性能を示した。
• 条件付けの効果:
  • 持続時間: 注視時間による条件付けは、特に短い注視（<100 ms）において空間予測を改善し、既知の眼球運動現象（プログラムされたサッカードなど）を再現している。
  • 被験者ID: 被験者IDを提供することで、IGは注視あたり+0.09 bits向上し、モデルが観察者ごとの個別の空間的事前分布を学習できることを示した。

意義と主張

本論文は、スキャンパス予測を自己回帰的なトークン予測として定式化することが、特化した注視モデリングと一般的な基礎モデルとの間の溝を埋めるものであると主張している。著者らは以下のように述べている：

• 意味的理解が鍵である: 学習されたマルチモーダル表現の質（推論ベンチマークによって測定）が、スキャンパス予測の主要な推進力であり、これはトップダウンのタスク目標と意味的理解が視覚的探索を駆動するという認知理論を支持している。
• ネイティブな評価: 自己回帰的な定式化は、スキャンパス予測を基礎モデルのネイティブな学習目的と一致させ、情報利得を次トークン予測の直接的な現れとすることを可能にし、代替指標の必要性を排除している。
• 生成的有用性: 予測を超えて、このフレームワークは強力な「イン・シリコ」行動介入ツールとして機能する。著者らは、このモデルが追加のデータ収集なしに、データ統計のみから既知の眼球運動現象（注視時間による空間エントロピーの変調など）を再現できることを示しており、これにより制御されたシミュレーションが可能になる。

本研究は、従来の世代における硬直した手作業による事前分布はもはや必要ではなく、LVLMに内在するシーケンシャルおよび意味的な事前分布があれば、より柔軟かつ正確に複雑な人間の注視ダイナミクスをモデル化するのに十分であることを示唆している。