テクニカル・サマリー：ビジョン・トークンはどれほどの情報を保持できるのか？

問題提起

大規模言語モデル（LLM）におけるロングコンテキスト理解への需要の高まりは、自己注意機構（self-attention mechanism）の二次関数的な計算複雑性によって制約されている。コンテキスト圧縮技術は存在するものの、テキストのみのモダリティに依存することは、重要な空間的・構造的な意味論（例：表の整列、階層的なレイアウト）を切り捨ててしまう。DeepSeek-OCRのような近年のビジョン中心のアプローチは、レンダリングされたテキスト画像を連続的なビジョン・トークンとしてエンコードすることで、これらの意味論を保持しつつ、トークン数を削減している。

しかし、ビジョン・エンコーダを有限の容量を持つ「損失のあるチャネル」と見なすと、根本的かつ未探索の問いが生じる。それは、**「ビジョン・トークンに圧縮できる意味情報の上限はどこにあるのか？」**という問いである。離散的なテキスト・トークナイゼーション（例：BPE）がロスレスな再構成を保証するのに対し、ビジョン・エンコーダは計算効率（トークン数の最小化）と表現能力の間のトレードオフに直面する。もし、トークンあたりの情報密度がエンコーダの限界を超えた場合、認識は失敗する。本論文は、画像内の情報量と、それをエンコードするために使用されるビジョン・トークンの数との間の定量的関係を調査し、ビジョン・トークンの容量限界を特定することを目的としている。

手法

実験設定

ビジョン・トークンの容量限界を言語的事前知識から分離するため、著者らは制御されたストレス・テストを設計した：

• データ合成: 6つの多様なドメイン（小説、法律、経済、医学、新聞、手紙）からのテキストを収集した。テキストをブロックに分割し、ランダムにサンプリングして結合する**ブロック単位のシャッフル（Block-wise Shuffling）**戦略を採用した。これにより、モデルが意味的な文脈に基づいて次のトークンを予測するのではなく、視覚的な知覚に依存せざるを得ない状況を作り出した。
• タイポグラフィの制御: 文字の密度を変化させるために、タイポグラフィのパラメータ（フォントサイズ、行間・文字間隔）を調整した。動的なレイアウト・アルゴリズムにより、画像の・アスペクト比が0.9から1.1の範囲内に維持されるようにした。
• モデル: 入力解像度を通じてビジョン・トークンの予算を制御できる能力を持つDeepSeek-OCRを主要モデルとして採用した。汎用性を検証するため、InternVL3.5-8B（タイルベースの高解像度戦略）およびQwen2.5-VL-8B（ネイティブ・ダイナミック/NaViT戦略）についても評価を行った。
• 指標: 予測されたシーケンスと正解（ground truth）の間の**編集距離（Edit Distance, ED）**を用いて認識品質を測定した。

失敗メカニズムの調査

著者らは、安定から崩壊への遷移を特徴付けるため、4つの解像度（$R \in \{512, 640, 1024, 1280\}$）において、テキスト長（情報量）の増加に伴うパフォーマンスを分析した。

1. 空間的整列の感度（ゾーン I）: エラーがVision Transformer（ViT）のパッチの不整合によるものかどうかをテストするため、**ピクセル・シフト摂動（Pixel-Shift Perturbation）**実験を実施した。画像をサブパッチ・ストライド分だけシフトさせ、最適な整列位置を探った。
2. 容量 vs 判読性（ゾーン II）: 視覚的な判読性の限界（文字が小さくなりすぎること）と、情報容量の限界を区別するため、**視覚的密度整列（Visual Density Alignment）**実験を行った。安定フェーズと崩壊フェーズの画像から、同一のキャンバスサイズにリサイズして文字のピクセル密度を一定に保ち、総情報量という変数のみを分離した。

確率的スケーリング則

著者らは、平均ビジョン・トークン負荷（$G$）（トークンあたりの文字数）と視覚的密度（$V$）（ViTパッチあたりの行数）を、**潜在的困難度（$Z$）**メトリックへと統合するモデルを定式化した：
$$Z = w_0 + a \log V + \alpha \log G$$
混合モデルを使用して、$Z$に基づく「崩壊メカニズム」への進入確率を予測し、この遷移を確率的なプロセスとして扱った。

主な結果

1. 相転現象

本研究は、情報量の増加に伴う認識パフォーマンスにおける明確な3つのレジーム（領域）を特定した：

• 安定フェーズ（Stable Phase）: EDがほぼゼロ。モデルはテキストを正常に再構成できる。
• 不安定フェーズ（Instability Phase）: EDが激しく変動する高分散領域。同一のテキスト長であってもEDが大きく変動する。
• 崩壊フェーズ（Collapse Phase）: EDが急上昇（>0.6）する「ハードウォール（硬い壁）」。コンテンツの再構成が完全に失敗することを示す。

2. 失敗のメカニズム

• 不安定性は可逆的である: ピクセル・シフト実験により、不安定フェーズにおけるエラーは、ViTのパッチ分割における空間的整列の感度に起因することが確認された。画像をシフトして文字をパッチ境界に整列させると、パフォーマンスがほぼゼロのエラーまで回復することが頻繁に確認された。
• 崩壊は不可逆的である: 視覚的密度整列実験により、「視覚的判読性仮説」が否定された。文字を同じ視覚的スケールでレンダリングしても、崩壊フェーズのサンプルは失敗し、安定フェーズのサンプルは成功した。これは、崩壊が単なる視覚的なボケや整列の問題ではなく、固定された数のビジョン・トークンが意味的なペイロードをエンコードできないという情報容量の限界によって引き起こされることを裏付けている。

3. 普遍的なスケーリング則

• 解像度への独立性: 不安定フェーズの幅はスケール不変であり、すべての解像度においてテキスト長の約2.2倍の範囲を一定して占めている。
• 負荷の支配性: トークン負荷のスケーリング指数（$\alpha \approx 5.53$）は、視覚的密度の指数（$a \approx 2.91$）のほぼ2倍であり、総テキスト長（情報量）が局所的な文字密度よりも失敗の強力な予測因子であることを示している。
• 汎用性: DeepSeek-OCRから導出された固定のスケーリング指数を持つ確率的スケーリング則は、InternVL3.5-8BおよびQwen2.5-VL-8Bにおける相転移を正確に予測した。これは、これらの限界が現在のViTベースのビジョン・トークナイゼーションに固有のものであることを示唆している。

意義と主張

本論文は、ビジョン・トークンの情報容量の限界に関する初の体系的な研究であると主張している。主な貢献は以下の通りである：

1. 「ハードウォール」の定義: ビジョン・トークンには有限の情報容量があり、それを超えると単なる視覚的なぼけや整列の問題とは別に、再構成が不可逆的に崩壊することを確立した。
2. メカニズムの区別: 可逆的なエラー（ViTグリッドの不整合によるもの）と、不可逆的なエラー（容量枯渇によるもの）を分離した。
3. 実用的なガイダンス: 提案された確率的スケーリング則は、最大情報量を推定するためのツールを提供する。これにより、文書の密度に基づいてトークン予算や解像度を動的に調整し、効率性と精度のトレードオフを最適化する「コンテンツ認識型」の推論が可能になる。

著者らは、ビジョン中心の圧縮はロングコンテキスト・モデリングのための有望なパラダイムであるが、将来のVLMアーキテクチャにおいて明示的にモデル化し最適化されるべき、固有の情報的限界に縛られていると結論づけている。なお、本研究は英語テキストとViTベースのアーキテクチャに焦点を当てている点に制限があることを述べており、より高い文字密度や根本的に異なるトークナイゼーション・メカニズムを持つ言語では、容量限界がシフトする可能性があることを示唆している。