技術的概要：TaTok – 理論的基盤を有する適応的画像トークン化

1. 問題定義

長画像シーケンス処理と統合マルチモーダルモデルに不可欠な現在の離散画像トークン化手法は、可変の情報密度を持つ画像に対して固定された圧縮率を厳格に適用することに基づく、2 つの根本的な理論的欠陥に悩まされている：

1. 情報不足：既存のパッチトークンのみの方式は、グローバルな意味情報と構造的な情報を十分に捉えられない。データ処理不等式とレート歪み理論に基づく理論的分析は、決定論的なパッチ分割と量子化が、不可避な再構成損失の下限（$D_{min} > 0$）をもたらすことを証明している。その結果、高周波の詳細や連続的なグレースケール情報は、局所パッチトークンのみでは完全に復元できない。
2. 情報の冗長性：自然画像は強い局所定常性と非局所的な意味相関を示す。これらがビジョントランスフォーマー（ViT）エンコーダによって処理されると、これらの相関によりパッチトークン間の相互情報量の重なりが顕著になる。この冗長性は計算複雑性を増大させ（自己注意における $O(N^2)$ に比例）、ブロッキングアーティファクトや過剰な平滑化を通じて再構成品質を劣化させるが、現在の手法は品質を犠牲にすることなくこれを排除するための原理的なメカニズムを欠いていることが多い。

既存のアプローチは、グローバルな文脈のための階層的集約や、スパースな選択のためのヒューリスティックな規則を用いてこれらの問題を個別に解決しようとするが、グローバル情報をモデル化しつつ冗長性を削減する、相乗効果のある理論的基盤を持つ解決策を提供するには至っていない。

2. 手法：TaTok フレームワーク

著者らは、グローバル情報モデル化と動的冗長性削減をエンドツーエンドで学習可能なシステムに統合する、理論的基盤を有する適応的画像トークン化フレームワークであるTaTokを提案する。

2.1 グローバルトークン拡張（不足の解消）

パッチのみの方式に内在する情報損失を補うため、TaTok は学習可能なグローバルトークン（$g$）を導入する。

• 理論的基盤：相互情報量理論に基づき、著者らは（補題 3.1 において）、画像の全体的な情報 $G(x)$ を近似するグローバルトークン $g$ をトークンシーケンスに付加することで、トークンシーケンスと元の画像との間の相互情報量が増加することを証明している：$I(x; [g; z]) = I(x; z) + I(x; g | z)$。
• 影響：定理 3.2 は、この拡張により再構成損失の理論的下限（$\epsilon'_{inf} < \epsilon_{inf}$）が低下し、より少ないトークンで高忠実度の復元が可能になることを示している。グローバルトークンは、条件付きエントロピー $h(G(x) | g)$ を最小化するように最適化され、拡張されたシーケンスの相互情報量を直接向上させる。

2.2 動的トークンフィルタリング（DTF）（冗長性の解消）

冗長性を排除するため、TaTok は累積条件付きエントロピーに基づく**動的トークンフィルタリング（DTF）**アルゴリズムを採用する。

• メカニズム：固定された数のトークンの代わりに、DTF は事前に定義された情報要件を満たすために必要な最小数のパッチトークン（$N$）を適応的に選択する。
• 選択基準：パッチトークンは、グローバルトークンを前提とした各パッチが寄与する固有の情報を定量化する条件付きエントロピー $H(z_i | g)$ によってソートされる。
• 制約：選択プロセスは、以下の二重の制約を満たす：
  1. 最小情報制約：累積情報は、レート歪み理論から導出された閾値 $T$ を満たさなければならない。
  2. 情報損失率制約：失われる固有情報の割合は、事前に定義された率 $\epsilon$ を超えてはならない。
• プロセス：アルゴリズムは、固有情報量の降順にトークンを蓄積し、制約が満たされるまで継続する。これにより、情報に富んだパッチのみが保持される。

2.3 デトークン化と学習

• 再構成：選択されたトップ$N$のパッチトークンは、グローバルトークンと連結されて拡張シーケンスを形成する。これは量子化され、画像を再構成するためにデコーダ（拡張された ViT）に入力される。元のパッチ数に整合させるため、シーケンスは学習可能なマスクトークンでパディングされる。
• 損失関数：フレームワークは、複合損失を用いてエンドツーエンドで学習される：
  • 再構成損失（$L_{rec}$）：画素ごとの MSE。
  • 量子化損失（$L_{commit}$）：拡張トークンをコードブックに整合させる。
  • グローバル意味整合損失（$L_{glob}$）：グローバルトークンと画像の全体的な情報との間の条件付きエントロピーを最小化する。

3. 主要な貢献

1. 欠陥の理論的証明：本論文は、情報理論を用いて厳密に証明しており、既存の離散トークナイザーは、レート歪み制約に起因する不可避の情報不足と、画像相関に起因する本質的な情報冗長性に悩まされている。
2. 統合フレームワーク（TaTok）：学習可能なグローバルトークンと動的フィルタリング機構を統合した、初のエンドツーエンドで学習可能なトークナイザーを提案する。これは、パッチのみの方式と比較して、この組み合わせが再構成損失の下限を低下させることを理論的に証明している。
3. 適応的効率性：固定グリッドではなく情報の豊かさに基づいてトークンを割り当てることで、TaTok は品質を犠牲にすることなく優れた圧縮を実現する。

4. 実験結果

実験は、ImageNet 256×256 画像生成および再構成タスクにおいて実施された。

• 再構成品質：TaTok は、わずか56.4 トークン（コードブックサイズ 4096）を使用して、再構成 FID（rFID）1.51を達成した。これは、1024 トークンで rFID 1.28 の ViT-VQGAN や、57 トークンで rFID 1.75 の TiTok-B-57 といった最先端の手法を上回り、トークンあたりの情報保持能力の優位性を示している。
• 生成品質：MaskGIT-ViT 生成器と組み合わせた場合、TaTok は生成 FID（gFID）1.89を達成し、MaskGIT-VQGAN（gFID 6.18）や TiTok-B-64（gFID 2.48）を上回った。
• 効率性：TaTok は、標準的なベースラインに対して4.5 倍の圧縮率の改善を示した。推論速度の観点では、MaskGIT-VQGAN（9.7 サンプル/秒）と比較して8.7 倍のスループット向上（A100 上で 94.3 サンプル/秒）を達成し、かつはるかに少ないパラメータ数（1.77 億対 38 億）で動作している。
• アブレーション研究：
  • グローバルトークン：実験により、グローバルトークンを追加することで再構成が大幅に改善されることが確認された（16 トークンで rFID が 2.17 から 1.51 に低下）。これは「情報不足」という仮説を検証するものである。
  • 冗長性：パッチトークンの 50% をランダムに、または位置に基づいて切り捨ても、rFID の劣化は negligible（無視できる）であり、高い冗長性を確認した。しかし、50% 以上を除去すると品質が崩壊するため、適応的選択の必要性が裏付けられた。
  • フィルタリング戦略：TaTok のエントロピーベースの選択は、ランダム、均一、または固定位置（最初/最後の N 個）のサンプリング戦略を大幅に上回った。

5. 意義と主張

本論文は、TaTok が、現在のトークナイザーの「万能型」圧縮戦略に対する理論的に妥当な代替手段を提供すると主張している。レート歪み理論を通じて情報密度とトークン数の間のトレードオフを明示的にモデル化することで、TaTok は以下を実現する：

• コンパクトかつ正確な表現：より少ないトークンで最先端の生成品質を達成する。
• スケーラビリティ：マルチモーダルモデルにおける効率的な長シーケンス処理の基盤を提供する。
• 新たな知見：この研究は、エッジのパッチトークンがしばしば不釣り合いな位置情報を担っていることを明らかにしており、2 次元空間データが 1 次元トークンシーケンスにどのように符号化されるかという理解を深めるものである。

著者らは、TaTok を単なる漸進的な改善ではなく、適応的かつ情報理論的なトークン割り当てへの転換として位置づけており、離散的な視覚トークナイザーの効率性を制限してきた情報不足と冗長性という中核的なボトルネックに対処するものである。