技術概要：InsightTok

問題定義

自己回帰（AR）画像生成は、連続的な画像をトークン系列にマッピングするために離散視覚トークナイザに依存し、大規模なマルチモーダルモデリングの基盤となっています。しかし、重大なボトルネックが存在します。標準的な離散トークナイザは、テキストの可読性や顔の忠実度といった微細な構造を保持することに苦労しています。

著者らは、この失敗を主に以下の 2 つの要因に帰因しています。

1. 過激なダウンサンプリングと量子化: 標準的なトークナイザは、しばしば高いダウンサンプリング率（例：16 倍）と大規模なコードブックを使用します。これにより、読み可能な文字や特徴的な顔の特徴に必要な微妙な詳細が失われます。
2. 整合性の取れない監督目的: 従来の訓練目的（ピクセル再構成、LPIPS、敵対的損失）は、一般的な画像再構成のために最適化されています。これらはすべての意味内容を均一に扱い、テキストや顔といった知覚的に重要な領域を優先することに失敗します。さらに、これらの領域は画像のわずかな部分しか占めないことが多いため、その訓練信号は周囲のシーンによって希釈され、厳密な離散ボトルネック下でそれらを保持するための十分な選択圧を提供できません。

既存の解決策は、コードブックサイズやトークン数を増やすことを伴うことが多く、忠実度に重要な構造を明示的にターゲットにすることなく、多大な計算オーバーヘッドとモデリングの複雑さを引き起こします。

手法：InsightTok

これらのギャップに対処するため、著者らはInsightTokを提案します。これは、局所的でコンテンツを認識する知覚損失を通じてテキストと顔の忠実度を向上させる離散視覚トークナイザフレームワークです。

コアフレームワーク

InsightTok は、標準的な VQGAN スタイルのトークナイザ訓練に、2 つの専門的な知覚項、すなわち**テキスト知覚損失（$L_{text}$）と顔知覚損失（$L_{face}$）**を追加します。全体の最適化目的関数は以下の通りです。
$$L_{InsightTok} = L_{image} + \alpha_1 \cdot L_{text} + \alpha_2 \cdot L_{face}$$
ここで、$L_{image}$は標準的な再構成、コードブック、知覚、敵対的損失を表します。

専門的損失メカニズム

1. テキスト知覚損失（$L_{text}$）:

   • 検出と抽出: テキスト検出器を用いて訓練画像内のテキスト領域を検出します。対応するパッチを元の画像と再構成された画像の両方から切り出します。
   • 特徴比較: これらのパッチを標準的なバナー解像度（32×128）にリサイズし、事前学習されたテキスト認識ネットワーク（例：シーンテキスト認識用）に入力します。
   • 損失計算: 損失は、認識ネットワークの複数の隠れ層における、元のテキストパッチと再構成されたテキストパッチとの特徴空間距離として計算されます。
   • 重み付け: 小さな困難なテキストインスタンスが最適化を支配するのを防ぐため、損失は画像サイズに対するバウンディングボックスの面積で重み付けされます。

2. 顔知覚損失（$L_{face}$）:

   • 検出とアライメント: 顔を検出し、5 つの顔のランドマーク（目、鼻、口角）を抽出します。検出された顔を標準的なテンプレートに合わせるために相似変換を推定し、ポーズ、スケール、回転のばらつきを低減します。
   • 特徴比較: 元の画像と再構成された画像からのアライメントされた顔パッチを、事前学習された顔認識ネットワーク（ResNet50 ベース）で処理します。
   • 損失計算: テキストと同様に、損失は隠れ層全体にわたるアライメントされたペア間の特徴空間距離であり、顔のバウンディングボックス面積で重み付けされます。

訓練戦略

• アーキテクチャ: InsightTok は、16 倍のダウンサンプリング率と 16,384 項目のコードブック（16k）を持つ畳み込み VQGAN アーキテクチャに従います。
• 段階的訓練:
  1. 事前学習: 標準的な目的関数を用いて、多様で注釈のないデータ上で 20 万ステップ。
  2. 専門的訓練: テキストと顔を含む LAION のキュレーションされたサブセット上で、$L_{text}$と$L_{face}$を取り入れて 4 万ステップ。
  3. デコーダー微調整: エンコーダーと量子化器を固定した状態で 4 万ステップ、再構成品質を精緻化します。

下流生成：InsightAR

著者らは、InsightTok が生成する離散コードで訓練された自己回帰画像生成器InsightARを開発しました。これは Janus-Pro アーキテクチャに従い、標準的なトークナイザを InsightTok に置き換えることで、トークナイザの改善が生成品質に直接転移することを示しています。

主要な貢献

1. InsightTok フレームワーク: 局所的でドメイン固有の知覚損失を導入することで、テキストと顔のための離散トークナイゼーションを改善する、シンプルかつ効果的な手法。
2. コンテンツを認識する監督: 特定の領域で損失を計算するために検出および認識モデルを使用することで、トークナイザが一般的な再構成品質を犠牲にすることなく高価値の詳細を保持することを学習させる。
3. 効率的なスケーリング: 大規模なコードブックや増加したトークン数に伴う計算コストを回避しつつ、コンパクトな 16k コードブックと 16 倍のダウンサンプリングでテキストと顔の忠実度において大幅な向上を達成できることを示す。
4. 転移性: トークナイザの改善が一貫して下流の AR 生成に転移し、生成された画像においてより明瞭なテキストとより忠実な顔の詳細をもたらすことを証明する。

実験結果

本論文は、TokBenchベンチマークおよび標準的な画像生成ベンチマークにおいて InsightTok を評価しています。

• 再構成性能:

  • テキスト: InsightTok は、平均で**53.05%**のテキスト精度（T-ACC）を達成し、2 番目に良い手法（24.16% の IBQ-16k）を大幅に上回ります。
  • 顔: 平均で0.36の顔類似度（F-Sim）を達成し、IBQ-16k（0.27）を上回ります。
  • 一般品質: 専門的な焦点にもかかわらず、InsightTok は競争力のある一般的な再構成品質（PSNR > 23.6、rFID 0.69）を維持し、他の最先端トークナイザと同等かそれ以上です。

• 生成性能（InsightAR）:

  • 顔生成: 群衆生成シナリオにおいて、InsightAR は比較可能な AR モデルの中で最高の MagFace スコア（23.33）を達成し、優れたアイデンティティ保持を示しています。
  • テキストレンダリング: InsightAR は、正規化編集距離（NED）**95.83%**で長文テキストを生成し、標準的なトークナイザを使用するモデル（例：79.86% の LlamaGenTok-AR）を大幅に上回ります。
  • 一般生成: InsightAR は、一般ベンチマーク（GenEval、DPG-Bench）において Janus-Pro と同等の性能を発揮し、専門化が一般的なマルチモーダル能力を劣化させないことを確認しています。

• アブレーション研究:

  • 面積ベースの重み付けを除去すると、専門的な損失が支配的になり、一般的な再構成品質（rFID/PSNR の悪化）が低下します。
  • 専門的な損失をデコーダーのみに適用し（エンコーダー/量子化器を固定）、最小限の利益しか得られませんでした。これは、改善が単に強力なデコーダーからではなく、精緻化された潜在表現に由来することを確認しました。

意義と主張

本論文は、広く使用されている VQGAN スタイルの監督を超えて移動することで、トークナイザ訓練に対する新たな視点を提供すると主張しています。著者らは、ターゲットを絞った監督の欠如が、標準的なトークナイザがテキストと顔で失敗する主な理由であると論じています。

この研究の意義は、専門的な監督が離散画像生成を進展させるための実用的かつ効果的な方法であることを実証している点にあります。トークナイザの目的を、テキストや顔といった知覚的に重要なコンテンツと整合させることで、著者らは、一般的な画像品質を犠牲にすることなく、また大規模なコードブックに伴う重い計算コストを負うことなく、これらの分野で最先端の忠実度を達成可能であることを示しています。これは、自己回帰モデルのための離散表現学習に、より豊かでコンテンツを認識する監督を組み込むための有望な方向性を開くものです。

著者らは控えめに限界を指摘しています。現在の扱いは英語のテキストとプロンプトに限定されており、このアプローチはすべての視覚コンテンツではなく、特定のドメインを強化するように設計されています。また、顔の忠実度に関する二重使用のリスク（例：ディープフェイク）を認め、下流のアプリケーションに対する保護措置を推奨しています。