🤖 machine learning

The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling

この論文は、視覚言語行動モデルの拡張において、連続的な動作表現を用いる場合は視覚エンコーダの強化が性能向上に直結するが、離散トークン化された動作表現では固定容量のコードブックが情報ボトルネックとなりエンコーダの改善が反映されなくなる「圧縮ギャップ」という原理を提唱し、LIBERO ベンチマークを通じてこれを実証している。

原著者： Takuya Shiba

公開日 2026-04-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Takuya Shiba

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、ロボットが「目（視覚）」と「手（動作）」を連携させて物事を学ぶ際、**「なぜ高性能なカメラを使っても、ロボットの手がうまく動かなくなることがあるのか？」**という不思議な現象を解明したものです。

著者はこれを**「圧縮のギャップ（Compression Gap）」**と呼んでいます。

わかりやすく、3 つの重要なポイントと、それを説明する「お茶の例え」で解説します。

🍵 核心となる例え：お茶の入れ方とコップのサイズ

ロボットが物事を学ぶプロセスを、**「お茶を淹れて、コップに注ぐ」**作業に例えてみましょう。

お茶葉（入力情報）：ロボットが見ている映像です。
お茶の抽出（視覚エンコーダ）：お茶葉から旨味成分（重要な情報）を抽出する工程です。
コップ（動作の表現方法）：抽出されたお茶を保存・運ぶ容器です。

1. 「連続的なお茶」の場合（Diffusion Policy）

これは、**「大きなタンク」**を使って、お茶をそのまま流し込む方法です。

仕組み：お茶葉が良ければ（高性能なカメラ）、タンクに流れ込むお茶も濃厚になります。そして、その濃厚なお茶は、タンクから直接コップ（ロボットの手）へ、漏れなくすべて注がれます。
結果：お茶葉を高級なものに変えるだけで、出来上がるお茶の味（ロボットの動作精度）は劇的に良くなります。

2. 「離散的な（数字化された）お茶」の場合（OAT）

これは、**「小さなスプーン」**を使って、お茶を数回に分けて運ぶ方法です。

仕組み：どんなに高級なお茶葉を使っても、**「スプーン 1 杯分（固定された容量）」**しか運べません。
問題点：
- 安いお茶葉を使えば、スプーン一杯でお茶が満タンになります。
- しかし、高級なお茶葉を使っても、スプーン一杯の容量は変わらないため、余分な旨味成分はすべて捨て去られてしまいます。
結果：お茶葉を高級なものに変えても、スプーン一杯分しか運べないため、最終的にコップに注がれるお茶の味はほとんど変わりません。

📝 論文が伝えている 3 つの重要な発見

この「スプーン（コードブック）」の容量が、ロボットの性能を制限しているという発見です。

① 「目」を良くしても、「手」が追いつかない

連続方式（タンク方式）：高性能なカメラ（SigLIP など）に変えると、ロボットの成功率は21% 以上も上がりました。
離散方式（スプーン方式）：同じ高性能カメラに変えても、成功率の向上は**わずか 3〜10%**程度でした。
結論：「スプーン」の容量が限界に達しているため、どんなに良いお茶（映像情報）を入れても、余分な分は捨てられてしまうのです。

② 「スプーン」を大きくすれば、解決する

研究者は、この「スプーン」のサイズ（コードブックの容量）を大きくする実験を行いました。

スプーンを少し大きくすると、高級なお茶の味が少しだけ反映されるようになりました。
スプーンをさらに大きくすると、高級なお茶の味がより鮮明に現れました。
結論：問題は「離散化（数字化）」そのものではなく、**「情報の詰め込み容量が小さすぎる」**ことにありました。

③ 今後のロボット開発への示唆

これまでは「もっと大きなモデルを作れば、もっと賢くなる」と考えられていました。しかし、この論文は**「ボトルネック（狭い部分）を見つけて広げないと、ただモデルを大きくしても無駄」**と教えています。

今の課題：ロボットの「手」の表現方法（スプーン）が狭すぎて、最新の「目」の技術（高性能カメラ）の恩恵を受けきれていない。
未来への提言：
1. 情報の通り道（ボトルネック）を特定して広げる。
2. ロボットが動くために必要な「物理的な感覚（触覚や空間認識）」に特化した新しい「目（カメラ）」を作る。

💡 まとめ：一言で言うと？

「どんなに高性能なカメラ（目）を使っても、ロボットの動きを伝える『言葉（動作の表現）』が短すぎて（スプーンが小さすぎて）、その素晴らしい情報がすべて捨てられてしまっているのです。」

この論文は、ロボットを賢くするには、単にカメラを良くするだけでなく、「情報を伝える方法（スプーン）」を大きくする必要があると警鐘を鳴らしています。

論文「The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling」の技術的サマリー

この論文は、視覚言語行動（VLA）モデルのスケールアップにおいて、「アクションの表現形式（離散トークン化 vs 連続値）」が、視覚エンコーダの性能向上がタスク性能にどう波及するかを決定づけるという重要な発見を報告しています。著者はこれを**「圧縮ギャップ（Compression Gap）」**と名付け、情報理論的な観点からそのメカニズムを解明しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

背景

従来の大規模言語モデルやビジョン・ランゲージモデルのスケール則では、高品質な視覚エンコーダ（例：SigLIP）や大規模なモデル容量にアップグレードすることで、下流のタスク性能が向上することが示されてきました。ロボット工学（Physical AI）においても同様に、視覚エンコーダを強化すれば操作（Manipulation）性能が向上すると期待されていました。

問題

しかし、アクションを**離散トークン（Discrete Tokens）**として表現するアプローチ（例：OAT: Ordered Action Tokenization）では、視覚エンコーダを強化しても性能向上が限定的であることが観察されました。なぜ、エンコーダの強化が一部のアーキテクチャでは機能し、他のアーキテクチャでは機能しないのか、そのメカニズムは未解明でした。

核心となる仮説

著者は、**「情報ボトルネックの位置」**がスケール挙動を支配すると仮定しました。

連続的なアクション表現（Diffusion Policy）の場合：視覚エンコーダが最も厳しいボトルネックであり、エンコーダの強化が直接性能向上に寄与する。
離散的なアクション表現（OAT など）の場合：固定容量の**コードブック（Codebook）**がボトルネックとなり、エンコーダの強化による追加情報が量子化段階で失われるため、性能向上が阻害される。

2. 手法と実験設計

著者は、LIBERO ベンチマーク（LIBERO-10）を用いて、以下の 3 つの軸で厳密な制御実験を行いました。

2.1 比較対象

連続パス（Diffusion Policy）: アクションを連続空間でノイズ除去プロセスとしてモデル化。離散化ステップがない。
離散パス（OAT）: アクションを有限の語彙（FSQ: Finite Scalar Quantization を使用、デフォルトで $|V|=1000$ ）に圧縮し、オートレグレッシブなトークン生成を行う。

2.2 実験変数

視覚エンコーダのアップグレード:
- 軽量エンコーダ: ResNet-18 (64 次元)
- 高性能エンコーダ: SigLIP (1152 次元)、SigLIP 2、DINOv2 ViT-L/14
- 比較: 同一のエンコーダ強化（ResNet-18 → SigLIP）が両アプローチにどう影響するか。
モデルサイズ:
- M サイズと L サイズ（トランスフォーマーの層数や埋め込み次元を拡大）で、容量不足が原因ではないかを確認。
コードブック容量の操作（OAT 限定）:
- コードブックサイズ（ $|V|$ ）を 1000, 1920, 4375 と変化させ、ボトルネックを緩和した際にエンコーダへの感度が回復するかを確認。

2.3 理論的枠組み

情報処理不等式（Data Processing Inequality）に基づき、観測 $O$ からアクション $A$ への相互情報量 $I(O; A)$ は、パス上の最も厳しいボトルネック（最小の相互情報量）によって制限されると仮定しました。

離散化の場合： $I(Z; T) \le H_l \log_2 |V|$ （例：80 ビット）という硬い制約が存在します。

3. 主要な結果

3.1 エンコーダ感度の劇的な差異（Factorial Experiment）

視覚エンコーダを ResNet-18 から SigLIP に変更した際の成功率（Success Rate）の変化（ $\Delta_{enc}$ ）は以下の通りでした。

アクション表現	モデルサイズ	ResNet-18	SigLIP	改善幅 ( $\Delta_{enc}$ )
Diffusion Policy (連続)	M	36.4%	57.6%	+21.2%
Diffusion Policy (連続)	L	44.0%	70.0%	+26.0%
OAT (離散)	M	53.8%	57.4%	+3.6%
OAT (離散)	L	48.0%	58.4%	+10.4%

結果: 連続パスではエンコーダ強化が大幅な性能向上をもたらしましたが、離散パス（OAT）では改善が著しく抑制されました。モデルサイズを大きくしても、離散パスの感度回復は限定的でした。

3.2 エンコーダ品質勾配（Encoder Quality Gradient）

4 種類の異なる品質のエンコーダ（ResNet-18, SigLIP, SigLIP 2, DINOv2）を用いた実験では：

Diffusion Policy: エンコーダの品質向上に伴い、成功率が単調に増加（36.4% → 63.8%）。
OAT: エンコーダの品質に関わらず、成功率は狭い範囲（44%〜57%）で横ばいとなり、明確な相関が見られませんでした。
クロスオーバー現象: 低品質なエンコーダでは OAT が優位でしたが、高品質なエンコーダでは Diffusion Policy が OAT を上回りました。

3.3 コードブック容量の実験（因果的証拠）

OAT のコードブックサイズ（ $|V|$ ）を増大させた実験では：

デフォルト（ $|V|=1000$ ）では、ResNet と SigLIP の差は小さかった（ボトルネックが隠蔽）。
容量を増やす（ $|V|=1920$ など）と、SigLIP の性能は維持される一方、ResNet の性能が低下し、両者の差が顕在化しました。
結論: コードブック容量を緩和することで、エンコーダの品質差が再び現れることが確認され、「コードブックがボトルネックである」という仮説に因果的証拠が得られました。

4. 主要な貢献と発見

「圧縮ギャップ（Compression Gap）」概念の提唱:
- 視覚言語行動モデルのスケール挙動は、エンコーダの性能だけでなく、情報ボトルネックの位置によって決定されることを示しました。
- 離散トークン化における固定容量のコードブックは、上流のエンコーダ改善を遮断する「圧縮段階」として機能します。
離散化の構造的限界の解明:
- OAT などの離散アプローチは、エンコーダが貧弱な場合には構造化されたトークン化によって補完されますが、エンコーダが高度化しても、コードブックの容量（例：80 ビット）が上限となるため、追加情報を活用できません。
- これは特定のアルゴリズムの欠陥ではなく、固定容量の離散ボトルネックを持つシステム全体の構造的な性質であることを示しました。
連続表現の優位性とスケーラビリティ:
- Diffusion Policy に代表される連続表現は、エンコーダの強化を直接アクション予測に反映でき、モデル容量の拡大とも相乗効果を生みます。Physical AI のスケーリングには、連続的な情報フローが不可欠であることを示唆しています。
マルチモーダルスケーリングとの類似性:
- 大規模事前学習（Tong et al., 2026）で見られた「VAE 表現は飽和するが、意味的エンコーダはスケールし続ける」というパターンが、ロボット操作（Policy レベル）でも同様に発生することを発見し、情報処理パイプラインにおける一般的な法則性を示しました。

5. 意義と今後の展望

学術的・実用的意義

Physical AI のスケーリング戦略の転換: 単にモデルサイズやデータ量を増やすだけでなく、パイプライン内の**「どこにボトルネックがあるか」**を特定し、それを解消する必要があることを示しました。
エンコーダ設計への示唆: 既存の視覚エンコーダ（SigLIP など）は意味的理解に特化しており、ロボットの操作に必要な「接触幾何学」や「空間的ダイナミクス」の情報まで十分に捉えきれていない可能性が示唆されました。物理相互作用に特化したエンコーダの開発が次の課題となります。

今後の方向性

適応的コードブック: 固定容量の制約を緩和する適応的なコードブックや、離散的な推論と連続的なアクションデコーディングを組み合わせたハイブリッドアーキテクチャの検討。
ボトルネックの特定: 観測エンコーディング、アクション表現、モジュール間の通信など、パイプライン内のあらゆる損失圧縮段階におけるボトルネックの特定と解消。

結論

この論文は、VLA モデルの性能向上において「離散トークン化」が潜在的なスケーリングの壁となり得ることを情報理論的に証明しました。Physical AI をさらにスケールさせるためには、離散化による情報損失を回避し、エンコーダの能力を最大限に活用できる連続的なアプローチ、あるいはボトルネックを動的に解消するアーキテクチャの重要性を浮き彫りにしています。