🤖 AI

Visual Text Compression as Measure Transport

本論文は、精度とカバレッジのコストを通じてタスク関連情報の損失を定量化する視覚テキスト圧縮のための測度輸送フレームワークを導入し、ラベルなしルーティング機構と適応的焦点戦略を可能にすることで、トークン使用量を削減しつつ下流タスクのパフォーマンスを大幅に向上させる。

原著者： Lv Tang, Tianyi Zheng, Yang Liu, Bo Li, Xingyu Li

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lv Tang, Tianyi Zheng, Yang Liu, Bo Li, Xingyu Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

膨大な数のテキスト文書のライブラリを持っていると想像してください。あなたはそれらを素早く読みたいと考えていますが、あなたの脳（AI モデル）は、すべての単語を一字一句読み上げようとすると疲れてしまいます。

**視覚的テキスト圧縮（VTC）**は、巧妙な手口です。単語を読む代わりに、ページを写真に撮り、AI に画像として見せます。AI はその画像を見て「読み取ります」。これは、AI が数千もの小さな文字ではなく、いくつかの大きな塊（ピクセル）としてページ全体を見るため、はるかに高速です。これは、すべての家の住所を読む代わりに、都市の地図を見るようなものです。

しかし、この論文の著者たちはある問題を発見しました：この手口は、時には驚くほどうまく機能しますが、時には AI を愚かにしてしまうのです。

良い点: 一部のタスク（長い文書から特定の事実を見つけるなど）では、「写真方式」はテキストを読むのと同じくらい賢く、かつ高速です。
悪い点: 他のタスク（論理パズルを解くことや特定の数字を確認することなど）では、写真方式は惨めに失敗します。テキストを画像に押し込めることで輪郭がぼやけるため、AI は小さな詳細を見逃してしまいます。

大きな疑問はこれです：いつ写真を使い、いつテキストを読むべきか、どうすればわかるのでしょうか？

核となるアイデア：情報の「輸送」

著者たちは、**測度輸送（Measure Transport）**という概念を用いて、この問題を考える新しい方法を考案しました。

テキストを砂の山だと考えてください。砂粒一つ一つが単語です。

テキスト経路: 砂を砂車に一粒ずつ載せて運ぶ方法です。遅いですが、砂粒を失うことはありません。
視覚経路: 砂をバケツに注いで運ぶ方法です。はるかに速いですが、砂がこぼれ落ち、粒が混ざり合ってしまいます。

この論文は、「こぼれ落ち」はランダムに起こるのではなく、2 つの特定の方法で起こると主張しています。

「平滑化」によるこぼれ（精度コスト）: 砂をバケツに注ぐと、粒同士の微小な違いが平滑化されてしまいます。「2023」と「2024」を区別する必要があるタスクの場合、バケツ方式はそれらを曖昧に混同してしまう可能性があります。
「散乱」によるこぼれ（網羅性コスト）: 重要な砂が床全体に広がっている場合、それをバケツに注ぐと、手がかりが遠くまで散らばりすぎて、パズルを解くためにそれらを再結合できなくなることがあります。

解決策：「スマートな信号機」

著者たちは、AI のためのスマートな信号機として機能するシステムを構築しました。AI がテキストを読んだり写真を見たりする前に、このシステムは「輸送効率スコア」を計算します。

問題の答えを事前に知る必要なく、このシステムは 2 つの簡単な問いを投げかけます。

このタスクにはどの程度の詳細が必要か？（微小な詳細が必要な場合は、写真を使わないでください）。
情報はどの程度散らばっているか？（手がかりが至る所に散らばっている場合は、写真を使わないでください）。

このスコアに基づいて、システムは以下のように決定します。

青信号（写真）: 「タスクは単純であるか、レイアウトが有益である。高速な写真方式を使おう。」
赤信号（テキスト）: 「このタスクは写真には難しすぎる。テキストを注意深く読もう。」

「中心窩化」のトリック：拡大鏡

システムが写真を使うと決定しても、画像の一部（契約書の小さな数字など）がぼやけていることに気づくことがあります。

諦めるのではなく、システムはデジタル拡大鏡（foveation と呼ばれます）を使用します。それは、そのぼやけた重要な部分のみにズームインし、高解像度で再キャプチャして画像に追加します。これは、地図を見て、ぼやけた通り名を見つけ、その通りだけをズームインしてはっきりと読むようなもので、地図全体を再度ズームインする必要はありません。

彼らが発見したこと

彼らは、質問に答える、ニュースを要約する、事実を確認するなど、24 種類の異なる言語タスクでこれをテストしました。

結果: 彼らの「スマートな信号機」は、約 71% の確率で正解しました。いつ写真に切り替え、いつテキストに固執すべきかを正確に知っていました。
メリット: この切り替えを使用することで、AI はタスクのパフォーマンスが向上（スコア向上）し、常にテキストだけを読む場合に比べてリソース（計算能力と時間）を 10% 削減しました。

まとめ

この論文は単に「写真の方が速い」と言っているのではありません。それは、**「写真は速いが、いつ使うべきかを知っている場合に限る」**と言っているのです。

彼らは、情報の特定の「形状」に基づいて、AI を最も速い経路（テキストまたは画像）へ誘導する、交通整理をするような数学的なルールを考案しました。これにより、AI は時間を節約するために重要な詳細を失うことがなくなります。

技術的概要：測度輸送としての視覚的テキスト圧縮

問題定義

視覚的テキスト圧縮（VTC）は、テキストを画像としてレンダリングし、ビジョン・ランゲージモデル（VLM）を介して再エンコードすることで、長文脈処理の戦略として登場した。このアプローチは、サブワードトークン化に比べて大幅なトークン圧縮（3〜20 倍のトークン削減）を達成することが多い。しかし、実証結果は、トークン削減量が下流タスクの有用性を予測するものではないことを示している。あるタスク（例：多段推論 QA）では、視覚経路がテキストのみの大規模言語モデル（LLM）を上回るが、他のタスク（例：論理的推論、クローズスタイルの QA）では性能が崩壊する。既存のベンチマークはこれらの不安定性を記録しているが、視覚的エンコーディングがタスク関連情報を保持する「時」と、それを破棄する「時」を予測するための原理的な尺度は欠けている。中心的な問題は、圧縮率が単なる効率統計であり、情報損失の予測子ではない点にある。

手法

著者らは、VTC を測度輸送の言語の中で定式化する。彼らはテキストトークンと視覚トークンを経験確率測度として扱う。レンダリングおよびエンコーディングパイプラインは、ビジョン・トランスフォーマー（ViT）のパッチエンコーダによって誘発されるプッシュフォワード写像（ $T\#$ ）としてモデル化される。この写像は、局所的なテキスト単位を粗い視覚トークン支持に変換し、下流の推論が行われる幾何学構造を変化させる。

1. 輸送コストの分解

本論文は、プッシュフォワード写像がタスク関連の情報損失を誘発し、それが 2 つの明確なコストに分解されると主張する。

精度コスト（ $\Delta_{intra}$ ）: パッチ内集約に起因する。ViT は、微細な語彙的区別（例：「2023」と「2024」）を単一のパッチ埋め込みへ統合し、正確な語彙忠実度を必要とするタスクを損なう。
カバレッジコスト（ $\Delta_{inter}$ ）: パッチ間断片化に起因する。異なるパッチやページに分散した証拠は、テキストのネイティブな 1 次元位置構造ではなく、2 次元空間的アテンションを介して再構成されなければならず、長距離の証拠統合を弱体化させる。

2. 下流ラベルフリー代理指標（ $C(x)$ ）

推論中に下流ラベルを必要とせずにこの理論を実用化するため、著者らは代理コスト関数 $C(x)$ を導出した。
$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$

$W(x)$ （精度特徴量）: タスクの回答形式（例：抽出型 vs 分類型）に基づき、トークンレベルの区別に対する感度を測定する。データラベルではなくタスク仕様から推定される。
$L(x)$ （カバレッジ特徴量）: 入力全体にわたるタスク関連証拠の分散を測定し、質問とテキストセグメント間の BM25 関連性スコアを介して推定される。
$TRR(x)$（テキスト冗長率）: 断片化損失を緩和する冗長情報を割引くため、gzip 圧縮率を介して推定される。
$\alpha, \beta$ : 合成された下流ラベルフリープローブを介して推定される、モデル固有のスカラー。

3. 輸送効率（TE）とルーティング

著者らは、情報生存と圧縮利益のバランスを取るための**輸送効率（TE）**スコアを定義する。
$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$

$VCR(x)$: 視覚圧縮率（テキストトークン数 / 視覚トークン数）。
$\gamma$ : テーブルのように、レンダリングが 2 次元レイアウトを保持し、平坦なトークン系列では表現できない入力に対する構造化フォーマットボーナス。
ルーティング則: $TE(x) \ge \tau$ （ $\tau$ は固定閾値）の場合、視覚経路を選択し、そうでない場合はテキスト経路を使用する。この決定は下流ラベルを参照することなく行われる。

4. 輸送に基づくフォーエーション

視覚経路にルーティングされた入力に対して、フレームワークは高コスト領域を局所的に修復するためにフォーエーションを適用する。パッチレベルのコスト $C_q$ を計算し、高コストパッチをより高解像度で選択的に再エンコードする。これは、回復された情報がトークンオーバーヘッドを上回る場合にのみトリガーされる、プッシュフォワード写像の局所的な逆写像として機能する。

主要な貢献

タスク依存的不安定性の分析: VTC の性能が NLP ベンチマーク間で非常に不均一であり、圧縮率だけでは有用性を予測できないことを実証。
測度輸送定式化: ViT ベースの視覚的エンコーディングをプッシュフォワード写像として再構成し、観測された不安定性を説明する分解された輸送コスト（精度とカバレッジ）を導出。
ラベルフリールーティングとフォーエーション: 同じコストモデルから導出された、完全な下流ラベルフリーの決定基準（$TE(x)$）とパッチレベルの洗練メカニズム（フォーエーション）を開発。
実証的検証: Qwen3-4B バックボーンを使用して 24 の NLP データセットでフレームワークを検証。ラベルフリー則が 70.8% のデータセットでデータセットごとのオラクル（正解）と一致し、純粋な LLM ベースラインに対するマクロ平均スコアを向上させつつ、トークン使用量を削減することを示した。

結果

Qwen3-4B を使用して、理解、推論、生成にわたる 24 の NLP ベンチマークで評価。

ルーティング性能: ラベルフリーのルーティング則は、24 のデータセットのうち**17 件（70.8%）**で最適な経路（テキスト対視覚）を正しく選択し、真実を知っている教師ありオラクルの性能と一致した。
性能向上: ルーティング戦略は、純粋な LLM ベースラインと比較して、マクロ平均スコアで**+1.5 ポイント**（相対的に +3.3%）の増加を達成した。
効率性: ルーティング戦略は、純粋な LLM ベースラインよりも平均入力トークンを10.3% 削減した。
フォーエーション: 局所的なフォーエーションは、視覚経路のスコアを平均して**+0.4 ポイント**向上させ、その利益は特定の高コスト領域が重要な証拠を担うタスク（例：多段推論 QA）に集中していた。
クロススケールおよびクロスアーキテクチャ: 定性的なパターンは、4B、8B、32B のスケール全体で維持された。InternVL3.5 によるクロスアーキテクチャ検証は、タスク依存の視覚対テキストのギャップが特定のモデルファミリーのアーティファクトではなく、輸送プロセスの構造的性質であることを確認した。

意義と主張

本論文は、VTC 性能の矛盾が、圧縮率のみではなく不均一な輸送コストに起因すると主張する。視覚エンコーダをプッシュフォワード写像としてモデル化することで、著者らは以下の情報損失の構造的説明を提供する。

説明力: 失敗モードを精度（パッチ内）とカバレッジ（パッチ間）コストに分解する。
実用性: 同じ基盤コストパラメータを共有する、実用的なラベルフリーのルーティング則と洗練メカニズム（フォーエーション）を導き出す。
診断力: 視覚的圧縮が信頼できる時と、回避または修復すべき時を特定する。

著者らは明示的に、個々のベンチマークにおける最先端の結果や、すべての VTC シナリオに対する普遍的な解決策を主張するものではないと述べている。代わりに、貢献は「どれだけトークンが節約されたか」から「どのタスク関連情報が失われたか」へと焦点を移す輸送に基づく診断フレームワークであり、視覚的テキスト圧縮における将来の研究のための原理的な出発点を提供するものである。このフレームワークは、すべてのテキストベース処理の代替手段というよりも、VTC のトレードオフを診断し管理するためのツールとして提示されている。