🤖 AI

Visual Text Compression as Measure Transport

本文提出了一种用于视觉文本压缩的测度传输框架，该框架通过精度和覆盖成本量化任务相关信息损失，从而实现无标签路由机制和自适应注视策略，在显著降低令牌使用量的同时大幅提升下游性能。

原作者： Lv Tang, Tianyi Zheng, Yang Liu, Bo Li, Xingyu Li

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Lv Tang, Tianyi Zheng, Yang Liu, Bo Li, Xingyu Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大的文本文档图书馆。你想快速阅读它们，但如果试图逐字逐句地阅读每一个单词，你的大脑（即 AI 模型）就会感到疲惫。

视觉文本压缩（VTC） 是一个巧妙的技巧：与其阅读文字，不如给页面拍张照片，并将这张图片展示给 AI。AI 看着图片并“阅读”它。这种方法要快得多，因为 AI 是将整页视为几个大块（像素）来观察，而不是去识别成千上万个微小的字母。这就像查看城市地图，而不是去阅读每一栋房子的地址。

然而，这篇论文的作者发现了一个问题：有时这个技巧效果惊人，但有时却会让 AI 变得愚蠢。

好的一面： 在某些任务中（例如在长文档中查找特定事实），“拍照法”不仅更快，而且与阅读文本一样聪明。
坏的一面： 在其他任务中（例如解决逻辑谜题或核对特定数字），“拍照法”彻底失败。AI 会遗漏微小的细节，因为将文本压缩成图片会模糊边缘。

核心问题在于：我们如何知道何时使用图片，何时阅读文本？

核心理念：“运输”信息

作者提出了一种思考这个问题的新方法，使用了一个名为**测度传输（Measure Transport）**的概念。

把文本想象成一堆沙子。每一粒沙子就是一个单词。

文本路径： 你用手推车一粒一粒地运送沙子。这很慢，但你不会丢失任何沙粒。
视觉路径： 你把沙子倒进桶里，然后提着桶走。这快得多，但一些沙子会洒出来，沙粒也会混合在一起。

论文认为，这种“洒漏”并非随机发生，而是以两种特定方式出现：

“平滑”洒漏（精度成本）： 当你把沙子倒进桶里时，沙粒之间的微小差异会被平滑掉。如果任务需要区分"2023"和"2024"，桶装法可能会将它们模糊在一起。
“散射”洒漏（覆盖成本）： 如果重要的沙子散布在整个地板上，将其倒入桶中可能会将线索散落得太远，导致你无法将它们重新拼凑起来以解决谜题。

解决方案：“智能红绿灯”

作者构建了一个系统，充当 AI 的智能红绿灯。在 AI 尝试阅读文本或查看图片之前，该系统会计算一个“传输效率分数”。

它无需预先知道问题的答案，只需提出两个简单的问题：

这项任务需要多少细节？（如果需要微小细节，就不要使用图片。）
信息分布得有多广？（如果线索分散在各处，就不要使用图片。）

根据这个分数，系统会做出决定：

绿灯（图片）： “任务足够简单，或者布局很有帮助。让我们使用快速的图片法。”
红灯（文本）： “这项任务对图片来说太棘手了。让我们仔细阅读文本。”

“注视”技巧：放大镜

有时，系统决定使用图片，但它意识到图像的某一小部分太模糊了（例如合同中的一个小数字）。

系统不会放弃，而是使用数字放大镜（称为注视，foveation）。它仅放大那个模糊且重要的部分，以高清重新捕捉它，并将其添加到图片中。这就像查看地图时，发现一个模糊的街道名称，然后仅放大那条街道以清晰阅读，而无需再次放大整张地图。

他们的发现

他们在 24 种不同类型的语言任务（如回答问题、总结新闻或核实事实）上测试了这种方法。

结果： 他们的“智能红绿灯”约有 71% 的时间判断正确。它确切地知道何时切换到图片，何时坚持使用文本。
益处： 通过使用这种切换机制，AI 的工作表现更好（分数更高），同时与一直只阅读文本相比，资源消耗减少了 10%（计算能力和时间更少）。

总结

这篇论文不仅仅说“图片更快”。它指出，“图片更快，但前提是你必须知道何时使用它们。”

他们制定了一条数学规则，充当交通指挥员，根据信息的具体“形状”，引导 AI 选择最快的路径（文本或图像），确保 AI 永远不会为了节省时间而丢失重要细节。

技术摘要：作为测度传输的视觉文本压缩

问题陈述

视觉文本压缩（VTC）已成为一种通过渲染文本为图像并利用视觉 - 语言模型（VLMs）重新编码以处理长上下文的策略。该方法通常能实现显著的 token 压缩（比子词 token 化减少 3–20 倍 token 数量）。然而，实证结果表明，token 节省量无法预测下游效用。在某些任务（如多跳问答）上，视觉路径的表现优于仅文本的大语言模型（LLMs），而在其他任务（如逻辑推理、完形填空式问答）上，性能则出现崩溃。现有基准测试记录了这些不稳定性，但缺乏一种原则性的度量来预测何时视觉编码能保留任务相关信息，以及何时会丢弃这些信息。核心问题在于，压缩率仅仅是一个效率统计量，而非信息丢失的预测指标。

方法论

作者将 VTC 表述在测度传输的语言框架内。他们将文本 token 和视觉 token 视为经验概率测度。渲染与编码流程被建模为由视觉 Transformer（ViT）块编码器诱导的推前映射（ $T\#$ ）。该映射将局部化的文本单元转化为更粗糙的视觉 token 支撑集，从而改变了下游推理发生的几何结构。

1. 传输成本的分解

论文认为，推前映射诱导了任务相关的信息丢失，该丢失可分解为两种不同的成本：

精度成本（ $\Delta_{intra}$ ）： 源于块内聚合。ViT 将细粒度的词汇区分（例如"2023"与"2024"）合并为单个块嵌入，损害了需要精确词汇保真度的任务。
覆盖成本（ $\Delta_{inter}$ ）： 源于跨块碎片化。分布在不同的块或页面中的证据必须通过 2D 空间注意力进行重组，而非文本原生的 1D 位置结构，从而削弱了长程证据的整合能力。

2. 无下游标签的代理指标（ $C(x)$ ）

为了在不依赖推理期间下游标签的情况下实现该理论，作者推导出了一个代理成本函数 $C(x)$ ：
$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$

$W(x)$ （精度特征）： 基于任务的答案格式（例如抽取式与分类式）衡量对 token 级区分的敏感性。该指标从任务规范中估算，而非数据标签。
$L(x)$ （覆盖特征）： 衡量任务相关证据在输入中的分散程度，通过问题与文本片段之间的 BM25 相关性得分进行估算。
$TRR(x)$（文本冗余率）： 通过 gzip 压缩率估算，用于扣除缓冲碎片化损失的相关冗余信息。
$\alpha, \beta$ ： 模型特定的标量，通过合成且无下游标签的探针进行估算。

3. 传输效率（TE）与路由

作者定义了一个**传输效率（TE）**分数，以在信息存活与压缩收益之间取得平衡：
$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$

$VCR(x)$： 视觉压缩率（文本 token 数 / 视觉 token 数）。
$\gamma$ ： 针对那些渲染能保留 2D 布局（例如表格）的输入的结构化格式奖励，这些布局是扁平 token 序列无法表达的。
路由规则： 如果 $TE(x) \ge \tau$ （其中 $\tau$ 为固定阈值），则选择视觉路径；否则使用文本路径。该决策在不咨询下游标签的情况下做出。

4. 传输感知的注视（Foveation）

对于被路由到视觉路径的输入，该框架应用注视机制以局部修复高成本区域。它计算块级成本 $C_q$ ，并选择性地以更高分辨率重新编码高成本块。这充当了推前映射的局部逆过程，仅在恢复的信息量超过 token 开销时触发。

主要贡献

任务依赖性不稳定性分析： 证明了 VTC 性能在 NLP 基准测试中高度非均匀，且仅凭压缩率无法预测效用。
测度传输表述： 将基于 ViT 的视觉编码重构为推前映射，推导出了分解的传输成本（精度和覆盖），解释了观察到的不稳定性。
无标签路由与注视： 开发了一个完全无下游标签的决策准则（$TE(x)$）以及一个源自同一成本模型的块级细化机制（注视）。
实证验证： 使用 Qwen3-4B 骨干网络在 24 个 NLP 数据集上验证了该框架，结果显示无标签规则在 70.8% 的数据集上与每个数据集的 oracle（已知真实情况的最优解）表现一致，并在减少 token 使用的同时，提高了相对于纯 LLM 基线的宏观平均分数。

结果

使用 Qwen3-4B 在 24 个涵盖理解、推理和生成的 NLP 基准测试上进行了评估：

路由性能： 无标签路由规则在**24 个数据集中的 17 个（70.8%）**上正确选择了最优路径（文本 vs. 视觉），其表现与知晓真实情况的监督 oracle 相当。
性能提升： 与纯 LLM 基线相比，路由策略实现了宏观平均分数**+1.5 分**的提升（相对提升 3.3%）。
效率： 路由策略使用的平均输入 token 数比纯 LLM 基线少 10.3%。
注视机制： 局部注视机制平均将视觉路径分数提高了**+0.4 分**，增益主要集中在特定高成本区域携带关键证据的任务上（例如多跳问答）。
跨规模与跨架构： 定性模式在 4B、8B 和 32B 规模下均成立。使用 InternVL3.5 进行的跨架构验证证实，任务依赖的视觉与文本差距是传输过程的结构属性，而非特定模型家族的产物。

意义与主张

论文主张，VTC 性能中的矛盾源于非均匀的传输成本，而非单纯的压缩率。通过将视觉编码器建模为推前映射，作者提供了一种关于信息丢失的结构化解释，该解释具有以下特点：

可解释性： 它将失败模式分解为精度（块内）和覆盖（跨块）成本。
可操作性： 它产生了一个实用的、无标签的路由规则和一个细化机制（注视），两者共享相同的底层成本参数。
诊断性： 它能识别何时视觉压缩是可信的，以及何时应避免或修复。

作者明确表示，他们并未声称在单个基准测试上取得最先进结果，或提供适用于所有 VTC 场景的通用解决方案。相反，其贡献是一个基于传输的诊断框架，将焦点从“节省了多少 token"转移到“丢失了哪些任务相关信息”，为视觉文本压缩的未来研究提供了一个原则性的起点。该框架被呈现为一种诊断和管理 VTC 权衡的工具，而非对所有基于文本处理的替代方案。