💬 NLP

RAGOCR: Optical Compression of Retrieval-Augmented Text via Visual Representation

RAGOCR 是一种新颖的框架，它通过一种动态分辨率机制将检索到的文档压缩为查询条件的视觉表示，在实现比标准 RAG 高出 15% 以上准确率的同时，减少了 87.5% 的输入 Token，并超越了现有的硬压缩和软压缩基准。

原作者： Jiayang Yu, Jialun Zhong, Lei Zou

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayang Yu, Jialun Zhong, Lei Zou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图解开一个巨大的谜团，但交给你的不是单一的线索，而是一整个图书馆的书籍。你需要找到那句包含答案的话，但逐字阅读每一本书太慢了，而且你的大脑会感到疲劳。这就是现代被称为“大语言模型”（LLMs）的“智能”计算机程序每天面临的挣扎。这些程序就像才华横溢的侦探，能够写故事、回答问题并解决问题，但在阅读方面却有着很短的注意力。如果你一次性给它们太多的文本，它们就会变得不知所措，并开始遗漏重要的细节。

为了帮助这些侦探，科学家们使用了一种叫做“检索增强生成”（Rval-Augmented Generation，简称 RAG）的小技巧。把 RAG 想象成一位超高效的图书管理员。当你提出问题时，图书管理员会迅速从书架上抓取最相关的书籍并递给侦探。但问题在于，即使有了图书管理员的帮助，那一堆书仍然可能太重了。侦探可能会掉落书籍，或者更糟的是，在中间页面迷失方向，以至于忘记了开头和结尾。科学家们曾尝试通过总结内容或删减无聊的词汇来缩小这些书的体积，但这就像试图折叠一张不断撕裂或丢失关键地标的地图一样。

现在，想象一种携带信息的新方式。与其尝试缩小文字，不如将整页文本变成一张微小的照片，如何？最近的发现表明，计算机可以将一页文本视为图像，并利用远少于逐字阅读的“Token”（计算机思考的单位）来理解它。这就像读一封长信与瞥一眼那封信的照片之间的区别；照片将同样的信息压缩进了更小的空间。但这里有一个新问题：如果你把每一本书都变成照片，你仍然会有太多的照片要看，而且其中一些是垃圾。真正的挑战在于，如何弄清楚哪些照片应该保持大而清晰，哪些应该被挤压成微小的、模糊的缩略图，而不丢失那些秘密线索。

这正是论文《RAGOCR》所解决的问题。来自北京大学的研究人员提出了一个聪明的系统，它将检索到的文本文档转化为图像，然后使用一种智能“压缩器”，根据你的具体问题来调整它们的大小。

以下是他们的魔法是如何运作的：首先，系统获取图书管理员找到的所有文本文档，并将它们转化为图像，就像为每一页拍张照一样。然后，一个特殊的 AI 压缩器会观察你的问题以及所有这些图像。它就像一位知道你究竟需要什么的明智编辑。如果一份文档与你的问题高度相关，压缩器会保持其高分辨率，让每一个微小的细节都清晰可见。但如果一份文档只有轻微的相关性或完全无关，压缩器就会进行激进的压缩，使其变成一个极小的、低分辨率的点，占用极少的空间。

论文指出，这种“查询感知”（query-aware）的方法是一个游戏规则的改变者。通过使用一种称为“群体相对策略优化”（Group Relative Policy Optimization, GRPO）的训练方法，该系统学会了完美地平衡图像的大小。在测试中，这种方法使计算机回答医学问题的准确率提升了超过 15%，同时仅使用了通常所需“思考空间”（Token）的八分之一。这就像把一整个图书馆的知识装进了一个背包里。

有趣的是，论文还发现了一个令人惊讶的副作用：压缩器决定如何缩小图像的方式，实际上告诉了我们哪些文档是最重要的。系统通过决定如何缩小它们，自然而然地学会了为最好的文档给出高分。这意味着，这个用于缩小文本的工具本身也可以作为一个过滤器，用来挑选最好的书籍，从而可能取代其他复杂的排序工具。

研究人员在五个不同的医学问题集上进行了测试，其中包括需要深度推理的棘手考试。他们发现，无论文档是纯文本、复杂的医学指南，还是混合了图片和文字的幻灯片，RAGOCR 都能始终如一地击败其他方法。他们证明了，仅仅将文本转化为图像是有帮助的，但将其转化为“智能调整大小”的图像则更有帮助。论文认为，这种方法架起了“硬”压缩（删减词汇）与“软”压缩（总结内容）之间的桥梁，提供了一种既能保留最关键细节又能丢弃噪音的方法。

简而言之，RAGOCR 表明我们不必在“阅读一切”和“什么都不读”之间做出选择。相反，我们可以给我们的 AI 侦探一张视觉地图，其中重要的道路宽阔且清晰，而死胡同则是微小且模糊的点。这使得他们能够更快、更准确地解决谜团，证明了有时，“眼见”确实能“为实”——而且“眼见”也是一种“思考”。

技术摘要：RAGOCR

问题陈述

检索增强生成（RAG）已成为知识密集型问答任务中不可或缺的技术，然而扩展 RAG 流水线面临着一个关键瓶颈：处理冗长检索上下文所带来的高昂计算成本。随着检索文档数量的增加，大语言模型（LLM）难以关注到埋藏在长输入中的关键信息，从而导致生成质量下降。

现有的压缩方法面临着根本性的权衡：

硬压缩（Hard Compression）： 以查询感知（query-aware）方式在线运行的方法（例如：Token 剪枝、句子提取）仅能实现适度的压缩率，且通常需要对生成模型进行微调。
软压缩（Soft Compression）： 实现更高压缩率的方法（例如：基于嵌入的方法）依赖于昂贵的离线编码，而这种编码与输入查询完全无关。

此外，近期的研究表明，视觉 Token 比文本 Token 携带更高的信息密度。然而，在没有查询感知策略的情况下将视觉渲染应用于 RAG 会引入一个新的挑战：检索到的文档在相关性上存在巨大差异。在所有渲染图像上应用统一的分辨率会导致两种极端情况：要么在相关性较低的段落上浪费大量的 Token 开销，要么在高度相关的段型上造成灾难性的信息丢失。目前缺乏一种查询感知分配策略（query-aware allocation strategy），能够根据每个文档与查询之间的语义相关性，动态地分配视觉分辨率。

方法论：RAGOCR

作者提出了 RAGOCR（通过光学字符渲染进行检索增强生成），这是一个将检索到的文档压缩为受输入查询约束的紧凑视觉表示的框架。该流水线分为三个阶段运行：

1. 渲染阶段（Rendering Stage）

检索到的文本文档通过文本栅格化转换为图像。这通过将一维 Token 序列转化为二维视觉表示，从而提升了信息密度。渲染过程是确定性的，并由字体大小、最大画布宽度和填充（padding）进行参数化。这些图像可以进行离线预计算，从而在推理时引入极低的开销。

2. 光学压缩阶段（Optical Compression Stage，核心创新点）

一个**查询感知压缩器（query-aware compressor）**会对所有渲染图像及其与输入查询的关系进行联合审查，并预测每个图像的压缩因子。

机制： 该压缩器是一个轻量级的视觉语言模型（具体为 Qwen3-VL-2B），使用**群体相对策略优化（GRPO）**进行训练。
自适应分配： 该策略学习为对应高度相关文档的图像分配较低的压缩率（即更高的分辨率）以保留细粒度细节，同时对相关性较低的图像进行激进的降采样。
训练目标： GRPO 的奖励函数由三个项组成：
1. 任务奖励 ( $r_{task}$ )：基于下游生成器是否能利用压缩后的图像产生正确答案的二元奖励。
2. 压缩奖励 ( $r_{comp}$ )：鼓励激进的压缩（最大化 log 压缩因子的总和），但仅在任务奖励为正时激活，以防止模型为了压缩而牺牲准确性。
3. 格式奖励 ( $r_{format}$ )：确保模型输出符合压缩因子要求的有效结构化模板。

3. 推理阶段（Inference Stage）

在推理时，压缩器通过单次前向传播处理查询和所有渲染图像，生成压缩因子。每个图像按 $1/\sqrt{c_i}$ 的比例进行缩放（其中 $c_i$ 是压缩因子），从而按比例减少视觉 Token 数量。随后，压缩后的图像集被输入到视觉语言生成器中以产生最终答案。

涌现的重排序能力（Emergent Reranking Capability）

一个关键发现是，压缩器学习到的压缩比可以作为一种出人意料的有效代理，用于衡量段落的相关性。由于压缩器会为更相关的段落分配较低的压缩率，因此压缩因子的倒数 ( $1/c_i$ ) 自然地编码了相关性排名。这使得压缩器无需任何额外的训练目标或模块，即可充当重排序器（reranker）。

核心贡献

RAGOCR 框架： 一种结合了光学渲染与动态、查询感知分辨率分配的新颖系统，用于压缩基于文本的 RAG，平衡了 Token 效率与回答质量。
经 GRPO 训练的压缩器： 开发了一种通过 GRPO 训练的轻量级压缩器，能够根据查询相关性自适应地分配压缩率，避免了对生成模型进行单独微调的需求。
统一压缩与重排序： 发现光学压缩与相关性估计是同一枚硬币的两面。压缩器本身就编码了段落相关性，使其能够超越专门的重排序模型（如 Qwen3-Reranker-4B），并作为一个统一的压缩-重排序系统运行。
泛化性： 证明了该方法适用于多种知识来源，包括自由文本段落、知识图谱以及具有丰富视觉元素的图像文档（如幻灯片演示文稿）。

实验结果

实验在五个知识密集型问答基准测试（MedQA, MedMCQA, PubMedQA, BioASQ, MMLU-Med）上进行，使用了 MedOmniKB 检索语料库。

性能对比原生 RAG： RAGOCR 在准确率上超过原生 RAG 超过 15%（平均 61.47% vs. 44.63%），同时仅需 八分之一 的输入 Token（约减少 87% 的 Token 数量）。
基准测试对比： 在不同检索深度下，RAGOCR 始终优于硬压缩方法（LongLLMLingua, Provence, EXIT, FaviComp）和软压缩方法（OSCAR）。
- 它在准确率上比表现最好的文本压缩基准（Provence）高出近 3 个百分点，且使用的 Token 更少。
- 当作为独立重排序器使用时，它优于专门的重排序器（Qwen3-Reranker-4B）（59.15% vs. 54.52%）。
多模态评估： 在 SlideVQA 基准测试（20 页幻灯片）中，RAGOCR 在 Exact Match（精确匹配）、F1-score 和 ANLS 指标上均取得了最佳性能，展示了其处理文本与视觉元素交织文档的能力。
消融实验：
- 统一 vs. 自适应： 静态 OCR 压缩（统一分辨率）的表现逊于全分辨率的 Visual RAG，证实了查询感知自适应的重要性。
- 流水线集成： 将 RAGOCR 与基于文本的重排序器（R&R）结合使用时获得了最高准确率（63.60%），表明文本重排序与光学压缩捕捉到了文档效用的互补方面。

意义与主张

论文声称 RAGOCR 弥合了视觉 Token 的高信息密度与 RAG 中对查询感知上下文管理需求之间的鸿沟。通过将文本渲染为图像并进行自适应压缩，该框架使模型能够在固定的上下文窗口内吸收更多知识，或以显著减少的 Token 传输相同的信息。

至关重要的是，作者强调了压缩与排序的统一。单个模型可以同时压缩内容并根据相关性对其进行排序，这一事实表明了一种新的范式，即“光学压缩与相关性估计是同一枚硬币的两面”。这指向了一个未来：检索增强系统可以使用单个轻量级模型来处理检索过滤、上下文压缩和相关性估计，从而显著降低当前 RAG 流水线的计算开销。