Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM

本文提出了 Dripper 框架，通过利用轻量级小语言模型将网页主内容提取重构为约束序列标注任务，在实现极高吞吐量的同时，凭借 WebMainBench 基准验证了其超越传统启发式方法并媲美超大模型的性能，且开源了模型权重与代码以推动高质量语料构建。

要点

这篇论文介绍了一个名为 Dripper 的新工具，它的核心任务非常明确：从杂乱无章的网页代码中，精准地“榨”出真正有价值的文章内容。

为了让你更容易理解，我们可以把整个互联网想象成一个巨大的、混乱的超级菜市场。

1. 痛点：为什么现在的提取工具不够好？

想象一下，你想买一把新鲜的西红柿（网页的主干内容），但当你走进菜市场（网页）时，发现：

• 噪音太多：到处都是叫卖声、广告横幅、卖菜的摊位装饰、甚至旁边卖鞋子的摊位（导航栏、侧边栏、广告、无关链接）。
• 传统工具太笨：以前的工具（启发式提取器）就像拿着剪刀的老裁缝。他们只会按死规矩剪：“凡是红色的布就剪掉，凡是带‘广告’字样的就扔掉”。但现在的网页设计千奇百怪，有时候西红柿就藏在红色的布下面，或者广告伪装成了西红柿。结果就是：要么把西红柿剪坏了，要么把广告当成了西红柿。
• 大模型太贵：现在的超级 AI（大语言模型）就像一位博学的老教授。他一眼就能看出哪是西红柿，哪是广告，甚至能分辨出西红柿的品种。但是，请这位教授来菜市场干活太贵了！而且，如果让他把整个菜市场（几万字的网页代码）都读一遍再慢慢挑，他可能会累晕（计算成本太高），或者因为太累而开始胡编乱造（幻觉），把不存在的西红柿也写进报告里。

2. 解决方案：Dripper 是怎么工作的？

Dripper 就像是一位训练有素的“智能分拣员”，它用了一种非常聪明的“双管齐下”策略，既快又准，还便宜。

第一步：给网页“瘦身”和“打标签” (双分支策略)

Dripper 不会直接把整个菜市场扔给分拣员看，那样太乱了。它先把网页处理成两份：

1. 简化版菜单 (Simplified HTML)：它把菜市场里所有嘈杂的装饰、多余的架子、甚至衣服上的花纹都撕掉，只留下最核心的骨架。比如，它把“西红柿”简化成“西红柿”三个字，把“广告”简化成“广告”两个字。这样，分拣员只需要看一张薄薄的清单，而不是整个菜市场。
2. 原始地图 (Mapping HTML)：同时，它保留了一份完整的、带详细坐标的原始地图。这份地图里保留了西红柿原本的颜色、形状和位置，但暂时不给人看。

第二步：小模型快速判断 (SLM 分类)

Dripper 请了一位年轻但聪明的分拣员（0.6B 参数的小模型，Dripper-0.6B）。

• 这位分拣员只看那张薄薄的“简化版菜单”。
• 他的任务很简单：对着清单上的每一个项目，打勾（这是主内容）或者打叉（这是噪音）。
• 关键点：因为清单很短，这位分拣员速度极快（每秒处理 3 页），而且因为任务被限制为“只打勾叉”，他绝对不会胡编乱造（没有幻觉）。

第三步：精准还原 (后处理)

一旦分拣员在“简化版菜单”上打好了勾叉，Dripper 就拿着这份清单，去原始地图里把对应的“西红柿”原封不动地切下来。

• 因为原始地图是完整的，所以切下来的西红柿依然保持着原本的新鲜度和形状（保留了 HTML 的格式、表格、代码块等）。
• 最后，把这些切好的西红柿拼在一起，就是一份完美的、干净的文章。

3. 为什么 Dripper 这么厉害？

• 快如闪电：因为它只让 AI 看“瘦身”后的菜单，而不是整个菜市场，所以它的速度比那些让大模型读全文的工具快了几十倍。
• 准如神眼：虽然分拣员是个“小模型”，但他经过专门的训练，专门负责“挑西红柿”。实验证明，他的准确率甚至超过了那些昂贵的“大教授”（如 GPT-5, DeepSeek 等），而且成本只有他们的零头。
• 不瞎编：因为它只做“选择题”（是/否），不做“作文题”（生成新内容），所以它绝不会把广告编成文章。
• 不仅好用，还能“教”别人：作者用 Dripper 清洗了 630 亿个单词的数据，用来训练一个新的 AI 模型。结果发现，用 Dripper 洗过的数据训练的模型，比用传统工具洗过的数据训练的模型更聪明、更懂逻辑。这证明了 Dripper 不仅是工具，更是提升 AI 智商的“营养液”。

4. 总结

Dripper 就像是一个高效的“去骨剔肉”机器。

• 以前的方法：要么像拿刀乱砍（容易伤到肉），要么像请米其林大厨亲自挑（太慢太贵）。
• Dripper 的方法：先给食材做个X 光扫描（简化版），让 AI 快速标记出哪里是骨头（噪音），哪里是肉（内容），然后精准地把肉切下来。

它的核心贡献是：

1. 开源了：大家都能免费用这个“智能分拣员”。
2. 建了个标准：发布了一个叫 WebMainBench 的“考试卷”，用来公平地测试谁能把网页洗得最干净。
3. 证明了价值：高质量的“洗菜”工作，是未来训练更强大 AI 的基础设施。

简单来说，Dripper 让从互联网上获取高质量数据这件事，变得既快、又准、又便宜。

技术摘要

1. 研究背景与问题 (Problem)

构建大规模训练语料库（如 C4）依赖于从海量网页中高效提取高质量的主内容。然而，现有的提取方法面临以下核心挑战：

• 传统启发式方法的局限性：基于规则或统计先验（如文本/标签比率）的方法（如 Trafilatura, Readability）虽然计算效率高，但难以应对现代网页的结构异质性。现代网页常将主文本与广告、导航栏等“模板内容（Boilerplate）”混合，且大量使用非语义的 <div> 标签，导致规则方法容易截断正文或保留噪声。
• 生成式大语言模型（LLM）的瓶颈：虽然预训练的大模型（如 GPT-5, DeepSeek）具备强大的语义理解能力，但直接应用于网页提取存在三大障碍：
  1. 计算成本过高：原始 HTML 通常包含大量冗余标签，导致 Token 数量巨大（Common Crawl 中 29.3% 的页面超过 32k tokens），超出高效 LLM 的上下文窗口限制。
  2. 结构信息丢失：为了减少 Token 而剥离标签会破坏区分主内容与噪声的关键结构线索。
  3. 幻觉风险：生成式模型倾向于编造内容或重复生成，这对于要求严格保真度（Fidelity）的提取任务是不可接受的。

2. 方法论 (Methodology)

Dripper 提出了一种**受约束的序列标注（Constrained Sequence Labeling）范式，将提取任务从“生成文本”重构为“分类块”，并通过双分支架构（Dual-Branch Strategy）**实现效率与保真度的解耦。

核心架构流程：

1. 预处理（Pre-processing）：双分支生成

   • 简化 HTML (Simplified HTML)：作为模型输入。通过激进的去噪（移除 <script>, <style> 等）、属性剪枝（仅保留 class 和 id）以及语义块聚合，将原始 HTML 压缩约 84.4%（从平均 44,590 tokens 降至 6,960 tokens）。该分支仅用于语义推理。
   • 映射 HTML (Mapping HTML)：作为输出重建的基础。保留完整的 DOM 结构 fidelity，仅进行基础清洗，确保最终提取的内容在结构和样式上无损。
   • 对齐机制：两个分支通过相同的分块逻辑（Block Aggregation）生成一一对应的块序列，并通过唯一的 _item_id 进行关联。

2. 提取（Extraction）：受约束的序列分类

   • 模型：使用 Dripper-0.6B（基于 Qwen3-0.6B 微调）。
   • 任务：模型接收简化后的 HTML 块序列，预测每个块的标签（main 或 other）。
   • 受约束解码（Constrained Decoding）：强制模型输出严格的 JSON 格式（如 {"1": "main", "2": "other"}）。这消除了生成式幻觉，防止重复生成，并大幅加速推理。

3. 后处理（Post-processing）：高保真重建

   • 将模型预测的标签映射回 Mapping HTML 的对应块。
   • 仅保留标记为 main 的块，重组为最终的干净 HTML 或 Markdown 输出。

3. 关键贡献 (Key Contributions)

1. 范式创新：提出利用 SLM 进行受约束序列标注的新范式，彻底消除了生成式幻觉，并在单张 A100 GPU 上实现了 3.08 页/秒 的吞吐量。
2. WebMainBench 基准：构建了包含 7,809 个高质量人工标注样本的基准数据集，覆盖 5,434 个独特域名和多种语言。该基准引入了难度分级（简单/中等/困难）和丰富的元数据（表格、代码、公式等），是目前最严格的评估标准。
3. 基础设施价值验证：使用 Dripper 清洗了 630 亿 Token 的语料库，并预训练了一个 1B 参数模型。实验证明，使用 Dripper 提取的数据训练的模型，在下游任务（知识、推理、阅读理解）上显著优于使用传统工具（如 Trafilatura）提取数据训练的模型，甚至超越了部分公开的高质量数据集（如 RefinedWeb, FineWeb）。
4. 开源生态：开源了 Dripper-0.6B 模型权重、完整代码库及 WebMainBench 数据集。

4. 实验结果 (Results)

在 WebMainBench 上的评估显示：

• 精度表现：
  • Dripper-0.6B 的 F1 得分为 0.8779。
  • 显著优于传统启发式工具：Trafilatura (0.6402), magic-html (0.7138)。
  • 接近甚至媲美巨型商业模型：DeepSeek-V3.2 (0.9098), GPT-5 (0.9024), Gemini-2.5-Pro (0.8979)。
  • 在“困难”难度和“对话/论坛”类内容上表现尤为突出，F1 达到 0.83+，远超启发式方法。
• 效率对比：
  • 相比直接输入原始 HTML 生成 Markdown 的基线，Dripper 将输入 Token 减少了 84.4%，输出 Token 减少了 82.9%。
  • 计算成本（FLOPs）降低了 95.6%（约 22.6 倍）。
• 下游预训练影响：
  • 基于 Dripper 数据训练的 1B 模型，在 13 个基准测试中的平均准确率达到 50.82%，比 Trafilatura 基线高出 1.08%，且优于 FineWeb (49.61%) 和 RefinedWeb (49.13%)。

5. 意义与总结 (Significance)

Dripper 解决了大规模网页数据清洗中的“不可能三角”（效率、精度、成本）：

• 对于数据工程：它提供了一种低成本、高吞吐且无幻觉的提取方案，使得在大规模语料构建中应用 SLM 成为可能，无需依赖昂贵的巨型 LLM。
• 对于模型训练：论文通过实证表明，提取质量直接决定了预训练模型的上限。高质量的、结构完整的主内容提取（保留表格、代码等结构信息）比单纯的文本过滤更能提升模型的知识掌握和推理能力。
• 技术启示：通过“简化输入推理 + 原始结构重建”的双分支设计，以及“受约束解码”技术，成功将复杂的生成任务转化为高效的分类任务，为未来轻量级模型处理复杂结构化数据提供了新的设计思路。

简而言之，Dripper 证明了不需要巨大的模型也能实现顶级的网页提取效果，关键在于任务范式的重构和高质量数据的构建。