Texo: Formula Recognition within 20M Parameters

本文提出了名为 Texo 的轻量级公式识别模型，其参数量仅为 2000 万，通过精心设计与知识蒸馏，在大幅缩减模型体积的同时实现了与顶尖模型相当的性能，从而支持在消费级硬件及浏览器中实时部署。

要点

这篇论文介绍了一个名为 Texo 的新模型，它的核心使命非常明确：用极小的“身材”，干出大模型的“活”。

想象一下，现在的数学公式识别（比如把一张写满公式的照片变成电脑能读懂的代码）就像是在解一道超级复杂的谜题。以前的“解题高手”（大模型）虽然聪明，但个个都是体重几百公斤的相扑选手，需要巨大的服务器（超级电脑）才能跑动，普通人根本用不起，也跑不动。

而 Texo 呢？它就像是一个体重只有 20 公斤的体操运动员。它只有 2000 万个参数（相当于只有大模型几十分之一的“脑细胞”），却能在普通电脑甚至手机浏览器上，像闪电一样快速、准确地认出复杂的数学公式。

以下是这篇论文的“大白话”解读：

1. 为什么要造 Texo？（痛点）

• 大模型太“重”了：目前的顶尖模型（比如 UniMERNet 或 PPFormulaNet）虽然厉害，但体积巨大（几亿到几十亿参数）。这就好比你想在自家客厅（普通电脑）里开一场演唱会，却请来了一个需要整个体育馆才能容纳的交响乐团，根本施展不开。
• 效率太低：大模型跑起来慢，而且需要昂贵的显卡。
• 需求很大：无论是学生做笔记、老师备课，还是给 AI 大模型“喂”数据，都需要把纸质或图片里的公式快速变成电脑代码（LaTeX）。

2. Texo 是怎么做到“小而美”的？（核心魔法）

作者没有盲目地堆砌硬件，而是用了三个聪明的“瘦身”技巧：

🧠 技巧一：换了一个更聪明的“字典”（词汇蒸馏）

• 以前的做法：大模型为了懂各种语言，背了一本像《牛津高阶词典》那么厚的字典（5 万个词）。但数学公式其实很“洁癖”，它需要的词其实很少，大部分日常词汇（比如“的”、“了”、“但是”）在数学里根本用不上。
• Texo 的做法：作者把字典里那些没用的词全删了，只留下了数学专用的 687 个核心词汇。
• 比喻：就像你要去学做川菜，不需要背下整本《世界百科全书》，只需要背下“麻、辣、鲜、香”和几种核心调料就够了。字典小了，模型要记忆的“负担”就瞬间减轻了 90% 以上。

🧩 技巧二：重新设计了“拼图规则”（Tokenizer 优化）

• 以前的做法：通用的分词工具（BPE）像是一个不懂数学的切菜工。它可能会把数学符号 \leftarrow（左箭头）硬生生切成 \left 和 arrow 两块。这就像把“苹果”切成了“苹”和“果”，不仅切碎了意思，还让模型需要拼凑更长的句子，效率低下。
• Texo 的做法：作者根据数学规则，定制了一个专门的切菜工。它知道 \leftarrow 是一个完整的词，绝不乱切。
• 比喻：以前是让你把“红烧肉”三个字拆开成“红”、“烧”、“肉”去理解，现在直接给你一盘完整的“红烧肉”。这样模型理解得更快，出错更少。

🏗️ 技巧三：站在巨人的肩膀上“微整形”（知识迁移）

• Texo 不是从零开始学的，它直接继承了另一个优秀模型（PPFormulaNet-S）的“大脑结构”和“肌肉记忆”。
• 作者只是把它的“字典”换成了精简版，并重新训练了一下，让它适应新的规则。这就像给一个成年运动员换了一套更轻便的跑鞋，而不是重新培养一个婴儿。

3. 效果怎么样？（成绩单）

• 体重：从 5800 万参数（PPFormulaNet-S）和 1.07 亿参数（UniMERNet-T）直接降到了 2000 万。
• 速度：比之前的模型快了 7 倍（相比 UniMERNet-T）。
• 准确度：虽然变小了，但准确率不仅没掉，反而在某些复杂的公式识别上，比原来的“老大哥”还要准！
  • 原因：因为字典精简了，模型不再被那些没用的词干扰，注意力更集中了。

4. 你能怎么用？（落地应用）

作者不仅发了论文，还做了一个网页版应用（可以在浏览器直接打开）：

• 无需安装：不需要你懂代码，不需要配置复杂的软件环境。
• 隐私安全：所有的计算都在你的浏览器里完成，图片不会上传到服务器，你的隐私绝对安全。
• 免费快速：就像用计算器一样简单，拍张照，瞬间变代码。

总结

这篇论文告诉我们：在人工智能领域，不一定非要“越大越好”。

通过精心的设计（像给模型做了一次精准的“减肥手术”），我们可以用极少的资源，在普通的设备上实现顶尖的性能。Texo 就像是一个身轻如燕的武林高手，证明了即使没有千军万马（海量参数），只要招式精妙（架构优化 + 知识蒸馏），一样能打赢那些笨重的庞然大物。

这对于未来的应用非常重要：意味着以后我们可以在手机、平板甚至网页上，随时随地、免费且安全地识别复杂的数学公式。

技术摘要

以下是基于论文《Texo: Formula Recognition within 20M Parameters》的详细技术总结：

1. 研究背景与问题 (Problem)

• 公式识别 (MER) 的重要性：数学表达式识别是将公式图像转换为结构化 LaTeX 代码的关键技术，广泛应用于学术写作、笔记整理以及大语言模型 (LLM) 的训练数据预处理。
• 现有模型的局限性：
  • 参数量过大：当前最先进的开源模型（如 UniMERNet 系列、PPFormulaNet 系列）参数量通常在 58M 到 325M 之间，而通用视觉语言模型（如 GOT-OCR-2.0）更是高达 560M。
  • 部署困难：巨大的模型体积导致难以在消费级硬件（个人电脑、边缘设备）上运行，更无法实现在浏览器端直接部署。
  • 效率与精度的权衡：现有的轻量化尝试往往通过减少 Transformer 层数或隐藏层维度来实现，但这可能牺牲性能。此外，通用自然语言词汇表（Vocabulary）用于公式任务时存在冗余，导致嵌入层参数浪费。

2. 方法论 (Methodology)

作者提出了 Texo，一个仅包含 2000 万 (20M) 参数的高性能公式识别模型。其核心技术路线如下：

A. 模型架构设计 (Model Design)

• 基础架构：继承自轻量级模型 PPFormulaNet-S，采用“图像编码器 + 文本解码器”的编码器 - 解码器结构。
• 图像编码器：使用 HGNetV2-B4（RT-DETR 的轻量级骨干网络），在图像分类和目标检测任务上表现优异且参数较少。
• 文本解码器：采用 2 层 MBart Transformer 解码器，隐藏层维度为 384，上下文长度为 1024。

B. 核心创新：词汇蒸馏与转移 (Vocabulary Distillation and Transfer)

这是 Texo 实现极致轻量化的关键：

1. 问题洞察：现有模型多使用为通用自然语言构建的大词汇表（约 50K），导致嵌入层（Embedding Layer）参数占比过高（在 PPFormulaNet-S 中占 38M）。此外，通用的 BPE 分词器会将具有完整语义的 LaTeX 宏（如 \leftarrow）错误切分为无意义的子词（如 \left 和 arrow），增加序列长度并破坏语义依赖。
2. 解决方案：
   • 基于规则的词汇表构建：参考开源 LaTeX 解析器 KaTeX，提取所有常用宏，构建一个领域特定的、基于规则的 Tokenizer。
   • 移除空格：在 Tokenizer 中移除无语义意义的空格，大幅缩短训练数据的序列长度。
   • 词汇蒸馏与转移：利用 [33, 34] 提出的启发式方法，将原模型（PPFormulaNet-S）的权重映射到新的小词汇表上。通过计算映射 Token 的平均嵌入向量来初始化新模型的输入/输出嵌入层。
3. 效果：词汇表大小从 50,000 缩减至 687。这使得嵌入层参数从 3800 万降至 100 万以下，最终模型总参数量仅为 20M（约为 PPFormulaNet-S 的 35%）。

C. 浏览器端部署 (In-browser Deployment)

• 将模型导出为 ONNX 格式，利用 Transformers.js 框架在浏览器前端直接运行，无需后端 API 调用。
• 使用 Web Worker 分离推理与 UI 渲染，确保用户体验流畅。
• 提供隐私保护（数据不上传服务器）和便捷性（无需配置环境），支持转换为 Typst 和 MathML。

3. 实验结果 (Results)

• 数据集：使用 UniMER 数据集（UniMER-1M 训练集，UniMER-Test 测试集），涵盖印刷体、手写体、简单及复杂表达式。
• 评估指标：采用 CDM (Character Detection Matching) 分数作为主要指标（比 BLEU 或编辑距离更鲁棒），同时评估 Token 长度和推理速度。
• 性能对比：
  • 精度：Texo (20M) 在 CDM 分数上优于其基线模型 PPFormulaNet-S (58M)，并与 SOTA 模型 UniMERNet-T (107M) 表现相当。特别是在复杂印刷体 (CPE) 和手写体 (HWE) 上表现突出。
  • 推理速度：
    • 比 UniMERNet-T 快 7 倍。
    • 虽然略慢于使用了多 token 并行预测技术的 PPFormulaNet-S，但 Texo 通过减少 Token 长度（几乎减半）显著提升了推理效率，且未牺牲精度。
  • 资源消耗：模型参数量仅为 UniMERNet-T 的 20% (80% 缩减) 和 PPFormulaNet-S 的 35% (65% 缩减)。

4. 主要贡献 (Key Contributions)

1. 提出 Texo 模型：首个在保持 SOTA 级别性能的同时，将参数量压缩至 20M 的公式识别模型，证明了在特定任务上挑战大模型的可能性。
2. 词汇蒸馏技术：通过构建领域特定的 Tokenizer 和词汇转移技术，解决了嵌入层参数冗余问题，大幅降低了模型体积。
3. 纯前端部署方案：开发了基于浏览器的 Web 应用，实现了在消费级硬件甚至本地设备上的实时、隐私安全的公式识别，降低了使用门槛。
4. 开源与教育：开源了模型权重和训练流程，为学术界和工业界提供了轻量级 MER 的参考范例。

5. 意义与影响 (Significance)

• 边缘计算与普及化：Texo 证明了无需昂贵的 GPU 集群或庞大的模型即可实现高精度的公式识别，使得在个人电脑、移动设备甚至浏览器中实时运行 MER 成为可能。
• 数据隐私：纯前端推理方案彻底消除了用户数据上传至云端服务器的风险，对于处理敏感学术文档具有重要意义。
• LLM 数据预处理：为大规模语言模型提供了高效、低成本的数学公式数据提取工具，有助于构建更高质量的科学语料库。
• 未来方向：展示了参数高效模型在特定垂直领域的潜力，未来可进一步扩展至更通用的文档 OCR 任务。

总结：Texo 通过精心的架构选择和创新的词汇蒸馏策略，成功打破了“高性能必须大参数”的刻板印象，为公式识别领域提供了一个轻量、快速、隐私且高性能的解决方案。