🤖 AI

Toten: Knowledge-Based Ontological Tokenization Of Physical Quantities And Technical Notation In Brazilian Portuguese

本文介绍了 TOTEN，一种面向巴西葡萄牙语的基于知识的本体分词框架，该框架通过采用声明式的、由本体驱动的方法来取代统计衍生的子词，从而保护物理量和技术符号的语义与结构完整性，并证明了其在单位原子性和数值重构方面优于现有最先进基准方法的性能。

原作者： Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一台计算机阅读一本用巴西葡萄牙语编写的复杂工程手册。这本手册充满了精确的测量值，例如“5.2 kN/m²”（千牛每平方米）或“1.5 × 10⁻³ m”。

问题所在：“像素化”的翻译员
大多数现代 AI 模型使用一种叫做**字节对编码（Byte-Pair Encoding, BPE）**的方法来阅读文本。你可以把这想象成一个只能通过破碎的片段进行交流的翻译员。为了节省空间，这个分词器会将单词根据在普通书籍中出现的频率切分成任意的碎片。

如果文本中写着“5.2 kN/m²”，标准的 BPE 分词器可能会将其切分为：5、.、2、k、N、/、m、²。
对于计算机来说，“5.2 kN/m²”并不是一个单一的概念；它只是一堆由八个独立碎片组成的随机集合。计算机稍后必须通过猜测才能将它们重新组合起来，以理解这是一个特定的物理量。这就像是通过观察字母的单个像素点来理解句子，而不是看字母本身。

解决方案：TOTEN（“聪明的图书管理员”）
作者创建了一个名为 TOTEN 的新系统。TOTEN 不再根据统计学方法来猜测如何切分单词，而是像一位拥有严格、正式规则手册（即“本体论/Ontology”）的知识型图书管理员一样，清楚地知道工程术语究竟是什么。

以下是 TOTEN 的工作原理，使用了简单的类比：

规则手册（本体论）： 在阅读任何单词之前，TOTEN 已经拥有一本预先编写好的工程规则字典。它知道“kN”是力的单位，“m²”是面积，而“5.2”是一个数字。它不是在猜测，而是铭记定义。
三位专家助手（神谕/Oracles）： TOTEN 并不试图死记硬背每一个可能的拼写错误或符号。相反，它会向三位值得信赖的专家寻求帮助：
- Pint： 单位计量专家（确切知道什么是“千瓦”）。
- Unicode 数据库： 符号与字体专家（知道上标“2”代表平方，而不只是一个数字）。
- RSLP： 葡萄牙语语法专家（知道在技术语境下“potências”意为“幂/次方”）。
分类过程： 当 TOTEN 看到文本“5.2 kN/m²”时，它不会将其切碎。它会查看自己的规则手册和专家，然后判定：“啊，这整个部分是一个被称为‘物理量’的单一原子块。” 它将整个短语封装在一个带有标签的单一标签内，从而保留了精确的含义。

结果：为什么这很重要
作者使用包含 800 个工程案例和四个其他现实世界葡萄牙语文本集的基准测试，将 TOTEN 与其他八种顶尖系统（包括标准的“像素化”翻译器和其他找数工具）进行了对比。

原子性（保持完整性）： TOTEN 在将物理量保持为单一、 unbroken 单位方面表现完美。其他系统经常将其拆散。
重构（重新组合）： 当计算机稍后需要提取实际的数字和单位时，TOTEN 能在 78% 到 90% 的情况下正确完成。而表现最好的竞争系统也仅能达到 63% 到 70%。
准确性： 这种差异不仅仅是稍微好一点；它具有统计学上的显著性。TOTEN 不仅仅是在猜测；它利用其规则手册一致地得到了正确答案。

核心结论
TOTEN 证明了对于技术性和科学性文本，你不需要依赖“统计学猜测”（这种方法虽然适用于日常对话，但在工程领域会失效）。相反，你可以使用一种结构化的、基于规则的方法，将技术术语视为完整的、有意义的对象。

该论文声称，这种方法使计算机能够完全按照工程师的本意来“观察”数字和单位的结构，而不会将其分解为令人困惑的字符碎片。这是一个专门设计的工具，旨在让巴西葡萄牙语的技术文本对机器而言是可读的，确保“5.2 kN/m²”被视为一个连贯的整体概念，而非一堆杂乱无章的字符。

技术摘要：TOTEN —— 针对巴西葡萄牙语物理量的知识驱动本体分词技术

1. 问题陈述

当前主导大语言模型（LLM）预处理的统计分词算法（如字节对编码 BPE、WordPiece、SentencePiece）是针对词表压缩而非语义保存进行优化的。当应用于巴西葡萄牙语（PT-BR）的技术文本时，这些方法会将语义原子实体（如物理量、特定区域的数字、复合维度单位和符号表达式）破碎成任意的子词序列。这种破碎化迫使下游模型必须在事后重建原始语义结构，而经验研究表明，这一过程会降低数值推理和算术准确性。此外，现有的针对英语的定量提取工具无法充分建模巴西葡萄牙语特有的技术词汇和规范标识符（如 NBR、ABNT），而通用的命名实体识别（NER）模型则忽略了技术科学类别的存在。

2. 方法论

本文提出了 TOTEN（类型化本体分词，Typed Ontological Tokenization），这是一个通过基于形式化本体的声明式分类来取代统计推导的框架。

2.1 形式化

TOTEN 被形式化为三元组 $\langle O, \text{classify}, \{inst_\tau\} \rangle$ ：

$O$ （工程实体本体 - OEE）： 一个形式化本体，包含一组基本类型（ $T$ ）、结构原则（ $P$ ）、组合关系（ $R$ ）和不变性（ $I$ ）。类型包括物理量、技术标识符、形式算子和层级引用。该本体受八条公理（如内在性、中介组合、类别错误）约束，确保类型由其内在属性而非语料库频率定义。
$\text{classify}$ ： 一个将原始文本 ( $\Sigma^*$ ) 映射到类型化区域集合 $R_\Sigma$ 的函数，用于识别文本跨度并根据本体为其分配类型。
$\{inst_\tau\}$ ： 一个索引化的实例化器族，将分类后的区域映射到结构化输出语言 $M$ 。该层负责格式化数据而不重新决定类型，遵循“单一权威”原则。

2.2 架构与外部预言机（Oracles）

该框架将 OEE 与三个整合的外部预言机耦合，以确保鲁棒性且无需手动枚举：

Pint： 提供度量单位和 SI 前缀的维度权威。
Unicode 字符数据库 (UCD)： 通过字符属性而非逐字符枚举来处理排版标记（上标、下标、数学算子）。
RSLP： 一种标准的葡萄牙语形态算法，用于将屈折形式还原为词干，有助于消除单字母单位的歧义（例如，区分“temperatura”中的“K”与“Kelvin”中的“K”）。

2.3 输出语言

输出是一个由标签交织在未分类剩余文本中的结构化序列。每个标签包含一个类型标识符和属性（如 value、unit、dim、locale）。至关重要的是，系统保留了类型化区域之外的源文本字面形式，确保数值表示（区域、分隔符、科学计数法）对于下游处理保持完整。

3. 核心贡献

本文确定了三个主要的科学贡献：

(C1) 本体分词的形式化： 将分词定义为三元组 $\langle O, \text{classify}, \{inst_\tau\} \rangle$ ，它是独立于实现的且可通过可验证属性进行评估，这将其从统计子词分词中进行了类别上的区分。
(C2) OEE 本体： 一个由内在属性定义的工程实体形式化本体，具有八个结构公理和声明的组合关系，遵循“对扩展开放，对修改封闭”的原则，旨在实现可扩展性。
(C3) 内在评估协议： 一种基于四个可通过构造验证的属性进行的计算低成本评估：
1. 本体原子性（Ontological Atomicity）： 实体作为单个、不可分割的标签被发射，并具有正确的类型。
2. 维度等价性（Dimensional Equivalence）： 等效物理量的维度向量相匹配。
3. 排版鲁棒性（Typographic Robustness）： 语义等价的记法变体接收到相同的类型。
4. 数值重建（Numerical Reconstruction）： 以高保真度程序化提取数值和单位的能力。

4. 实验结果

评估使用了内部生成的经过物理验证的基准测试集 (EngQuant, $N=800$ ) 以及四个外部 PT-BR 语料库（MMMLU PT_BR, BLUEX, ENEM Maritaca, Alvorada-Bench；总计 $N=1,771$ 个合格案例）。TOTEN 与八个先进系统进行了对比，包括统计分词器（BPE 变体）、专门的提取器（Quantulum3, CQE, GLiNER）、维度库（Pint, udunits-2）以及通用 NER（spaCy）。

本体原子性： TOTEN 在内部基准测试中实现了 1.000 的单位原子性，显著优于表现最好的基准（Quantulum3 为 0.297）和统计分词器（约 0.48）。
数值重建：
- 内部基准： TOTEN 得分为 0.780，显著高于表现最好的基准 CQE (0.340) 和 Quantulum3 (0.220)。
- 外部语料库： TOTEN 在所有四个外部数据集上均保持领先地位，得分在 0.775 至 0.904 之间。相比之下，表现最好的基准（Quantulum3）范围在 0.627 至 0.703 之间。
- 通过经 Holm 校正的 McNemar 检验确认了统计显著性 ( $p < 0.001$ )。
维度等价性： TOTEN 实现了 0.968 的条件准确率，与 Pint 预言机 (0.985) 表现出统计一致性，证实了该系统在不产生失真的情况下继承了维度权威。
排版鲁棒性： TOTEN 取得了 0.326（全局）和 0.325（局部作用域）的成绩，优于那些在遇到未预见的记法变体时会破碎实体的系统。
消融实验： 移除 Pint 预言机会导致召回率和维度准确率大幅下降，证实了其作为维度权威的作用。移除 UCD 或 RSLP 对特定的工程基准测试影响微乎其微，验证了它们在处理排版和形态歧义方面的针对性效用。
并发效度： 内部与外部语料库排名之间强烈的 Spearman 秩相关 ( $\rho \geq 0.856$ ) 证实了 EngQuant 基准测试是现实世界表现的忠实代理。

5. 重要性与主张

本文声称，通过保留技术实体的语义结构，TOTEN 在面对消费级模型之前提供了一种范畴优势。不同于依赖分布属性的统计方法，TOTEN 在语义上致力于由 OEE 定义的领域概念化。

主要主张包括：

恢复内在属性： 该框架恢复了纯统计流水线会系统性丢失的属性（数值结构、区域、维度向量）。
神经符号兼容性： TOTEN 将自身定位为一个与神经符号架构兼容的符号预处理层，能够生成可被统计模型和符号智能体共同消费的领域语义承诺表示。
范围限定： 作者明确指出，这种表示形式对消费模型性能（例如提高算术准确性）的下游影响超出了本研究的范围，并留作未来工作。其评估是严格内在的，侧重于输入表示本身的质量。
局限性： 系统不会主动规范化排版降级的记法（而是保留字面形式），并且由于构造原因，对无量纲单位的覆盖范围有限，以避免与葡萄牙语单词发生词汇冲突。

总之，本文证明了基于知识的本体分词方法可以在巴西葡萄牙语技术文本中实现本体原子性和数值重建的显著提升，为需要高语义保真度的领域提供了一种稳健的替代方案，以应对统计压缩方法的局限。