CONE: Embeddings for Complex Numerical Data Preserving Unit and Variable Semantics

本文提出了名为 CONE 的混合 Transformer 预训练模型，通过一种新颖的复合嵌入构建算法，将数值、范围、高斯分布及其单位和属性名称整合为保留距离的嵌入向量，从而在多个领域的大规模数据集上显著提升了模型的数值推理能力。

要点

这篇论文介绍了一个名为 CONE 的新模型，它的核心任务是解决人工智能（AI）在理解数字时的“笨拙”问题。

为了让你更容易理解，我们可以把现在的 AI 大模型（比如 BERT）想象成一个博学的图书管理员，而 CONE 则是给这位管理员配备的一套超级精密的“数字翻译眼镜”。

以下是用通俗语言和比喻对这篇论文的解读：

1. 痛点：AI 为什么看不懂数字？

想象一下，你问图书管理员：“5 公斤的苹果和5 公里的距离，哪个更重？”

• 普通 AI 的反应：它看着"5"这个数字，觉得两个"5"长得一模一样，所以它可能会困惑，甚至错误地认为它们是一样的。因为它把数字仅仅当成了普通的“单词”（就像把"apple"和"book"看作两个词一样）。
• 现实问题：在人类眼中，数字不仅仅是符号，它们有大小（magnitude）、单位（unit，如公斤、公里）和属性（attribute，如重量、距离）。
  • 如果 AI 分不清"15 岁”和"15 个月”，或者分不清"50 美元”和"50 公斤”，它在处理医疗报告、财务报表或科学数据时就会闹大笑话。
  • 现有的模型就像是用“盲人摸象”的方式处理数字：它们把"28,600"切分成"28"和"600"，完全破坏了数字原本的含义。

2. 解决方案：CONE 的“三合一”超级眼镜

CONE 模型提出了一种全新的方法，它不再把数字当作普通的文字，而是给每个数字穿上了一套定制的“三件套”制服：

1. 数字本身（Value）：比如"50"。
2. 单位（Unit）：比如“岁”、“公斤”或“毫升”。
3. 属性（Attribute）：比如“年龄”、“体重”或“药量”。

比喻：
想象你在玩一个乐高积木游戏。

• 旧模型：把所有积木（文字和数字）都扔进一个桶里，不管你是红色的"50"还是蓝色的"50"，它们混在一起，分不清谁是谁。
• CONE 模型：它给每个积木都贴上了三个标签。
  • 对于"50 岁”，它贴上：[数字：50] + [单位：岁] + [属性：年龄]。
  • 对于"50 公斤”，它贴上：[数字：50] + [单位：公斤] + [属性：体重]。
  • 这样，即使数字都是"50"，AI 也能一眼看出它们是完全不同的两个概念，绝不会混淆。

3. 处理复杂情况：区间和波动

现实世界的数据不仅仅是单个数字，还有：

• 区间（Ranges）：比如“年龄 18-25 岁”。
• 波动值（Gaussians）：比如“身高 175±2 厘米”（表示平均值和误差范围）。

CONE 就像是一个高级的数学翻译官，它能把"18-25"这种区间拆解成“中心点”和“跨度”，把"175±2"拆解成“平均值”和“波动值”，然后分别给它们穿上“三件套”制服。这样，AI 就能理解"18-25 岁”和"18-20 岁”虽然都是区间，但大小和位置是不同的。

4. 实验效果：AI 变聪明了多少？

研究人员在大量的真实数据（如医疗记录、政府统计、金融数据）上测试了 CONE：

• 数学推理能力：在著名的 DROP 测试（专门考 AI 做数学题的考试）中，CONE 的得分达到了 87.28%，比之前的最先进模型（SOTA）提高了近 10%。这就像是一个原本考 78 分的学生，突然考到了 88 分，而且是在做应用题。
• 找对数据的能力：如果你让 AI 在几万张表格里找“和‘年龄’最相似的列”，旧模型可能会把“随访时间（Follow-up）”误认为是“年龄”，因为它们数字分布很像。但 CONE 能精准地识别出它们本质不同（一个是年龄，一个是时间），准确率提升了 25%。

5. 总结：为什么这很重要？

这篇论文的核心贡献在于，它让 AI 从**“死记硬背数字”进化到了“理解数字背后的意义”**。

• 以前：AI 看到"100"，只知道这是一个词。
• 现在（CONE）：AI 看到"100"，能结合上下文知道这是"100 毫克（药量）”还是"100 公里（距离）”，甚至能理解"100±5"这种带有误差的数据。

这就好比给 AI 装上了一双透视眼，让它不仅能看到数字的“外壳”，还能看到数字的“灵魂”（单位和属性）。这对于医疗诊断、金融分析、科学研究等需要精准处理数据的领域来说，是一个巨大的进步。

一句话总结：CONE 让 AI 终于学会了像人类一样，不仅认识数字，还能分清"5 块钱”和"5 斤肉”的区别，不再被数字的表面迷惑。

技术摘要

论文技术总结：CONE——保留单位和变量语义的复杂数值数据嵌入

1. 研究背景与问题 (Problem)

大型语言模型（LLMs）和预训练语言模型（LMs）在捕捉自然语言语义和上下文关系方面表现卓越，但在处理数值数据和结构化数据时存在显著缺陷。主要问题包括：

• 数值语义丢失：现有的模型（如 BERT、BioBERT）通常将数字视为普通文本词元（token）。由于分词策略（如子词分词），数字（如 "28,600"）可能被错误地分割（如 "28" 和 "-600"），导致原始数值语义被扭曲。
• 缺乏单位和属性感知：在结构化数据（如表格）中，数值必须结合其属性（Attribute，如“年龄”、“剂量”）和单位（Unit，如“年”、"mg"）才有意义。例如，"50" 在“年龄”列和“体重”列中代表完全不同的概念。现有模型往往无法区分数值相同但语义不同的属性（例如，无法区分“年龄：50 岁”和“随访时间：50 个月”），导致向量空间中语义差异巨大的向量距离过近。
• 复杂数值形式处理不足：现有模型难以有效编码数值范围（Ranges，如 "1-5 年"）和高斯分布（Gaussians，如 "1302±0.25 nm"），这些形式在科学和医学数据中非常普遍，但传统嵌入方法无法保留其统计特性（如中心值、跨度、标准差）。
• 测量理论差异被忽视：文字通常是标称的（Nominal），而数值遵循区间或比率尺度（Interval/Ratio scales），具有距离、顺序和比例性。现有嵌入缺乏对这些数学性质的编码。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 CONE (Embeddings for Complex Numerical Data Preserving Unit and Variable Semantics)，一种混合 Transformer 编码器预训练模型。其核心方法论包括：

2.1 复合嵌入结构 (Composite Embedding Structure)

CONE 不再将数值视为单一词元，而是构建一个复合嵌入向量，显式地拼接（Concatenate）以下三个组件的嵌入：

1. 属性嵌入 (Attribute)：列名或变量名（如 "Blood Loss"）。
2. 数值嵌入 (Value)：
   • 标量：直接编码数值大小。
   • 范围 (Range)：将范围 $[a, b]$ 分解为中心值 $(a+b)/2$ 和长度 $|b-a|$ 进行正交编码。
   • 高斯分布 (Gaussian)：将 $mean \pm SD$ 分解为 $mean-SD$、$mean$、$mean+SD$ 三个部分进行编码。
3. 单位嵌入 (Unit)：编码物理单位（如 "mL", "kg/m²"）。

这种结构确保了即使数值相同（如都是 "5"），如果属性或单位不同（如 "5 mg" vs "5 kg"），其最终嵌入向量也是截然不同的。

2.2 数值感知编码器与融合机制

• 基础架构：基于 BioBERT 进行微调，但修改了数值处理逻辑。
• 数值分词：强制将每个数字作为一个完整的 Token 处理，避免子词分割破坏数值完整性。
• 数值融合 (Numerical Fusion)：
  • 提取输入序列中的数值 Token。
  • 利用 DICE (Deterministic Independent-of-Corpus Embeddings) 生成数值本身的幅度嵌入 ($M_N$)。
  • 获取上下文编码器的输出嵌入 ($M_E$)。
  • 通过元素级求和 ($M_E + M_N$) 融合上下文语义与数值幅度，并输入到一个轻量级的 Transformer 块中进行数值特定的推理，生成上下文感知的数值表示 ($M_O$)。

2.3 训练目标

采用掩码数值预测 (Masked Numeral Prediction) 任务进行预训练：

• 随机掩盖输入中的数值 Token。
• 模型需预测被掩盖数值的幅度（回归任务）和类别（分类任务）。
• 损失函数结合了幅度回归损失（对数尺度上的均方误差）和分类交叉熵损失，迫使模型学习数值的真实数学属性。

2.4 序列化策略

为了处理表格数据，定义了特定的序列化方式：

• 列级：[CLS] 属性名 [SEP] 值 1 [SEP] 值 2 ... [SEP]
• 行级 (元组)：[CLS] 属性 1 值 1 [SEP] 属性 2 值 2 ... [SEP]
  这种序列化方式让模型能同时看到属性名称和对应的数值/单位。

2.5 降维与标准化

由于复合嵌入会导致维度随组件数量增加，CONE 使用基于自编码器 (Autoencoder) 的投影层，将变长的组件拼接向量投影回固定维度（如 768），并通过掩码重建损失进行训练，以保留各组件的独立贡献。

3. 主要贡献 (Key Contributions)

1. 新颖的复合嵌入结构：提出了一种将数值、单位和属性名称联合编码的机制，解决了数值多义性（Polysemy）问题，确保不同上下文下的相同数值被正确区分。
2. 专用数值形式嵌入：设计了专门针对数值范围和高斯分布的嵌入算法，通过分解中心值和跨度/标准差，保留了这些复杂统计形式的语义。
3. 算法创新：提出了两个核心算法：
   • 用于预计算嵌入分量的算法（Algorithm 1）。
   • 用于构建完整复合嵌入向量的算法（Algorithm 2），包含自动填充和掩码处理。
4. 广泛的实验验证：在多个大规模数据集（医疗、金融、政府、Web）和下游任务上进行了严格评估，证明了其在数值推理和结构化数据检索方面的优越性。

4. 实验结果 (Results)

4.1 数值推理能力 (Numerical Reasoning)

在 DROP 数据集（需要离散数值推理的阅读问答基准）上的表现：

• F1 分数：CONE 达到 87.28%。
• 提升：相比最先进基线（SOTA），F1 分数提升了 9.37%（相比 NC-BERT），并略微超越了 AeNER。
• 召回率：在 Recall@10 指标上，相比主要 SOTA 模型提升了高达 25%。

4.2 数值属性保持 (Distance Preservation)

• 标量：CONE 嵌入空间中的距离与数值绝对差的相关性极高（Pearson $r=0.989$），而 BioBERT 仅为 0.067。
• 范围：在范围中心值和长度的欧氏距离上，CONE 的相关性达到 $r=0.997$。
• 高斯分布：CONE 能较好地捕捉 2-Wasserstein 距离，相关性为 $r=0.689$，显著优于基线。
• 区分度：在区分语义不同但数值分布相似的列（如“年龄”与“随访时间”）时，CONE 将它们的余弦相似度从 BioBERT 的 0.9998 降低到 0.82，成功实现了语义分离。

4.3 下游任务表现

• 列匹配 (Column Matching) 与 元组匹配 (Tuple Matching)：
  • 在 CancerKG, CovidKG, WebTables, CIUS, SAUS 等 5 个大规模数据集上，CONE 在 Recall@10, MAP@10, MRR@10 指标上全面超越 TAPAS, NumNet, NC-BERT, Magneto 以及通用检索模型（如 BGE-M3, Qwen3）。
  • 在 WebTables 数据集上，Recall@10 提升了 25%。
• 模式匹配 (Schema Matching)：在 6 个标准数据集上，CONE 的召回率（Recall）与或优于所有基线，且无需像 Magneto 那样依赖 LLM 重排序，更具成本效益。

4.4 消融实验

移除任何组件（数值模块、复合结构、单位组件、范围/高斯编码）均导致性能显著下降，证明了各组件的必要性。特别是移除数值模块（CONE1）导致 Recall 下降约 10%。

5. 意义与影响 (Significance)

• 填补了数值语义编码的空白：CONE 首次系统性地解决了预训练模型在处理带有单位和属性的复杂数值数据时的语义丢失问题，特别是针对科学和医学领域常见的范围和分布数据。
• 提升结构化数据检索与匹配：通过精确编码数值语义，CONE 极大地提高了数据库列匹配、表格检索和模式匹配任务的准确性，对于数据集成、知识图谱构建和医疗数据分析具有实际应用价值。
• 通用性与可扩展性：该方法不依赖于特定的下游任务架构，可以作为一种通用的数值感知嵌入层集成到各种 Transformer 模型中，为未来的数值推理任务提供了新的范式。
• 理论贡献：验证了将测量理论（标量、区间、比率）和上下文（属性、单位）显式融入嵌入空间的有效性，为理解语言模型中的数值能力提供了新的视角。

综上所述，CONE 通过创新的复合嵌入设计和数值感知训练目标，显著提升了大模型对复杂数值数据的理解、推理和检索能力，是目前该领域最先进的方法之一。