🤖 machine learning

Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization

本文认为，神经网络中的分布外泛化能力依赖于通过特征工程和结构承诺引入的“可识别性偏差”，这种偏差仅凭分布内数据即可解决数据生成过程不可识别的问题，从而在所选表征准确捕捉底层因果结构时实现成功的外推。

原作者： Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《你的神经网络能外推吗？》的解释。

核心理念：“地图与疆域”问题

想象你是一位导游，试图教机器人如何在一座城市中导航。你只向机器人展示了你居住的街区（训练数据）。然后，你要求机器人预测一个它从未去过的、完全不同的城区（分布外或OOD区域）是什么样子的。

这篇论文认为，除非在机器人开始学习之前给它提供正确的“地图”，否则神经网络极不擅长猜测未知。

如果你只是向机器人展示原始的街道名称，它可能会猜测新区看起来像一座巨大、平滑的山丘，因为这是它能根据你所在街区画出的最简单形状。但如果新区实际上是一片山脉，机器人将会彻底失败。

然而，如果你给机器人一张突出显示地形形状的地图（如地形图），即使它从未去过那里，也能完美地推断出新区的情况。

核心问题：“无限猜测游戏”

作者证明了一个数学事实：仅凭单一窗口内的数据，你无法预知未来。

想象两个关于世界如何运作的不同故事：

故事 A：世界是一座平滑、无尽的山丘。
故事 B：世界是一片波浪起伏的海洋，突然变成锯齿状的悬崖。

如果你只观察一小块土地（你的训练数据），这两个故事看起来可能完全一样。山丘和波浪在那一小块区域里看起来一模一样。因为它们在“这里”看起来相同，机器人就无法分辨哪个故事是真的。它必须选择一个，如果选错了，当它撞上悬崖时就会崩溃。

论文将这种现象称为观测等价性。如果没有额外的帮助，仅凭数据本身无法告诉机器人哪个故事是真实的。

解决方案：“结构承诺”

那么，我们如何解决这个问题呢？论文指出，我们需要做出结构承诺。这是一种委婉的说法，意思是：“我们将强制机器人假设世界具有某种特定的形状。”

这种承诺包含三个部分：

特征映射（ $\phi$ ）：我们如何将原始数据翻译成一种新语言（例如，将“时间”转换为“正弦波”）。
标签映射（ $\psi$ ）：我们如何将答案进行转换（例如，将“人口”转换为“对数”）。
模型类别（ $M$ ）：机器人使用的大脑类型（例如，简单的线性计算器 vs. 复杂的深度思考者）。

神奇类比：圆环技巧
论文使用了一个经典例子：预测正弦波（ $\sin(x)$ ）。

错误的方法：如果你向机器人输入原始数字（ $x$ ），它会认为世界是一条直线或多项式曲线。当它试图预测未来时，它会无限地向上或向下延伸。它会失败。
正确的方法：如果你向机器人输入一个“傅里叶映射”（将 $x$ $x$ 转换为一对坐标： $\sin(x)$ $sin (x)$ 和 $\cos(x)$ $cos (x)$ ），你实际上是在告诉机器人：“世界是一个圆。”
- 在这种新语言中，训练数据和未来数据都只是同一个圆上的点。
- 预测未来不再是“猜测未知”，而仅仅是连接圆上的点（插值）。
- 机器人将完美成功。

实验结果

作者在三个截然不同的现实场景中测试了这一想法，结果始终一致：正确的地图获胜，错误的地图失败。

化学（质量作用动力学）：
- 任务：预测化学物质如何混合。
- 结果：如果使用原始数字，预测在训练区域之外会变得失控。如果使用“双线性映射”（一种组合化学数字的特定方式），机器人就能完美预测未来。
物理（开普勒定律）：
- 任务：根据行星距离预测其绕恒星公转所需的时间。
- 结果：如果向机器人输入原始距离和质量，它无法预测远处的行星。如果你告诉它使用对数（一种特定的数学变换），它就能立即学会引力定律，并完美预测新行星。
生物学（DNA 检测）：
- 任务：识别不同物种（如酵母与细菌）中的编码 DNA。
- 结果：标准 AI 模型在观察新物种时失败了。但当研究人员加入“生物特征”（例如统计 DNA 每 3 个字母停止或重复的频率）时，该模型在所有物种中都有效，包括它从未见过的物种。

“基础模型”的转折

论文还考察了巨大的预训练 AI 模型（如 TimesFM 或 TabPFN）。这些模型已经学习了很多，无法重新训练。

发现：即使这些聪明的模型，如果输入错误的“语言”，也会失败。
修正：如果你仅仅改变输入格式（例如，不给模型原始数字，而是给出数字的“对数”），这个冻结的模型突然就会成为外推天才。你没有改变大脑，只是改变了它佩戴的眼镜。

成功的三条规则

论文总结道，要让神经网络进行外推（预测未知），必须同时满足三件事：

正确的地图：你必须将数据转换为与世界真实形状相匹配的格式（例如，波浪用圆环，增长用对数）。
正确的大脑：模型必须具备理解该形状的能力（例如，如果地图正确，线性模型就能处理圆环；如果试图将简单直线复杂化，复杂的深度网络可能会失败）。
足够的覆盖：你需要训练窗口中有足够的数据点来“铺满”地图。如果地图是一个圆，你需要看到足够多的圆部分，才能知道它是一个圆，而不仅仅是一条直线。

核心结论

特征工程并未消亡。

许多人认为“大数据”和“巨型模型”意味着我们不再需要手动设计特征或转换数据。这篇论文说：不。

深度学习在填补你已有数据内部的空白方面令人惊叹。但要猜测数据之外会发生什么，你必须明确地告诉模型世界是什么样子的。你必须提供“结构承诺”。如果你不提供，模型就只是在猜测，而且很可能会猜错。

简而言之：你不能只通过向机器人展示你所在街道的照片，就教会它导航一座新城市。你必须给它一张能解释城市几何结构的地图。

技术摘要：作为分布外泛化可识别性偏差的特征工程

1. 问题陈述

深度神经网络在训练数据支撑范围内的插值表现卓越，但在分布外（OOD）外推中却经常失败。虽然万能近似定理保证了插值能力，但数学上可保证的外推仍是一个未解之谜。

本工作指出的核心问题是观测等价性。在任何有限的训练窗口 $W$ 上，无限多个数据生成过程（DGPs）可以是 $\epsilon$ -观测等价的（即在容差 $\epsilon$ 内不可区分），但在 $W$ 之外却可以任意发散。因此，仅凭任何分布内准则（如训练损失、交叉验证或在 $W$ 上的保留损失）都无法可靠地将真实的潜在过程与这些混淆假设区分开来。本文认为，仅凭数据无法使 OOD 外推可识别；表示和模型类的选择构成了消除这种歧义的“结构性承诺”。

2. 方法论与理论框架

2.1 数据生成过程承诺 $(\phi, \psi, M)$

作者将学习过程形式化为涉及三个组件的联合承诺：

特征映射 ( $\phi$ )： 将输入 $x$ 变换到表示空间 $Z_x$ 。
标签映射 ( $\psi$ )： 将目标 $y$ 变换到 $Z_y$ 。
模型类 ( $M$ )： 在变换后的空间上运行的假设类。

本文提出，三元组 $(\phi, \psi, M)$ 决定了所假设的数据生成过程。如果该承诺与真实的数据生成过程一致，使得目标在变换后的空间中变得线性可表达（或具有其他简单形式），那么 OOD 外推就转化为插值。

2.2 观测等价性与可识别性

命题 1 确立了经验风险最小化（ERM）对观测等价过程是盲视的。对于任何有限窗口 $W$ 和噪声水平 $\sigma$ ，如果两个过程 $P_1$ 和 $P_2$ 在容差 $\epsilon$ 内于 $W$ 上一致，那么当 $\epsilon\sqrt{n} \ll \sigma$ 时，任何基于 $W$ 的测试都无法可靠地区分它们。这意味着标准的选择准则（如交叉验证）无法打破在训练集上观测等价的竞争数据生成过程之间的平局。

命题 2 提出了一种打破这种平局的启发式方法：近边界数据。如果两个过程在训练窗口之外以速率 $r$ 发散，那么紧邻训练边界、宽度为 $\delta \ge \epsilon/r$ 的验证段将离开一致区域。在此近边界段上对候选模型进行评分，可以选择正确的结构性承诺。

2.3 构造性存在

本文证明，如果真实的数据生成过程在变换后在模型类 $M$ 中是可实现的（即 $g^* \circ \phi = f$ 对所有 $X$ 成立，而不仅仅是对 $W$ ），且模型可从有限样本中识别，那么 OOD 误差将消失（ $\epsilon_{OOD} = 0$ ）。这一点在以下情况中得到展示：

正弦函数： 使用傅里叶坐标 $\phi(x) = (\sin x, \cos x)$ 将周期性外推转化为在圆 $S^1$ 上的插值。
幂律： 使用对数 - 对数变换。
指数函数： 使用对数 -y 变换。

3. 主要贡献

观测等价性的形式化： 本文提供了任何分布内测试区分观测等价过程能力的理论下界，证明了若无结构性承诺，OOD 风险是不可识别的。
数据生成过程承诺框架： 它确定了 $(\phi, \psi, M)$ 是建模者可用于解决 OOD 歧义的唯一结构性信息来源。它论证了“特征工程”并非对深度学习成功的背离，而是对必要结构性承诺的显式注入。
最小对的控制实验： 作者隔离变量以表明，具有相同架构和相同分布内（ID）损失的模型，仅基于特征映射 $\phi$ 的不同，其 OOD 性能可能相差数个数量级（例如 $\sim520\times$ ）。
跨领域验证： 该机制在三个自然科学领域得到验证：
- 化学： 质量作用动力学（MAK），其中双线性特征使动力学线性化。
- 物理： 用于系外行星预测的开普勒第三定律，其中对数变换恢复了物理指数。
- 生物学： 跨物种编码 DNA 检测，其中遗传密码不变的特征在不同 GC 含量的生物体间实现了零样本迁移。
从业者 artifacts：
- 近边界验证： 一种优于交叉验证的选择启发式方法，用于选择特征映射。
- $\delta_{OOD}$ 诊断： 一种基于 SINDy（非线性动力学稀疏识别）的指标，将 OOD 数据上稀疏拟合的残差与特征映射的正确性相关联。
- 架构不变性检查： 一项研究表明，OOD 保证属于特征映射（例如精确傅里叶位置编码），而非骨干网络（Transformer、Mamba 或 S4D）。

4. 实验结果

4.1 玩具实验（Sin(x) 和幂律）

Sin(x)： 在原始 $x$ 上训练的 MLP 外推为一条平滑的渐近曲线，具有高 OOD 误差（ $\sim156\%$ ）。而在傅里叶特征 $(\sin x, \cos x)$ 上训练的相同 MLP 实现了接近零的 OOD 误差（ $\sim0.3\%$ ）。基础模型（TimesFM、TabPFN）表现出相同的行为：当输入格式隐式提供正确的特征映射时它们能成功，否则则失败。
幂律与指数： 在 $x^2$ 和 $e^{\alpha(x-1)}$ 在 $[1, 2]$ 上观测等价的设定中，只有正确的对数变换特征映射结合线性模型（OLS）才能实现低 OOD 误差。错误的承诺（例如在指数目标上使用对数 - 对数变换）会导致灾难性失败（ $>9,999\%$ 误差）。

4.2 自然科学领域

化学（MAK）： 双线性特征允许 OLS 以 $0.0\%$ 的 OOD 误差恢复精确的控制方程，而原始 MLP 则失败（ $24.4\%$ ）。
物理（开普勒）： 使用 $(\log a, \log M_{star})$ 结合 OLS 以 $3.8\%$ 的 OOD 误差恢复了物理定律。原始 MLP 过拟合了 ID 数据（ $6.9\%$ ）但在 OOD 上失败（ $79.0\%$ ）。
生物学（CDS）： 标准位置编码（学习的 APE、正弦）无法在不同 GC 含量的物种间泛化（降至随机水平）。编码密码子周期性和氨基酸组成的特征映射实现了零样本迁移，AUROC 高达 $0.96$。

4.3 架构不变性（Transformer、Mamba、S4D）

在周期性序列任务中，精确傅里叶位置编码在所有三种架构和各种周期长度下均实现了接近零的 OOD 误差（ $\le 0.2\%$ ）。相比之下，标准正弦、RoPE 和学习的 positional encodings 均失败（ $>90\%$ 误差）。这证实了 OOD 保证是特征映射的属性，而非架构的属性。

4.4 局限性与必要条件

使用周期性 $d$ -环面基准，本文确定了 OOD 泛化的三个联合必要条件：

表示对齐： 特征映射必须与数据生成过程对齐。
模型类容量： 模型必须能够在变换后的空间中表达目标的交互阶数。
覆盖度： 训练数据必须充分覆盖相关的表示空间（关键覆盖度 $M_{crit} \approx 4$ ）。
研究表明，即使特征映射正确，如果模型类缺乏容量或样本覆盖度不足，仍会发生 OOD 失败。

5. 意义与主张

本文声称解决了神经网络外推失败的“何时”与“为何”。它论证道：

OOD 风险在单个窗口上的数据中是不可识别的；结构性承诺 $(\phi, \psi, M)$ 是解决这一问题的唯一机制。
特征工程并未过时。 虽然深度学习可以在分布内学习特征，但外推需要显式的结构性承诺。
预训练并未解决问题。 预训练模型通过其输入格式继承了承诺问题；仅当用户提供正确的变换时，它们才能成功。
正确的特征是必要但不充分的。 模型类必须能够表达目标，且数据必须覆盖表示空间。

作者得出结论，"拉什莫恩集"（即在训练数据上一致但在分布外不一致的模型集合）并非仅靠数据就能导航，而是取决于建模者对结构性承诺的选择。本文将特征工程重新定义为显式注入使外推可识别所需的 DGP 承诺。