📊 statistics

Learning to Extrapolate to New Tasks: A Relational Approach to Task Extrapolation

本文介绍了关系任务外推器（RTE），这是一种算法，它通过学习已知锚定任务与目标任务之间的关系变换，实现了对未见任务的系统性泛化，从而在涉及超范围参数、深度增加或新颖组合的功能与序列预测场景中优于现有方法。

原作者： Adam Ousherovitch, Yixin Wang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Adam Ousherovitch, Yixin Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一台机器人向目标发射炮弹。

问题：“安全区”陷阱
目前，大多数 AI 模型就像那些只为考试而死记硬背特定题目的学生。如果你问它们一个以前见过的、或者非常相似的问题，它们能得 A。但如果你问它们一个略有不同的问题——比如让它们射击一个比它们练习过的任何目标都远 10% 的目标——它们往往会彻底失败。

即使是当今最聪明的 AI（比如那些写代码或与你聊天的模型）也受困于此。它们擅长“插值”（填补已知知识之间的空白），却不擅长“外推”（猜测训练边界之外会发生什么）。它们依赖的是死记硬背的模式，而非理解世界运作的底层规则。

解决方案：“关系任务外推器”（RTE）
这篇论文的作者提出了一种训练 AI 的新方法，称为RTE。RTE 不是试图死记硬背每一个可能的目标，而是教导 AI 理解任务之间是如何相互转化的。

可以这样理解：

旧方法（归纳式）： AI 试图死记硬背以 30 英里/小时、40 英里/小时和 50 英里/小时发射炮弹的确切轨迹。当被要求以 65 英里/小时发射时，它会惊慌失措，因为它没有该速度的数据。
新方法（RTE/关系式）： AI 学习速度之间的关系。它意识到：“如果我将速度增加 10 英里/小时，炮弹就会飞远 20%。”
- 在测试时，当被要求击中 65 英里/小时的目标时，AI 不会凭空猜测。相反，它会说：“好的，我知道如何击中 60 英里/小时的目标（这是我的锚点）。我也知道将 60 英里/小时的射击转化为 65 英里/小时射击的变换（规则）。我将把这一规则应用到我关于 60 英里/小时的知识上，从而解决 65 英里/小时的问题。”

工作原理：“锚点与偏移”策略
论文将这一机制分解为三个主要场景，并使用了简单的类比：

参数外推（改变设置）：
- 类比： 假设你知道如何用 1 杯糖烤蛋糕。你想用 1.5 杯糖烤一个。
- RTE 方法： AI 不是从头重新学习烘焙，而是将"1 杯糖蛋糕”（锚点）作为基础，应用“加 0.5 杯糖”的规则（变换）来预测新结果。
长度外推（使其变长）：
- 类比： 你知道如何写一个 5 个单词的句子。你需要写一个 9 个单词的句子。
- RTE 方法： AI 将 5 个单词的句子（锚点）作为基础，学习“再加 4 个单词”的规则（变换）来扩展它，而不是试图死记硬背每一个可能的 9 个单词的句子。
组合外推（混合与匹配）：
- 类比： 你知道如何削苹果，也知道如何切香蕉。但你从未见过有人切苹果或削香蕉。
- RTE 方法： AI 意识到任务仅仅是“削皮” + “切片”。它将“削皮”技能（锚点）作为基础，并将“切片”规则（变换）应用到苹果上，即使它从未做过这种特定的组合。

秘密武器："Task2Vec"（地图）
为了实现这一点，AI 需要一张地图来找到正确的“锚点”任务。论文使用了一种名为Task2Vec的工具。

想象每一个可能的任务（每一种蛋糕、每一种句子长度、每一串字母）都是地图上的一个城市。
相似的任务彼此靠近；不同的任务相距甚远。
当 AI 面临一个全新的、困难的任务时，它会查看地图，找到它已经访问过的最近的城市（锚点），并计算出通往新城市的方向和距离（变换）。

他们的发现
研究人员在以下领域测试了这种方法：

数学函数： 预测超出 AI 训练数字范围的曲线。
多项式： 利用低阶方程预测高阶方程。
语言模型（LLM）： 使大型语言模型在处理比训练期间所见更长或更复杂的逻辑谜题和代码生成方面表现更好。

结果
在每一项测试中，RTE 方法都显著优于标准 AI 模型。

当任务与训练内容差异过大时，标准模型会撞上“墙壁”并失败。
RTE 模型通过利用“锚点 + 变换”的技巧，成功穿越了这堵墙。

重要局限性（论文所述）
论文谨慎地指出，RTE 并非万能。它仅在以下条件下有效：

新任务必须与旧任务相关（你不能要求 AI 利用其训练数据中完全不存在的、完全异质的物理规律来解决问题）。
AI 必须能够找到一个良好的“锚点”任务作为起点。

总结
这篇论文介绍了一种方法，旨在阻止 AI 仅仅死记硬背过去，转而帮助其理解变化的规则。通过教导 AI 说：“我知道如何做 X，我也知道 X 如何转化为 Y"，该系统就能解决它从未见过的难题，前提是这些难题是由它已知的那些构建模块组成的。

技术摘要：学习泛化至新任务：一种任务泛化的关系方法

1. 问题陈述

现代学习系统，包括大规模基础模型，擅长在其训练分布的支持范围内进行插值，但在泛化到该支持范围之外的任务（支持外或 OOS）时却表现不佳。即使在结构化设置中，这种失败依然存在，例如预测超出训练范围的参数函数、增加组合深度，或以未见过的方式重新组合已知基元。当前模型通常依赖于与训练分布相关的启发式方法，而非内化领域的生成机制，导致其在经验边界处达到饱和。

本文将任务泛化定义为对目标任务的泛化，其中定义任务的结构本身位于训练支持范围之外。与测试输入是训练输入的并集或扩展的标准分布外或长度泛化不同，任务泛化要求对任务结构本身的变换进行推理。作者认为，虽然泛化到任意未见任务是一个病态问题，但许多现实世界任务通过共享的、未知的结构系统地相互关联。

2. 方法论：关系任务泛化器 (RTE)

核心提议是关系任务泛化器 (RTE)，这是一种将泛化重构为直推式问题的算法。核心观察是：泛化本质上是关系性的；成功取决于学习任务如何相互变换。

2.1. 核心机制

RTE 将未见目标任务 $f_{\theta^*}$ 分解为训练期间观察到的两个组件：

锚定任务 ( $f_{anc}$ )：训练分布内的一个熟悉任务。
变换 ( $\phi$ )：连接锚定任务与目标任务的相对描述符（例如，参数偏移、递归扩展步骤或组合算子）。

RTE 不学习从任务参数到输出的直接映射，而是学习一个关系算子 $\Psi$ ，该算子将锚定任务 - 变换对映射为目标任务的预测：
$\hat{y} = \Psi(x, f_{anc}, \phi)$
这将困难的支持外 (OOS) 泛化问题简化为更易处理的组合外 (OOC) 问题。锚定任务和变换在训练数据中均被单独观察到，即使它们的具体组合是新颖的。

2.2. 三种泛化模式

作者在三种典型模式中实例化了 RTE：

参数泛化（连续）：任务由连续参数索引。变换是参数空间中的偏移 ( $\phi = \Delta\theta$ )。算子学习函数曲线在参数偏移下如何变形。
长度泛化（递归）：任务按层次复杂度组织（例如，多项式次数）。变换是将复杂度 $L-1$ 的任务扩展到 $L$ 的归纳步骤（例如，添加新项）。
组合泛化（组合）：任务由组合基元形成（例如， $f \circ g$ ）。一个组件作为锚定任务，另一个作为变换参数。

2.3. 推理与搜索

当任务描述符是潜在变量时，选择锚定任务和变换是一个实际挑战。RTE 通过代理几何（使用源自费雪信息矩阵的 Task2Vec 嵌入）和两阶段过程来解决这一问题：

训练：模型通过最小化训练任务对 $(f_i, f_j)$ 上的预测误差来学习 $\Psi$ ，其中变换 $\phi_{ij}$ 是已知的或推断出来的。
推理：
- 连续模式：使用几何捷径。对目标上下文进行嵌入，并从训练库中选择最近邻作为锚定任务。变换被推断为代理空间中的向量差。
- 离散模式（长度/组合）：采用摊销搜索。分解网络提出候选的锚定任务 - 变换对，然后通过评估它们在稀疏目标上下文上的似然性或重构误差对其进行重新排序。

2.4. 扩展到序列模型 (LLM)

RTE 通过将任务泛化框架化为监督微调 (SFT) 问题，扩展到大语言模型 (LLM)。关系算子被实例化为一个微调后的指令遵循模型。在测试时，模型接收锚定任务（演示）、变换描述（例如，“偏移位索引 3"）和查询作为提示。模型学习将变换逻辑应用于锚定任务以解决目标。推理涉及对候选分解的离散搜索，并根据模型在目标上下文上的似然性对其进行评分。

3. 主要贡献

关系任务泛化 (RTE)：一个算法框架，利用任务间关系将 OOS 泛化简化为 OOC 问题。
泛化模式：在参数、长度和组合泛化设置中正式实例化 RTE。
训练与推理协议：开发使用 Task2Vec 嵌入作为代理几何的协议，并将泛化表述为优化问题。对于 LLM，利用稀疏上下文上的似然性作为搜索和验证的代理奖励，无需外部信号。
实证验证：在合成函数预测任务和 LLM 基准测试（稀疏奇偶性、CodeIO）上进行了全面评估。

4. 实验结果

作者将 RTE 与标准的归纳基线以及神谕变体（可访问真实分解）进行了评估。

合成函数预测：
- 参数泛化：由于边界饱和，归纳模型在范围外参数上灾难性地失败（MSE $\approx 10^5$ ）。RTE 显著降低了误差（MSE $\approx 10^2$ ），缩小了与神谕性能之间的差距。
- 长度泛化：RTE 在预测高次多项式方面大大优于朴素基线（MSE 0.37 对比 0.58），尽管由于锚定检索不完美，与神谕之间仍存在差距。
- 组合泛化：RTE 在未见函数组合上的总 MSE (0.29) 低于基线 (0.39)，成功推断出底层基元。
LLM 实验：
- 稀疏奇偶性（长度）：RTE 将训练集中未见子集大小的准确率从 52.86%（基线）提高到 66.07%，恢复了递归结构。
- CodeIO（组合）：RTE 将准确率从少样本 (19.8%) 和思维链基线 (30.2%) 的近一倍提升至 45.3%，有效地将模型约束在有效的算法步骤上。

5. 意义与局限性

本文声称，RTE 通过利用任务空间的关系结构，提供了一种原则性的泛化方法。它表明，如果模型学会将新任务分解为已知组件和变换，它们就能泛化到训练支持范围之外。

局限性与未来方向：

推理成本：与单次通过的归纳模型不同，RTE 需要在测试时计算以识别最佳分解。
流形密度（可达性）：RTE 假设目标任务可以通过训练分布中存在的变换到达。完全陌生的机制仍然无法到达。
可识别性：在离散模式中，当前方法在训练期间依赖于真实的关系元数据。虽然作者提出通过期望最大化 (EM) 进行自标记以放宽此要求，但从头推断潜在关系结构仍然是一个未解决的挑战。
多步泛化：虽然初步结果显示迭代偏移取得成功，但串联多个变换而不累积误差需要进一步研究。

作者强调，RTE 并非通用的黑盒解决方案，而是专门针对具有底层关系结构的领域设计的，为模型内化和重用生成机制而非依赖表面启发式方法提供了一条途径。