🤖 machine learning

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

本文提出了一种通过将“复性”（epiplexity）——一种可提取结构信息的度量——作为一种自适应信号，用于选择自然数据领域并指导合成数据生成，从而最大化所学表示的可迁移性，以此来提升分布外泛化能力的框架。

原作者： Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人理解世界。长期以来，科学家们认为教导机器人的最佳方式是向它喂入尽可能多的数据，希望它最终能自行领悟。但现在，我们正面临着“真实”数据枯竭的困境。我们正撞上一堵墙：机器人几乎已经读遍了互联网上的所有内容，但当被要求做一些它从未见过的任务时（比如解开一种新型谜题或理解一个奇怪的笑话），它仍然显得力不从心。这就是“分布外”（Out-of-Distribution）泛化问题：如何让一个智能系统在面对全新的、未预见的场景时依然能够游刃有余？

为了解决这个问题，我们需要重新思考该给机器人喂食什么。这不仅仅是关于数量，更是关于信息的“风味”。把数据想象成食物：如果你只给机器人喂白米饭（简单、重复的数据），它会吃饱，但学不到任何新东西；如果你只给它喂纯粹的噪音（收音机的静电声），它会感到困惑，同样学不到任何东西。但如果喂给它一锅层次丰富、需要咀嚼和消化的复杂美味炖菜，它就会学会如何处理各种食材。在人工智能领域，这种“可消化的复杂性”被称为信息复杂度（Epiplexity）。这是一个高级词汇，指的是一段数据中包含的、计算机实际可以学习到的有用结构化信息的量。研究人员正在探讨的核心问题是：我们能否利用这种“可消化复杂度”的概念，来挑选出最能教导机器人的数据，甚至创造出能让机器变得更聪明的新数据？

这篇题为《以信息复杂度引导用于分布外泛化的数据选择与生成》的论文给出了肯定的回答。来自纽约大学和 Inherent 的作者团队提出了一种通过关注这种“信息复杂度”来训练 AI 模型的新方法。他们建议，与其只是从互联网上随机抓取文本块，不如主动选择那些恰好能挑战模型、让它既能努力工作又不至于放弃的数据。他们测试了两个主要思路：首先是一种选择现有最佳数据的策略，其次是一种生成专门为教导模型而设计的全新合成数据的策略。

以下是通过几个简单的故事对他们的“信息复杂度”系统进行的解释：

数据选择的“压力测试”（EpiSelect）

想象你是一位老师，正在为一名需要通过一场极其困难且未知的考试的学生准备学习指南。你拥有一个充满书籍的图书馆：有些是简单的图画书，有些是枯燥的数字列表，而有些则是充满深刻思想的复杂小说。

作者发现，如果你只是随机挑选书籍，学生可能会感到无聊或不知所措。但如果你能精确测量出学生在阅读特定页面后大脑增长了多少呢？他们将这种增长称为“信息复杂度”。一段重复的文字（如“猫坐在猫坐在”）具有低信息复杂度，因为学生能瞬间学会并跳过；一段随机的胡言乱语也具有低信息复杂度，因为学生无法从中学习任何东西；但一个复杂的故事情节会让学生停下来思考，并缓慢理解情节，这样的页面就具有高信息复杂度。

团队创建了一个名为 EpiSelect 的工具，它扮演着一位超级聪明的图书管理员的角色。当学生（AI 模型）阅读时，EpiSelect 会观察学生的“损失值”（Loss，衡量其困惑程度的指标）下降的速度。如果学生感到困惑但正在缓慢地理解，那正是完美的平衡点！EpiSelect 会说：“嘿，让我们多读一些像这类风格的书吧！”它利用一种数学上的“缩放法则”（一种基于过去预测未来的高级方法）来预测哪些类型的书籍会在下次带来最大的大脑提升。

在测试中，他们发现了一个令人惊讶的现象。在名为“The Pile”的流行数据集上，最好的策略竟然是反复阅读最大的数据块（称为 PileCC），这击败了所有其他花哨的方法。这表明“The Pile”并不是一个好的测试环境，因为其中一种数据类型过于占据主导地位，从而破坏了实验。因此，他们转向了一个名为“Common Pile”的新数据集，该数据集由 30 种不同类型的文本均匀混合而成。在这个新测试中，EpiSelect 脱颖而出。它挑选出的数据组合让 AI 模型在 10 项棘手的任务上表现优于其他所有方法，包括目前的顶尖技术。论文指出，通过专注于创造最多“信息复杂度”的数据，模型可以学习到有助于处理未见情况的模式。

制作新食谱的“机器人厨师”（EpiGen）

现在，假设你不仅想从图书馆里挑选最好的书，还想编写出专门为教导学生而设计的全新书籍。这就是论文第二部分的内容：EpiGen。

作者构建了一个“机器人厨师”（生成模型），其职责是烹饪出新的合成文本。但厨师如何知道该做什么菜？通常，厨师可能会尝试做出味道好（低误差）或者与以往做过的食物截然不同的食物。但作者意识到，最适合学习的食物是那种具有挑战性但仍能入口的食物。

他们给了机器人厨师一个特殊的奖励机制。每当厨师烹饪出一批新文本时，他们都会将其喂给学生（学习模型）。如果学生感到有些吃力，但随后学到了新知识并提升了理解力，厨师就会获得巨大的奖励。如果文本太简单（学生已经掌握了）或者太难（学生完全无法理解），厨师则不会得到任何奖励。

通过使用一种名为 REINFORCE 的技术（类似于教练给运动员提供反馈），厨师学会了烹饪“金发姑娘原则”（Goldilocks）式的数据——不过热，也不过冷，而是恰到好处。结果令人兴奋。当他们在这种特制的合成数据上训练模型时，该模型在理解语言任务（如 GLUE 基准测试）方面的表现，优于使用原始数据进行训练的模型。更棒的是，当他们将这种新的合成数据与真实数据混合使用时，模型的表现比单独使用其中任何一种都要更好。

这对未来意味着什么

该论文并未声称解决了 AI 的所有问题。作者谨慎地指出，他们是在相对较小的模型上进行的测试，并且他们的方法依赖于对信息复杂度的“代理”（即一个优秀的猜测），而非测量完美的理论值。他们还发现，当 AI 具备一定的预存知识（如预训练模型）而非从随机权重开始时，这种方法的效果最好。

然而，其核心理念是一种视角的转变。作者认为，我们不应将数据视为一堆等待燃烧的燃料，而应将其视为一套课程体系。通过测量并最大化信息复杂度（即模型实际可以提取的结构化信息的量），我们可以构建出不仅规模庞大，而且真正具备适应能力的 AI。无论是选择现有的最佳数据，还是发明新的合成数据，目标都是一致的：为模型提供挑战，让它在思考、学习和成长的过程中，能够应对一个我们尚未想象到的世界。

技术摘要：用于分布外（OOD）泛化的极性复杂度（Epiplexity）引导的数据选择与生成

问题陈述

现代机器学习系统面临着日益增长的压力，即需要泛化到训练过程中未指定的任务和领域（即分布外或 OOD 泛化）。随着领域进入多轮次（multi-epoch）训练成为必要的资料受限阶段，识别哪些数据能够促进这种迁移变得至关重要。现有的数据选择和课程学习方法通常依赖于定义模糊的量、多样性和质量的概念。此外，当前的方法在推理针对不可预见的下游设置所需的理想数据属性方面仍存在困难。

在如何将极性复杂度（epiplexity）——一种衡量计算受限学习器从数据中提取结构化信息的度量——转化为实际训练信号方面，存在一个关键的理论空白。虽然 Finzi 等人 [20] 提出极性复杂度是一个衡量指标，其中高值对应于可学习但非平凡的数据（持续的损失下降），但目前尚不清楚如何在线估计该指标、如何将其用于自适应数据选择，或如何利用其进行纯合成数据的生成。

方法论

本文提出了两个不同的框架来使极性复杂度具体化：用于数据选择的 EpiSelect 和用于合成数据生成的 EpiGen。两者都依赖于一个基于训练损失曲线面积（前序编码，prequential coding）的可行且在线的极性复杂度估计器。

1. 极性复杂度估计

作者使用了一种前序估计器，其中极性复杂度 $S(t)$ 通过在训练时刻对一个 token 产生的损失与该相同 token 在最终模型上的损失之间的累积差距来近似。在实际的在线优化中，这通过当前训练损失与最终（或当前）损失底线之间的差值来近似：
$\hat{S}(t) \approx \sum_{s=1}^{t} (L(s) - L(t))$
具有高极性复杂度的数据会产生持续且大幅度的损失下降，而平凡数据（快速收敛）或噪声（无收敛）则产生低极性复杂度。

2. EpiSelect：自适应数据选择

EpiSelect 旨在通过从多个数据领域中自适应采样批次，以最大化期望的极性复杂度增益。

跨领域缩放法则（Cross-Domain Scaling Laws）： 该方法对每个领域的损失曲线进行拟合，以预测作为所有领域 token 数量函数的未来损失。提出的形式为：
$\hat{L}_m(n_1, \dots, n_K) = \epsilon_m + \beta_m \left( \sum_{k=1}^K \gamma_{m,k} n_k \right)^{-\alpha_m}$
其中 $\gamma_{m,k}$ 捕捉了领域 $k$ 对领域 $m$ 损失的影响。
基于梯度的重加权： 算法计算针对特定领域 $j$ 的 token 的边际极性复杂度增益：
$\frac{\partial \hat{S}}{\partial n_k} = \sum_{m=1}^K \frac{n_m \alpha_m \gamma_{m,k}}{\sum_{i=1}^K \gamma_{m,i} n_i} (\hat{L}_m - \epsilon_m)$
采样策略： 下一个批次的采样权重 $\pi_k$ 是通过对这些边际增益进行 softmax 计算得出的，从而允许模型贪婪地选择被预测能产生最高结构信息增益的领域。

3. EpiGen：合成数据生成

EpiGen 训练一个生成器模型（ $P_{\theta_g}$ ）来产生能够最大化独立学习器模型（ $P_{\theta}$ ）极性复杂度的合成数据。

奖励定义： 奖励 $r_t$ 定义为在训练完新批次 $X_t$ 后，学习器极性复杂度的变化（由损失减少来近似），该变化是在包含过去数据的生成缓冲区 $B$ 上评估的：
$r_t = \sum_{x \in B} (\log(1/P_{\theta_{t-1}}(x)) - \log(1/P_{\theta_t}(x)))$
优化： 生成器使用 REINFORCE 策略梯度进行优化，以最大化期望奖励。缓冲区 $B$ 作为参考分布，以防止生成器坍缩为学习器在没有获得泛化结构的情况下即可记忆的对抗性或低熵输出。

核心贡献

极性复杂度的具体化： 本文提供了首个实用的方法，将极性复杂度作为一种在线训练信号，用于数据选择和合成数据生成。
EpiSelect 算法： 一种新型数据选择方法，它使用跨领域缩放法则来预测极性复杂度增益，并自适应地重新分配领域采样权重。
EpiGen 算法： 一个自博弈（self-play）框架，通过 REINFORCE 训练生成器，使其生成的合成数据能够挑战学习器，从而在不依赖外部验证器的情况下最大化结构信息增益。
基准测试批判与提议： 作者指出，“The Pile”数据集在评估数据选择方法方面存在饱和问题，注意到仅在最大的领域（PileCC）上进行训练就优于复杂的选择方法。他们提出了 Common Pile（一个包含 30 个领域、8TB 的数据集）作为一个更严格的基准，用于未来的课程学习研究。
经验验证： 证明了较高的极性复杂度与更好的 OOD 泛化能力相关，并且极性复杂度最大化策略优于最先进的基准方法。

结果

数据选择 (EpiSelect)

相关性： 在 "The Pile" 上，极性复杂度与下游零样本性能强相关（Pearson $r=0.88$ ），而权重范数则不然。
基准局限性： 在 The Pile 上，仅在 PileCC 领域进行训练的表现优于最先进的（ADO）选择器，凸显了该数据集的不平衡性。
在 Common Pile 上的表现： 当在 Common Pile 上进行评估时，EpiSelect 在 124M 和 1.3B 参数模型上，针对 10 个任务（LM Evaluation Harness）均实现了最高的平均零样本准确率，优于自然（均匀）基准和 ADO。
跨领域动态： 拟合的缩放法则表明，跨领域效应是稀疏且具有方向性的，其中对角项（自我影响）占据主导地位。

合成数据生成 (EpiGen)

微调性能： 与预训练的 GPT-2 基准相比，在 EpiGen 生成的合成数据上训练的学习器在 GLUE 微调任务上实现了平均 2.7 个点的提升。
初始化依赖性： 该方法需要预训练初始化；随机初始化没有产生性能增益，这表明学习信号是从预训练权重中涌现出来的。
数据混合： 将 25%-50% 的极性复杂度引导的合成数据与真实的 OpenWebText (OWT) 数据进行混合，可以获得最佳的下游性能，优于单独使用其中任何一种类型的数据进行训练。
稳定性： 该方法在保持分布内数据低困惑度（perplexity）的同时，提高了 OOD 泛化能力，避免了在基于奖励的生成中常见的模式坍缩（mode collapse）现象。

意义与主张

本文声称，极性复杂度提供了一个原则性的、信息论基础的框架，用于直接针对 OOD 泛化进行数据选择和生成。通过将重点从“最简单的解释”（奥卡姆剃刀）转向“最不可压缩的数据”（最大化结构信息），作者认为模型可以学习到在不可预见的领域中更具迁移性的表示。

作者也谦虚地指出，他们的实验是在较小的模型（124M–1.3B 参数）上进行的，并且依赖于极性复杂度的一个可行的代理（proxy）而非其理论本体。他们认为，未来的工作必须解决可扩展性、代理的理论保证以及超越极性复杂度的通用数据属性的发现。尽管如此，这项工作确立了极性复杂度是一个可行的、可操作的信号，用于提高模型在自然数据和合成数据机制下的泛化能力。