Learning the Pareto Frontier of Predictive Models under Distribution Shift
本文介绍了“前沿学习”（Frontier Learning），该框架通过拼接来自不同候选模型的内部表示与预测来构建统一的目标域特征，进而训练一个轻量级的监督学习器，从而保证其性能至少不低于任何单一的复用策略（如零样本学习、微调或直接训练），并在分布偏移下取得更优的结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在试图解开一个谜团，但你的线索散落在不同的世界中。在现代人工智能的世界里，我们构建了庞大的“基础模型”——这些是经过海量数据训练的巨型、超智能计算机。这些模型就像是见多识广的专家侦探。然而，当我们试图利用它们来解决一个新的、特定的案例时（比如预测特定医院的患者预后，或识别一种新风格的艺术品），事情变得棘手了。有时这位专家侦探表现完美；有时他们却感到困惑，因为新案例看起来与旧案例不同。这被称为“分布偏移”（distribution shift）。
为了应对这种情况，科学家通常有三种主要选择。首先，他们可以直接询问专家侦探获取答案而不做任何改变（这被称为“零样本学习”，zero-shot）。第二，他们可以针对新案例对侦探进行专门的重新训练（这被称为“微调”，fine-tuning）。第三，他们可以完全忽略专家，而是雇佣一名全新的、本地的侦探从零开始学习（这被称为“直接训练”，direct training）。问题在于，没有人能预先知道哪位侦探最适合这项工作。选错侦探会导致错误的预测。这篇论文提出了一个简单而强大的问题：与其强迫我们在其中仅选其一，如果我们可以同时倾听所有侦探的声音，并让证据来决定该信任谁，结果会怎样？
这篇论文的研究人员 Yiming Dong、Jiwei Zhao 和 Yang Lu 提出了一种巧妙的新框架，称为前沿学习（Frontier Learning）。把它想象成一个“超级侦察兵”，它并不取代侦探，而是扮演着一名聪明的管理者。前沿学习并不在零样本专家、微调后的专家和本地新手之间做选择，而是同时收集所有人的信息。如果一个模型是“白盒”模型（意味着我们可以看到其内部的思考过程），管理者就会抓取其内部笔记；如果一个模型是“黑盒”模型（即我们只能看到最终答案），管理者则会抓取最终判决。
随后，管理者将这些混合信号输入到一个小型且轻量级的“法官”中，法官会观察来自新案例的实际结果。这个法官会学习在多大程度上信任每位侦探。如果零样本专家对新的艺术风格感到困惑，法官就会学会忽略他们的意见；如果本地新手因为见识不够而做出荒唐的猜测，法官就会更多地依赖微调后的专家。其神奇之处在于，该系统的设计确保了它永远不会比表现最好的单个侦探还要差。这就像是一个安全网，如果你选错了策略，它能接住你，同时也能让你结合所有人的长处，如果这样做确实有所帮助的话。
团队通过两种方式测试了这个想法。首先，他们在计算机模拟中运行，通过这种方式可以精确控制“源世界”和“目标世界”之间的差异程度。他们发现，当两个世界差异很大时，没有任何单一策略表现良好，但前沿学习击败了所有竞争对手，与表现最好的单一策略相比，它将误差降低了高达 89%。当两个世界比较相似时，它的表现依然与最好的单一策略一样出色，从未落后。
接着，他们在现实世界中进行了尝试。在一个实验中，他们尝试使用基于素描和照片训练的模型来识别绘画中的物体。尽管其中一个模型（基于素描训练）在单独识别绘画时表现很差，但前沿学习成功地利用了它的信息，从而提升了整体准确率，击败了所有单独使用的模型。在第二个高风险实验中，他们利用医疗笔记来预测特定重症监护室（ICU）的患者死亡率。同样，通过结合一个在不同 ICU 训练的模型、一个从头开始训练的模型以及一些仅仅是被“询问”答案的模型，前沿学习实现了最高的准确率，证明了倾听众声往往比只听一个声音更好，即使其中一些声音可能有些不稳。
论文指出，在这个拥有数百个强大 AI 模型的时代，我们不应被迫只选择其中之一。相反，我们可以构建能够学习如何结合它们的系统，从而创造出一个更稳健、更可靠的预测器，使其能够适应现实世界所带来的任何变化。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。