🤖 machine learning

On the Power of Foundation Models

本文运用范畴论证明，尽管基于提示的学习严格局限于可表示的任务，但一个具备充分能力的预训练基础模型在经过微调后，理论上能够解决其前置任务所定义范畴内的任何下游任务，并通过结构映射泛化至未见对象。

原作者： Yang Yuan

发布于 2026-04-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yang Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《基础模型的力量》进行的解读。

核心问题：超级大脑能否无所不能？

想象你有一位学生，他读遍了宇宙中所有的书，拥有无限的学习时间，并且在练习测试中从不犯错。作者提出了一个简单的问题：如果这位学生在练习测试中表现完美，那么当你抛给他们任何新问题，他们能否自动解决？

在人工智能领域，这位“学生”就是基础模型（例如 ChatGPT 背后的模型或图像生成器）。而“练习测试”被称为前置任务（例如预测句子中的下一个词，或猜测图像是如何旋转的）。

论文指出，现有的理论（关于数据量或计算机规模）无法回答这个问题。相反，作者利用数学的一个分支——范畴论（可以将其理解为“结构的语法”）——来厘清这些模型能做什么、不能做什么。

他们发现了关于模型如何学习新事物的两条主要规则：

规则一：“提示”的局限（图书馆借书卡类比）

场景：你希望模型执行一项新任务（例如在照片中识别猫），但你不想重新训练它。你只是给它一个特定的指令或“提示”（就像一张写着“寻找猫”的图书馆借书卡）。

发现：只有当新任务已经“隐藏”在其原始训练的结构中时，模型才能解决这项新任务。

类比：想象模型是一座图书馆。

前置任务（训练）是图书馆整理书籍的方式。如果图书馆仅按“颜色”整理书籍，那么书籍就被分成了红色、蓝色和绿色。
提示微调就像是问图书管理员：“你能帮我找一本关于历史的书吗？”
结果：如果图书馆仅按“颜色”整理，那么即使图书管理员拥有世界上最棒的记忆力，也无法找到关于“历史”的书。因为“历史”这一分类根本不存在于图书馆的结构中。
论文的证明：作者证明，如果训练任务（例如猜测图像旋转）仅教会模型关于“旋转”的知识，那么模型就无法通过提示来执行复杂的任务，如“分割”（切割出）物体，因为“切割”这一概念并未构建在图书馆的结构中。

结论：如果你只教模型下棋，你就不能仅靠“提示”让它去踢足球。新任务必须能够由旧结构来表示。

规则二：“微调”的力量（万能钥匙类比）

场景：你愿意为这项新任务提供少量的新训练（微调），使用一个小数据集。

发现：这要强大得多。如果模型在初始训练期间充分学习了世界的“结构”，那么只要你提供足够的资源（数据和算力）来连接这些点，它就能学习任何新任务。

类比：想象模型是一把万能钥匙，它已被切割成适合特定建筑（前置任务）锁孔的形状。

微调就像是拿着那把万能钥匙，稍微锉磨一下，使其适合另一栋建筑中的新门。
结果：只要这把万能钥匙捕捉到了第一栋建筑锁孔的本质，你就可以重塑它来打开世界上几乎任何一扇门。
论文的证明：作者表明，如果模型是“理想的”（完美地学习了训练结构），它就包含了求解任何下游任务所需的所有信息。新任务的训练数据仅起到指导作用，告诉模型如何重塑这些信息。

结论：微调不受“提示可表示性”的限制。如果基础牢固，模型几乎可以被适应于任何事物。

规则三：“魔法桥梁”（翻译员类比）

场景：当我们结合不同类型的模型时会发生什么？例如，一个理解文本的模型和一个理解图像的模型（多模态学习）？

发现：论文提出了一个“泛化定理”。它指出，如果你在两个不同的世界（例如文本和图像）之间建立一座完美的桥梁（数学映射），那么一个世界的结构将在另一个世界中得以保留。

类比：想象你有一本字典，它能完美地将“文本”翻译成“图像”。

在文本世界中，你有一个"牛油果椅子"（形状像牛油果的椅子）的概念。这个物体在现实世界中可能并不存在，你的训练数据中也没有它的照片。
然而，由于文本世界具有“牛油果”和“椅子”可以组合的逻辑结构，而你的字典（模型）在将文本翻译成图像世界时完美地保留了这种结构……
结果：模型可以“幻觉”或生成一张完美的牛油果椅子图像，即使它从未见过这样的图像。它并没有死记硬背这张图像，而是理解了单词之间的关系，并将这种结构应用到了图像世界中。

论文的证明：这解释了为什么像 DALL-E 2 或 CLIP 这样的模型能够生成训练集中不存在的事物图像。它们不仅仅是在复制，而是在利用语言的结构逻辑来构建新图像。

论文主张总结

提示是有限的：你只能要求模型去做那些在其训练方式中已经“内置”的事情。如果训练没有教会它新任务的结构，简单的提示将不起作用。
微调是强大的：如果你愿意进行额外的少量训练，一个学习了良好结构的模型可以被适应以解决几乎任何任务。
结构创造新事物：通过将某个领域（如文本）的结构完美映射到另一个领域（如图像），模型可以生成以前从未存在过的东西（如牛油果椅子），因为它们遵循的是结构的逻辑规则，而不仅仅是死记硬背图片。

作者强调，他们讨论的并非特定的网络规模或数据数量，而是任务本身的逻辑结构。他们利用数学证明，训练任务的“形状”决定了模型最终能做到的事情的“形状”。

以下是 Yang Yuan 所著论文《基础模型的力量》的详细技术总结。

1. 问题陈述

本文探讨了基础模型时代的一个根本性问题：在拥有无限的高质量数据、无限的计算能力，以及一个拥有完美训练算法（保证在预训练任务上泛化误差为零）的无限大模型的前提下，这样的模型能否解决任何下游任务？

现有的深度学习理论（表示、优化和泛化）不足以回答这一问题，因为它们通常假设特定的数据分布、网络架构或有限的资源。作者认为，限制因素并非模型的学习能力，而是任务本身的结构表示。核心问题在于，仅基于预训练（预文本）任务所诱导的结构，确定哪些下游任务可被基础模型解决。

2. 方法论：范畴论框架

作者采用范畴论作为分析基础模型的主要数学工具。这种方法提供了一种“模型无关”的视角，专注于数据点之间的结构关系，而非具体的神经网络架构或损失函数。

定义的关键概念：

基础模型诱导范畴（ $C_f$ ）： 一个基础模型 $f: D \to H$ $f : D \to H$ （将数据映射到表示）诱导了一个范畴，其中：
- 对象： 模表示等价的数据点（即，若 $f(X) = f(X')$ ，则 $X \sim X'$ ）。
- 态射： 由“数据无关的读出” $k_f$ 定义，并源自预文本任务操作的复合映射（例如，对比学习中的特征空间平移，或语言建模中的 token 追加）。
Yoneda 嵌入（ $h_C$ ）： 本文利用 Yoneda 引理将模型的表示 $f(X)$ 解释为可表函子 $h_C(X) = \text{Hom}_C(X, \cdot)$ 。这将内部特征空间映射到函子范畴（ $C^\vee$ ），有效地编码了数据的结构关系。
任务表示： 下游任务被定义为函子 $T \in C^\vee$ 。解决一个任务意味着模型能够产生与 $T(X)$ 同构的输出。

3. 主要贡献与结果

本文在两种适应策略下建立了关于基础模型能力的三个主要定理：提示微调（Prompt Tuning）和微调（Fine Tuning）。

A. 提示微调的局限（定理 3）

结果： 基础模型使用提示微调解决下游任务 $T$ ，当且仅当任务 $T$ 在预文本任务诱导的范畴中是可表的。
推论： 提示微调严格受限于预文本任务的结构丰富度。如果预文本任务（例如旋转预测）仅诱导了一个简单的群结构，那么无论模型规模多大，该模型都无法仅通过提示解决复杂的下游任务（例如语义分割）。
推论 1： 具体而言，旋转预测预文本任务并不能保证通过提示解决分类或分割等内容级任务，因为诱导的范畴缺乏必要的结构复杂性。

B. 微调的力量（定理 5）

结果： 与提示微调不同，微调没有此类结构限制。如果基础模型具备解决预文本任务所需的最小能力（直至对称性），并为下游任务提供了充足的资源（数据和计算），理论上它可以解决范畴 $C^\vee$ 内定义的任何下游任务。
机制： 微调允许模型学习一个扩展函子（通过 Yoneda 扩展定理），将预训练表示空间映射到特定的目标任务空间。
意义： 这表明基础模型的“瓶颈”并非微调能力本身，而是预文本任务的质量。丰富的预文本任务会创建一个丰富的范畴 $C$ ，进而扩大可解决的下游任务空间。

C. 泛化与多模态学习（定理 6 和 7）

结果： 本文提出了一个结构学习泛化定理。如果两个范畴（例如文本和图像）之间存在“特征对齐函子”，则源范畴的结构信息会在目标范畴的特征空间中得以保留。
应用于“未见”对象： 这解释了像 CLIP 或 DALL-E 2 这样的模型如何生成或识别训练数据中不存在的对象（例如“牛油果椅子”）。模型学习了文本和图像范畴之间的结构关系（态射）。如果文本“牛油果椅子”在文本范畴中是一个有效的复合，那么特征对齐函子就会将这种结构映射到图像范畴中对应的（可能是未见的）对象。
复合定理（定理 7）： 该框架扩展到范畴链，解释了多模态模型如何通过复合函子连接不同的领域（例如，语言 A $\to$ 语言 B $\to$ 图像）。

4. 意义与影响

从数据/架构转向结构： 本文将理论焦点从数据量或网络深度转移到了任务的代数结构上。它提出，基础模型的“力量”取决于其诱导的范畴，而不仅仅是其参数量。
预文本设计的理论依据： 它为**自监督学习（SSL）*提供了一个严格的数学框架。它解释了为什么*某些预文本任务比其他任务更有效：它们诱导了具有更丰富态射的范畴，从而支持更广泛的下游任务。
对“零样本”能力的解释： 基于 Yoneda 的框架为解释基础模型如何泛化到未见概念（组合泛化）提供了形式化依据，将其视为范畴内的结构组合，而不仅仅是统计相关性。
提示与微调的区别： 它厘清了提示工程（受限于可表性）与微调（仅受限于资源和预训练范畴的丰富度）之间的理论边界。

结论

本文论证，在拥有无限资源的情况下，基础模型解决任务的能力根本上受限于预训练期间学习的范畴结构。虽然提示微调仅限于该范畴内结构上可表的任务，但微调可以解锁该结构空间内的任何任务。此外，该框架表明，多模态学习本质上是不同范畴之间函子的对齐，通过结构组合实现了对新颖、未见对象的生成和识别。