📈 economics

Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion

本文建立了一个可处理的框架，用于分析资源拥塞下大语言模型个性化定制中监督微调与上下文学习之间的策略权衡，揭示了为平台提供这两种方法始终是有利可图的，而用户均衡选择对预训练质量和任务难度的敏感性则呈现出非单调性。

原作者： Fengzhuo Zhang, Zhuoran Yang, Dirk Bergemann

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengzhuo Zhang, Zhuoran Yang, Dirk Bergemann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个棘手的谜题，但你并不是独自一人，而是有一个读遍了图书馆几乎所有书籍的超级智能机器人朋友。这个机器人是一个大语言模型（LLM）。它擅长通识知识，但有时在处理非常具体的任务时会卡壳，比如分析一种罕见的医疗状况或解码特定的金融趋势。为了帮助这个机器人，你可以直接在对话中给它一份“小抄”（这被称为上下文学习或 In-Context Learning, ICL）。这很快捷且简单，就像给朋友传个口信一样。或者，你可以花时间利用一个庞大的数据集专门针对你的任务来重新训练机器人的大脑（这被称为监督式微调或 Supervised Fine-Tuning, SFT）。这功能强大，能让机器人成为真正的专家，但它很沉重、缓慢，且消耗大量能量。

现在，想象有数百万人同时在同一个共享计算机网络上使用这些机器人。如果每个人都试图同时重新训练自己的机器人，网络就会变得拥堵，就像高峰时期的公路一样。每个人都要等待更长时间，使用服务的成本也会上升。这篇论文提出了一个迷人的问题：当你身处这条拥挤的数字高速公路时，你应该是在耳边低语提示（ICL），还是重塑大脑（SFT）？其他人做出的选择是否会改变对你而言的最佳选择？作者们将此视为一场巨大的策略游戏，即你的选择会影响每个人的交通状况，他们利用数学方法来寻找在获得优质答案与避免陷入数字交通拥堵之间的完美平衡。

伟大的机器人辩论：耳语提示 vs. 重塑大脑

所以，你拥有百万用户、有限的计算能力，以及两种让智能 AI 更好地为你服务的方法。本文的作者构建了一个数学模型来观察这一切是如何展开的。他们不仅仅是靠直觉猜测；他们创建了一个用户的“连续体”（把它想象成一个平滑、无尽的人流，而不是仅仅几个个体），并观察当人们必须在轻量级的**上下文学习（ICL）和重型任务的监督式微调（SFT）**之间做出选择时，会表现出怎样的行为。

这里有一个转折：对于每个人来说，“最佳”选择并不相同。这取决于两个主要因素：机器人对你的特定主题已经了解多少（预训练覆盖率），以及你数据的信号有多清晰（信噪比）。

个性化的“金发姑娘”区间（适中原则）
研究发现，如果机器人的预训练已经很好地覆盖了你的主题，并且你的数据很清晰，那么 SFT（重型重新训练）是赢家。这就像雇佣一名专家来修理你的车；如果你有正确的工具和明确的问题，他们可以完美地解决问题。然而，如果机器人对你的主题知之甚少，或者你的数据杂乱且充满噪声，那么 ICL（耳语提示）实际上会胜出。为什么？因为试图在一个机器人完全陌生的主题上，利用杂乱的数据进行重新训练，就像试图教一条鱼爬树一样。你可能只会让机器人感到困惑，甚至让它变得更糟。在这种情况下，更稳妥的做法是只在聊天中给它几个例子，让它尽力利用已有的知识。

交通拥堵的惊喜
最令人惊讶的部分是“拥堵”（交通堵塞）如何改变了规则。作者发现，机器人的性能与它造成的交通量之间的关系并不是一条直线。

更好的预训练通常会有所帮助： 如果机器人拥有一个更好的大脑（更高的精度），人们使用的计算资源就越少，交通拥堵也会随之减轻。
但更多的覆盖范围可能会导致拥堵： 如果机器人学习了更多的主题（更广泛的覆盖），在某些情况下，它实际上可能会让交通状况变差。这就像如果一条高速公路突然增加了更多车道，人们可能会决定开更多的车，因为路看起来更容易走了，最终导致了另一种形式的交通瘫痪。
更难的任务可以疏通道路： 如果一项任务非常困难且充满噪声，人们可能会干脆放弃对机器人的个性化定制以规避成本，这反而减少了交通流量！

平台的困境
最后，论文探讨了运行 AI 服务的公司（平台）。他们想要赚钱，因此会设定价格。作者证明了一个违反直觉的事实：提供两种选项（SFT 和 ICL）永远不会损害平台的利润。 尽管增加 SFT 可能会增加服务器的总负荷，但它为用户提供了更多选择。一些用户会在价格便宜时转向重型的 SFT 选项，从而增加了需求，而另一些人则坚持使用 ICL。平台总能找到一个价格点，无论是在提供一种还是两种方法的情况下，都能实现利润最大化。事实上，数据显示，提供 SFT 和 ICL 两种方法的平台比例从 2021 年的 9.5% 跳升至 2025 年的 71.4%，这表明市场正朝着数学预测的方向精准移动。

实证结果
为了确保他们的数学理论不仅仅是漂亮的理论，作者对一个名为 GPT-2 的模型进行了测试（使用简单的线性回归数学问题）。

他们发现，当给予模型更多示例（ICL）时，误差在达到一定程度后就会停止改善，撞上了一个由模型未曾见过的部分所导致的“天花板”。
他们还观察到了他们所预测的“翻转”现象：在示例极少时，ICL 更好；而在拥有数百个示例时，SFT 接管了局面。
他们甚至检查了来自 21 家主要 AI 公司的真实世界数据，证实了向提供两种方法过渡的趋势是真实且正在增长的。

简而言之，这篇论文告诉我们，个性化 AI 不仅仅是关于选择“最好的”工具，它更是一场复杂的舞蹈，涉及 AI 已知的内容、你的数据有多乱，以及数字高速公路有多拥挤。所谓的“正确”选择取决于整个系统，而不仅仅是你的个人需求。对于那些掌控全局的公司来说？提供一份菜单式的选择方案始终是最聪明的做法。

技术摘要：拥塞环境下的监督微调与上下文学习

问题陈述

大语言模型（LLMs）彻底改变了 AI 服务，但个性化与资源稀缺之间存在着关键的经济张力。虽然个性化（通过监督微调 SFT 或上下文学习 ICL）能提升模型在特定领域任务上的表现，但它会消耗共享的计算资源。当数以千计的用户同时在共享基础设施上对模型进行个性化处理时，拥塞便会产生：每个用户选择的方法和样本量不仅会影响自身的成本，还会影响他人的等待时间和延迟。

本文探讨了三个主要问题：

算法选择： 在不存在拥塞的情况下，用户应如何基于统计原语在 SFT 和 ICL 之间进行选择？
均衡行为： 在共享且受限的资源环境下，用户如何在个性化质量与拥塞成本之间进行权衡以达到均衡？
平台设计： 当资源稀缺时，平台应如何设计其服务菜单（提供 SFT、ICL 或两者兼有）以及定价策略？

现有文献通常依赖于缩放法则（scaling laws）或程式化的行为假设，忽略了个性化算法之间的本质区别以及在数百万用户规模下的战略交互。本文旨在弥合统计学习理论与拥塞经济学之间的鸿沟。

研究方法

作者开发了一个结合 LLM 统计建模与连续用户博弈论模型的易处理框架。

1. 个性化的统计模型

本文将 LLM 个性化建模为一个线性回归问题。

预训练： 被抽象为从规模为 $N$ 的数据集学习任务参数 $\theta$ 的先验分布。预训练模型对应于学习到的先验均值 $\theta_{pre}$ 和协方差 $\Sigma_{pre}$ 。
上下文学习 (ICL)： 被建模为近似贝叶斯推理。模型通过将学习到的先验与在提示词中提供的 $N$ 个个性化样本进行条件化，来更新其对目标任务 $\theta^*$ 的信念，而不更新参数。
监督微调 (SFT)： 被建模为一个正则化估计器，它利用任务特定数据从预训练初始化开始更新模型参数。这会产生更高的计算成本（FLOPs 和内存），但允许在预训练子空间之外进行适配。

作者推导出了两种方法的均方误差（MSE）的闭式表达式，将误差分解为继承自预训练、数据噪声以及算法特定不确定性的组成部分。

2. 连续用户模型（LLM 服务拥塞博弈）

该交互被建模为一个具有连续用户的 LLM 服务拥塞博弈 (LSCG)。

用户类型： 用户由一个总结了其目标任务统计特性和预训练模型特性的类型 $t$ 来表征（例如维度 $d$ 、预训练覆盖率 $r$ 、信噪比）。
动作： 每个用户选择一种个性化算法 $a \in \{ICL, SFT\}$ 和一个样本数量 $\tilde{N}$ 。
成本函数： 用户的总成本包括学习误差（统计性能）和资源成本。资源成本包括单位资源的货币价格和一个由拥塞引起的等待时间成本 $h(R)$ ，其中 $R$ 是总资源需求。
均衡： 本文定义了连续设定下的纳什均衡，即几乎所有用户都在给定总拥塞水平的情况下最小化其成本，且该拥塞水平与所有用户的聚合行为保持一致。

核心贡献与结果

1. 统计权衡：SFT vs. ICL

分析得出了 SFT 优于 ICL 的精确阈值，该阈值受预训练覆盖率（ $R = r/(d-r)$ ）和未覆盖子空间中数据的信噪比（ $\kappa$ ）控制。

发现： 当预训练覆盖率较低且数据具有高噪声/有限时，ICL 是最优选择。在这种情况下，ICL 的保守性（仅在预训练子空间内更新）避免了 SFT 在缺乏支持的方向上尝试学习所带来的高方差。
发现： 当预训练覆盖率较高且数据信息丰富时，SFT 占据主导地位。SFT 可以在预训练未覆盖的方向上降低误差，而 ICL 在这些方向上会产生固定的不可消除偏差。
验证： 使用 GPT-2 在线性回归任务上的实验证实，ICL 的误差会在由未覆盖维度决定的偏差处趋于平缓，而 SFT 的误差则随样本量增加而持续下降。

2. 均衡拥塞动态

本文证明了均衡拥塞水平 $R^*$ 的存在性和唯一性。至关重要的是，系统参数与拥塞之间的关系是非单调的：

预训练精度： 更高的精度 ( $\pi$ ) 总是会减少拥塞，因为用户对昂贵的在线个性化需求降低。
预训练覆盖率： 在中间阶段，增加覆盖率 ( $r$ ) 可能会增加拥塞。随着覆盖范围扩大，用户可能会从 ICL 转向 SFT（扩展边际）或增加样本量（强度边际）以利用新覆盖的维度，从而暂时提高总需求。
任务难度： 更难的任务（高噪声）可以通过阻碍用户进行个性化处理来减少拥塞。
SFT 成本： 增加 SFT 的资源成本最初会增加拥塞（由于用户在转向 ICL 之前会强化使用 SFT），但最终会随着用户向 ICL 替代而减少拥塞。

3. 平台策略与盈利能力

本文分析了平台的 Stackelberg 策略（通过设定价格 $p$ 来最大化利润）。

定价： 均衡拥塞水平随单位资源价格递减。在满足正则性条件下，利润最大化的价格是有限的。
菜单设计： 作者证明，与仅提供 ICL 相比，提供 SFT 和 ICL 两者永远不会降低平台的最高利润。虽然增加 SFT 会增加潜在的总资源消耗（从而增加拥塞），但它允许平台从那些偏好高绩效、高成本选项的用户那里获取剩余价值。
经验证据： 对 21 家主要 AI 平台的审查显示，同时提供 SFT 和 ICL 的平台份额从 2021 年的 9.5% 增加到 2025 年的 71.4%，这与“多样化的个性化选项是有利可图的”这一理论预测一致。

意义与主张

本文声称其贡献在于发展了一个具有行为基础的模型，该模型超越了单纯的每 Token 定价，捕捉了算法特性如何塑造战略交互，从而为新兴的 AI 经济学文献做出贡献。

理论创新： 它将经典的拥塞博弈理论（峰值负载定价）与 LLM 特有的统计属性联系起来。不同于由物理网络约束驱动的传统基础设施拥塞，本文强调了一种新的拥塞来源，即由个性化方法的算法特性（例如 SFT 和 ICL 在资源强度和误差降低方面的差异）所驱动的拥塞。
实际相关性： 该框架解释了为什么尽管增加了复杂性和负载，主要平台仍迅速采用 SFT API。它为为什么平台应该提供个性化选项菜单而非单一标准化方法提供了理论依据。
政策启示： 拥塞的非单调性质表明，仅仅改进预训练模型或增加资源可能不会线性地减少拥塞；平台设计必须考虑到用户如何根据这些变化在不同算法和样本量之间进行切换。

作者通过 GPT-2 实验和行业数据验证了其理论预测，证明了 LLM 行为的线性近似能够有效捕捉拥塞环境下 SFT 与 ICL 之间的核心权衡。