🤖 machine learning

Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

本文证明，在离线、由神谕标注的轨迹上对预训练大语言模型进行监督微调，可显著提升其在马尔可夫决策过程、部分可观测马尔可夫决策过程及近似部分可观测马尔可夫决策过程中进行序列决策的上下文学习能力，相较于基线方法实现了显著更优的次优性差距，尤其在复杂、长视野及部分可观测环境中表现更为突出。

原作者： Minmin Zhang, Sina Aghaei, Soroush Saghafian

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minmin Zhang, Sina Aghaei, Soroush Saghafian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位博学多才、阅书无数的图书管理员（即大型语言模型或 LLM）。这位管理员几乎读遍了世界上所有的书籍，且极其聪明。然而，他们从未真正玩过电子游戏，也未曾管理过复杂的策略。他们懂得理论，但尚未练习过获胜所需的具体操作。

本文探讨的是：我们如何仅用少量示例，教会这位图书管理员在一种全新且棘手的游戏中进行一系列明智的决策？

以下是该论文方法与发现的拆解，辅以简单的类比：

1. 挑战：“单样本”与“教练”

通常，如果你想让图书管理员玩游戏，你可能会直接展示几个他人游玩的示例（这被称为上下文学习）。

问题所在：如果游戏简单，管理员表现尚可。但如果游戏漫长、复杂，或包含隐藏规则（例如在能见度低的战场上无法看见敌人），管理员就会迷失方向。他们可能会猜错步骤，因为他们只是在当下“阅读”示例，而未能真正理解底层的策略。

2. 解决方案：“强化训练营”（监督微调）

作者没有仅在游戏开始前向管理员展示几个示例，而是让管理员参加了一个强化训练营。

方法：他们利用海量的“完美对局”视频（轨迹），其中专家（“神谕”）已经赢得了游戏。他们将这些视频喂给管理员，并说：“学习专家思考和行动的模式。”
转折：他们并非从零开始重新训练管理员（那就像教幼儿识字）。相反，他们使用了一种名为QLoRA的技术（一种“智能适配器”）。你可以将其想象为给管理员一副特制眼镜或一本特定的战术手册，只需微调其现有知识，使其足以掌握这种新类型的游戏，而无需重写其整个大脑。

3. 测试的三种游戏类型

研究人员在三种决策场景中测试了这种教练方法，难度逐级递增：

MDP（清晰的房间）：想象一个你可以完美看清一切的游戏。你确切地知道自己在哪，以及向左或向右移动会发生什么。
- 结果：接受过教练指导的管理员比未受指导的表现好得多，尤其是在长游戏中。
POMDP（迷雾房间）：想象同样的游戏，但现在笼罩着浓雾。你无法看到整个棋盘，只能看到你周围的一小块区域。你必须根据有限的线索猜测敌人的位置。
- 结果：教练指导帮助管理员更好地应对迷雾。未受指导的管理员很容易困惑，而受指导的管理员学会了信任其“直觉”（即训练期间学到的模式）。
APOMDP（带有捣蛋鬼的迷雾房间）：这是最难的一关。不仅有迷雾，而且游戏规则可能会因运行模拟的人不同而略有差异。这就像玩一个每次游玩物理法则都可能发生轻微变化的游戏。
- 结果：受指导的管理员依然胜过所有人。它学会了具备足够的鲁棒性，以应对不确定性和“捣蛋鬼”规则。

4. “为什么”（理论部分）

作者不仅声称“它有效”，还试图用数学解释为什么有效。

类比：他们将管理员的注意力机制（即它如何聚焦文本的某些部分）比作一台计算器。
当管理员接受“教练”指导（微调）时，它学会了利用其注意力层，根据你在游戏中展示的少量示例，秘密计算出“最佳步骤”（即 Q 函数）。
他们从数学上证明，管理员的错误源于两个来源：
1. 来自少量示例的困惑：如果你只给它看一个糟糕的示例，它就会困惑。
2. 来自训练的偏差：如果“训练营”不够长，它可能学会了一个并不完美的捷径。
- 论文表明，通过在足够多的“完美对局”视频上进行训练，可以将这些错误最小化。

5. 结果

优于随机猜测：受指导的管理员并非盲目猜测，而是进行战略性游戏。
优于“仅阅读”：受指导的管理员击败了那些仅在游戏开始前被展示示例的管理员（即仅进行上下文学习）。
重大胜利：教练指导在最困难的情况下帮助最大：长游戏、迷雾环境以及规则棘手且多变的游戏中。在某些长游戏中，受指导的管理员将其“错误率”比未受指导版本降低了一半。

总结

该论文证明，如果你取一个智能的预训练 AI，并利用离线数据（完美对局的视频）为其提供特定的“强化训练营”，它就能成为序列决策的大师。它学会了更好地处理长期规划、隐藏信息和不确定的规则，这比仅仅要求它当场“自行解决”要有效得多。

关于范围的说明：作者专门在合成游戏（如能源管理或网格世界的模拟环境）上测试了此方法。虽然他们提到这可能对现实领域（如医疗保健，那里数据丰富但实验成本高昂）有用，但论文本身仅展示了这些模拟游戏的结果。本研究并未在真实患者或真实医院数据上测试此方法。

技术摘要：通过监督微调实现大语言模型用于序列决策

问题陈述

在不确定性下的序列决策对于临床治疗规划和资源管理等高风险领域至关重要。虽然动态治疗策略（DTRs）提供了一个从观测数据中学习的框架，但它们通常依赖于序列可忽略性（所有混杂因素均可观测）的强假设。在现实中，不可观测的混杂因素 necessitates 模糊动态治疗策略（ADTRs），该策略针对一组 plausible 模型（模型模糊性）而非单一模型来评估策略。这对应于模糊部分可观测马尔可夫决策过程（APOMDPs）。

尽管大语言模型（LLMs）已展现出卓越的上下文学习（ICL）能力，但其在序列决策中的应用仍受限。先前的工作通常从头训练 Transformer，专注于完全可观测的马尔可夫决策过程（MDPs），并忽视了现实世界环境中存在的部分可观测性和模型模糊性挑战。本文旨在填补利用预训练 LLMs 进行序列决策的空白，涵盖 MDPs、POMDPs 和 APOMDPs，并使用离线、专家标注的数据。

方法论

作者提出了一种框架，将监督微调（SFT） 适配，使预训练 LLMs 能够执行少样本序列决策。

1. 框架概述

作者并非从头训练 Transformer，而是使用参数高效的QLoRA（量化低秩适配器）对开源预训练 LLM（具体为 Llama-2-7B）进行微调。该模型在由最优（或近最优）动作专家生成的离线轨迹上进行训练。

训练：模型学习根据序列化为文本格式的历史观测、动作和奖励来预测下一个动作 token。损失函数是这些序列化轨迹上的标准下一个 token 预测损失。
推理：在测试时，模型接收少样本上下文（来自新任务的演示轨迹）和当前历史。它无需进一步参数更新即可为新任务生成动作，有效地充当基于上下文示例的条件策略。

2. 理论分析

本文提供了针对线性 MDPs 的理论分析，以理解 SFT 为何能提升性能。

解释：作者将训练后的线性自注意力（LSA）层解释为隐式地从上下文数据中估计最优 Q 函数的参数。
次优性界：他们推导了诱导策略的端到端次优性界。该界限将误差分解为两个不同的组成部分：
1. 上下文估计误差：随着少样本支持轨迹数量（ $K_{test}$ ）的增加而减少。
2. 训练长度偏差：随着训练轨迹数量（ $K$ ）的增加而减少。
关键洞察：分析表明，虽然增加支持轨迹有助于估计特定任务，但增加训练数据量可以减少由训练序列有限长度引入的偏差，这对于长视界任务至关重要。

主要贡献

序列决策的 SFT 框架：作者提出了一种方法，在离线轨迹上微调预训练 LLMs，使其能够通过少样本演示泛化到新任务，而无需额外的参数更新。
离线专家数据的应用：该框架利用离线数据集结合最优动作专家来合成高质量训练轨迹。这在医疗保健等实验成本高昂或不道德的领域尤为相关，其中基于专家的监督可以从日志数据中构建。
误差的理论分解：本文提供了一个理论界限，将上下文估计误差与训练长度偏差分离，为 SFT 观察到的性能提升提供了形式化解释。
复杂环境下的实证评估：该研究将评估从标准 MDPs 扩展到包括POMDPs（部分可观测性）和APOMDPs（模型模糊性），证明了在这些更现实且更具挑战性的环境中的鲁棒性。

实验结果

作者在 MDP、POMDP 和 APOMDP 设置的合成任务上评估了他们的方法，将 SFT-LLM 与随机基线、仅 ICL 基线以及决策预训练 Transformer（DPT）进行了比较。

性能提升：微调后的 LLMs 相比随机策略和仅 ICL 基线，实现了显著更小的最优性差距。
- 在MDPs中，SFT 在长视界设置中大致将最优性差距减半（例如，在视界 $T=15$ 时，差距从约 43% 降至约 15%）。
- 在POMDPs和APOMDPs中，提升更为显著，SFT-LLMs 即使在部分可观测性（ $q=0.8$ ）和模型模糊性下也保持了较低的最优性差距。
与 DPT 的比较：SFT 方法在所有设置中始终优于 DPT。值得注意的是，在 APOMDPs 的悲观准则下（ $\alpha=1.0$ ），随着模糊集大小的增加，DPT 与 SFT-LLM 之间的性能差距扩大，而 SFT-LLM 保持稳定。
鲁棒性：该模型对分布外（OOD）测试条件表现出鲁棒性，在训练分布之外的参数（例如不同的转移概率或观测噪声水平）上测试时，仍保持较低的最优性差距。
暗室任务：在具有稀疏奖励和隐藏目标的挑战性暗室任务中，SFT-LLM 达到了专家性能的约 95%，显著优于随机策略。

意义与主张

本文主张，监督微调为赋予预训练 LLMs 源自离线数据的序列决策能力提供了一条有效途径。其重要性在于：

它利用了预训练期间获得的广泛表征能力，可能改善跨多样化任务的泛化能力。
它为医疗保健等离线数据丰富但在线实验受限的领域提供了实用解决方案。
它证明了 LLMs 能够处理涉及部分可观测性和模型模糊性的复杂决策场景，而这些场景在现有的 ICL 决策文献中常被忽视。
误差的理论分解提供了一种原则性的理解，阐明了训练数据量与上下文示例如何相互作用以决定策略质量。

作者承认了局限性，包括微调的计算成本、对最优专家的依赖（对于复杂问题可能难以计算），以及理论分析侧重于线性 MDPs。他们建议未来的工作应侧重于将该框架应用于真实世界的临床数据集，减少对专家监督的依赖，并探索多模态设置。