🤖 machine learning

In-Context Fixation: When Demonstrated Labels Override Semantics in Few-Shot Classification

本文揭示，上下文学习模型在机制上被限制为将演示令牌视为完备词汇表，导致当标签槽位被同质化甚至语义有效的令牌填充时准确率崩溃，而这一现象局限于特定神经回路，它们以格式驱动的令牌检索取代了语义理解。

原作者： Ming Liu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ming Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但略显死板的机器人玩猜谜游戏。你给它展示几个游戏运作的示例（演示），然后让它对新情况做出猜测。这被称为“上下文学习”。

通常，我们认为机器人是从你的示例中学习了游戏的规则。但这篇论文发现了一个奇怪的漏洞：机器人实际上并没有学习规则；它只是在复制你给它的答案列表。

以下是研究人员发现的要点，使用简单的类比进行说明：

1. “答案列表”陷阱

想象你正在向机器人展示如何识别动物。

正常情况： 你给它看 4 张狗的照片和 4 张猫的照片。它学会了：“哦，答案通常是‘狗’或‘猫’。”
漏洞（同质标签）： 你给它看 8 张猫的照片，并告诉它所有答案都是“猫”。然后你给它看一张狗的照片，问：“这是什么？”
- 你的预期： 机器人看到狗，会说：“那是狗。”
- 实际发生： 机器人看着你给出的 8 个“猫”的答案列表，决定“猫”是游戏中唯一允许的单词，于是它仍然回答“猫”——尽管这是错的。

研究人员发现，如果你给机器人一个全是相同答案的列表，它的准确率会暴跌至接近零（有时甚至低于 12%）。它不再思考图片内容，而是开始想：“我必须从你刚给我的列表中选择一个词。”

2. “无意义词汇”实验

为了证明机器人并非仅仅被“猫”这个词搞糊涂了，研究人员尝试了更奇怪的方法。他们给机器人展示了答案是无意义词汇（如"foo"、"bar"、"vex"、"nit"和"orb"）的示例。

设置： 他们向机器人展示了 8 个包含这些无意义词汇的示例。然后，他们给它看一张真实的狗的照片，并要求给出答案。
结果： 尽管"foo"和"bar"对于狗来说毫无意义，机器人拒绝说“狗”。相反，它有 42% 到 67% 的概率从你给出的列表中选择一个无意义词汇。
教训： 机器人将你给出的词汇列表视为一个封闭菜单。如果“狗”不在你提供的菜单上，机器人宁愿挨饿也不要点单外的菜。无论菜单上的项目是否无意义，机器人都会从中抓取一个。

3. “双重思考”机制（内部运作原理）

研究人员通过一种称为“机制可解释性”的技术查看了机器人的“大脑”，以观察这是如何发生的。他们发现了一个两步过程，称为“先编码后覆盖”。

这就像一位作家在起草故事：

第一步（聪明部分）： 机器人的底层网络读取狗的照片，正确地认为：“这是一只狗。”它已经准备好了正确答案。
第二步（漏洞）： 机器人的上层网络查看你给出的示例列表。它们看到列表上写着“猫”（或"foo"）。于是它们决定：“不，这次对话的规则规定我们只能使用列表中的词。”
覆盖： 上层网络抹去了正确答案（“狗”），并强制机器人输出列表中的一个词。

这就像一个学生知道数学题是 2+2=4，但老师说：“在这个班里，我们只使用 5、6 和 7 这几个数字。”学生知道真相，但“课堂规则”（示例）迫使他们写下"5"而不是正确答案。

4. 即使是大机器人也会发生

你可能会想：“也许这只会发生在又小又笨的机器人身上。”研究人员在从小型到大型（高达 80 亿参数）的模型上测试了这一点。

发现： 这个漏洞发生在所有模型上。即使是测试组中最聪明的机器人也掉进了这个陷阱。事实上，更大的机器人有时掉进陷阱的程度更严重，当示例具有误导性时，准确率会从 86% 暴跌至 0%。

5. “最后一个词”规则

研究人员还发现了一个关于机器人何时倾听的奇怪特性。

如果你给它 7 个“猫”的示例，并在最后放 1 个“狗”的示例，机器人会忽略前 7 个，只听从最后一个。
如果你把“狗”的示例放在开头，机器人会完全忽略它。
类比： 机器人的注意力非常短暂。它只关心它最近看到的答案列表，并将该列表视为当前问题的绝对法则。

总结

该论文得出结论：这些 AI 模型并不总是“学习”任务的概念。相反，它们通常只是检索你给它们的答案列表，并从中选择，而忽略了问题的实际含义。如果你给它们一个无意义的列表，它们就会用无意义的内容回答。如果你给它们一个全是“猫”的列表，它们就会把狗称为“猫”。

为什么这很重要（根据论文）：
如果你使用这些模型来处理诸如分类电子邮件或基于数据库回答问题等任务，而你调取的示例碰巧都具有相同的标签（即使是偶然），模型就会停止思考，直接复制该标签，从而导致巨大的错误。解决方法是？确保你展示给机器人的示例是多样化的，并且也许在列表的末尾放一个正确的示例，以“重置”它的大脑。

技术摘要：上下文固化

问题陈述

尽管先前的研究（Min 等人，2022）表明随机的演示标签对上下文学习（ICL）性能影响微乎其微，但本文识别出一种被称为上下文固化（In-Context Fixation）的关键失效模式。作者证明，当演示共享同质标签时（即使这些标签在语义上是有效的），模型准确率会在各种架构和任务中崩溃至 $\le$ 12%。

关键在于，论文论证触发因素并非标签的正确性，而是标签槽位本身的内容。模型似乎将演示中标签位置占据的 token 视为一个 exhaustive 的答案词汇表。这种行为与潜在概念贝叶斯解释（Xie 等人，2022）相矛盾，后者预测多样化的无意义标签应导致一个弥散的后验分布，从而允许语义推理进行恢复。相反，模型将其输出严格绑定到演示的 token 清单上，覆盖了语义合理性。

方法论

本研究采用多管齐下的方法，结合行为分析、因果机制可解释性和跨架构验证：

实验设置：
- 任务：四个单 token 二分类任务（类别、情感、温度、大小）和 4 类多分类任务。
- 模型：涵盖三个系列（Pythia、Llama、Qwen）的六个基础模型，参数量从 0.8B 到 8B。
- 条件：
  - 误导路径（Garden-Path, GP）：所有 8 个演示共享一个与测试答案相反的标签。
  - 多样化无意义：演示使用来自集合 $\{foo, bar, vex, nit, orb\}$ 的多样化无意义 token。
  - 多 token：使用如"very positive"这样的 verbalizers 来分解格式固化与内容固化。
- 指标：准确率、演示集合与正确答案上的概率质量，以及通过修补（patching）实现的恢复率。
机制分析：
- 单项目配对激活修补：在 Pythia-1B 上使用，将来自控制提示（正确标签）的注意力层激活交换到误导路径提示中，以识别因果电路。
- Logit Lens：应用于 Llama-3.2-1B，追踪 logits 在各层中的演变，观察“编码 - 然后覆盖”轨迹。
- 直接 Logit 归因（DLA）：用于识别导致固化的特定注意力头。

主要贡献

任务通用现象：固化效应在四个任务、六个模型和三个模型系列（0.8B–8B）中均表现稳健。在所有 12 个任务 $\times$ 模型组合中，GP 准确率均低于 15%，与平衡对照组相比存在 64–100 个百分点的差距。
集合级固化（受限词汇检索）：论文证明，固化作用于整个演示标签集合，而不仅仅是单个 token。即使使用多样化的无意义标签，模型也将 42–67% 的概率集中在演示集合上，同时抑制语义正确的答案（ $P(dog) < 0.2\%$ ）。这证明模型是从演示清单中检索，而非从潜在概念中推断。
泛化至多分类和多 token：
- 固化延伸至 4 类分类，当标签同质化时，准确率降至 0%。
- 在多 token verbalizers 中，固化分解为格式级（采用"very X"模板）和内容级（极性覆盖）组件，实验表明这两者是可以解耦的。
首个 ICL 失效模式的因果电路：
- 在 Pythia-1B 中，单项目配对修补恢复了**98.4%**的准确率差距。
- 该电路定位于以第 7 层为中心的电路（具体涉及第 7、10 和 11 层）。
- 仅由4 个头（跨越 3 层）组成的稀疏联盟实现了 87.6% 的恢复，尽管该电路是分布式的（存在冗余路径）。
跨架构复现：在 Llama-3.2-1B 上的 Logit lens 分析证实了**“编码 - 然后覆盖”**轨迹：中间层（L9–L11）编码正确答案，但在误导路径条件下，上层（L12–L15）将其覆盖。Llama 上的单项目修补证实了因果充分性（前 5 层实现 89% 恢复）。

结果

剂量 - 反应关系：随着误导性演示数量的增加，准确率单调下降。在 Qwen3-8B 中，仅增加一个误导性演示（从 $k=7$ 变为 $k=8$ ）就会导致准确率从 42% 近乎不连续地崩溃至 0%。
集合级边界：当正确标签（例如"dog"）被排除在演示集合之外时，无论演示标签的语义有效性如何，其概率相对于平衡对照组被抑制了 1.6–9.4 倍。
近因偏差：在最后一个位置（位置 8）放置单个纠正性演示可以完全逆转固化（0% $\to$ 100% 准确率），覆盖七个对立的演示。
校准失败：上下文校准方法无法解决固化问题，仍留下 40 个百分点的残差差距。
指令微调：指令微调模型在原始提示下也表现出固化，尽管聊天模板可以在某些模型中缩小差距（例如 Llama-3.2-3B-Instruct），表明该效应与提示格式存在交互。

意义与主张

论文声称揭示了ICL 输出是受限词汇检索，而非语义推理或潜在概念贝叶斯更新。无论语义合理性如何，模型都将其输出绑定到演示的 token 清单上。

机制洞察：“编码 - 然后覆盖”轨迹为 ICL 失败提供了机制解释：模型在中间层正确计算答案，但在上层为了演示标签集合而将其丢弃。
理论意义：这一发现挑战了将 ICL 视为纯粹隐式贝叶斯推理的观点。它提出了一种“槽位条件化集合检索”机制，其中标签槽位定义了输出分布的支持集。
实际意义：作者将其识别为部署系统（例如 RAG 管道、代理脚手架）的具体可靠性失效模式。他们提出演示多样性至关重要；具体而言，在提示末尾附加一个多样化的、正确标记的演示可以缓解该效应。
安全性：该机制构成了一个提示注入攻击面，其中控制演示选择的攻击者可以通过确保标签同质性来确定性覆盖模型预测。

论文结论指出，虽然该效应在 8B 参数下依然存在，但具体的电路架构因模型而异（例如 Pythia 与 Llama），该现象值得在更大模型和推理任务中进一步研究。