🤖 AI

Decomposing how prompting steers behavior

本文引入了一种嵌套几何分解框架，揭示了提示词如何通过改变大型语言模型和视觉语言模型的内部表示来引导模型，并证明了仿射变换——特别是跨维度的线性混合——是重新组织表示以匹配指令任务结构并恢复目标行为的关键机制。

原作者： Fan L. Cheng, Nikolaus Kriegeskorte

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Fan L. Cheng, Nikolaus Kriegeskorte

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（LLM）或视觉语言模型（VLM）视为一座巨大且复杂的工厂。在这座工厂内部，原材料（比如一张猫的照片或一段关于悲伤故事的文字）在通过一系列传送带（模型的层）时不断流动。随着它们的移动，材料被进行处理、重塑和组织。

通常情况下，为了改变工厂的产出，你必须重建机器（重新训练模型）。但**提示词（Prompting）*就像是一位经理走进工厂车间，大声下达新的指令：“停止按颜色分类，现在改为按大小分类！”* 机器本身没有改变，但输出结果突然发生了变化。

这篇论文提出了一个简单而深刻的问题：经理的一声呐喊，究竟是如何在后台重新排列传送带上的物品，从而实现不同的分类方式的？

以下是他们发现的详细拆解，使用了日常类比：

1. 实验：“神奇地图”

研究人员选取了一组物品（例如 1,000 张不同的图像），并向模型展示了两种不同的指令：

提示词 A： “这张图片里有人吗？”（回答“是/否”）。
提示词 B： “这张图片里有多少人？”（回答一个数字）。

他们观察了模型在不同深度下的“内部状态”（即传送带上物品的排列方式）。他们发现，对于提示词 A，物品的排列形状与提示词 B 是不同的。

随后他们问道：“我们能否绘制一张简单的地图，将‘是/否’的排列方式转化为‘计数’的排列方式？”

2. 五个层级的“地图”（嵌套分解）

为了找到答案，他们尝试了五种不同类型的数学“地图”（变换），从最简单的开始，逐渐变得复杂。你可以把这些想象成重新排列一堆书的不同方法：

平移 (Translation/滑动)： 仅仅是将整堆书从桌上的一个位置滑动到另一个位置，而不触碰书本身。
刚性 + 等比例缩放 (Rigid + Uniform Scaling/刚性移动)： 移动这堆书，并可能让整个物体稍微变大或变小，但保持书与书之间的相对形状完全不变。
刚性 + 轴向缩放 (Rigid + Axis Scaling/拉伸)： 移动这堆书，并在特定方向上进行拉伸（比如水平拉伸一层橡胶膜，但垂直方向不动）。
仿射 (Affine/混合)： 移动、拉伸并混合这些书。这就像是将“顶层”的书与“侧边”的书进行融合，从而创造出一个新的位置。
非线性 (Nonlinear/扭曲)： 弯曲桌子本身，以复杂且不可预测的方式扭曲书籍。

3. 重大发现：本质上是一种“混合”

研究人员发现：

“滑动”（平移）承担了大量的工作。 仅仅是将内部状态移动到一个新位置，就能解释很大一部分的变化。
但“混合”（仿射）才是秘密武器。 虽然滑动很有帮助，但模型真正需要通过混合其内部特征（跨维度的线性混合）来充分理解新任务。
“扭曲”（非线性）并非必要。 令研究人员惊讶的是，他们并不需要复杂的、扭曲的数学逻辑来解释这种变化。一旦加入了“混合”（仿射变换），模型行为几乎可以被完美还原。复杂的非线性部分并没有增加多少价值。

类比： 想象你有一个由乐高积木搭建成的城堡（提示词 A）。你想把它变成一艘宇宙飞船（提示词 B）。

你不需要熔化塑料（非线性）。
你不需要仅仅把盒子在房间里挪个位置（平移）。
你需要把城堡拆开，拉伸一些部件，然后将积木重新排列/混合成一个新的结构。论文发现，这种“重新排列与混合”正是提示词发挥作用的核心机制。

4. “因果”测试：地图真的有效吗？

为了证明这不仅仅是巧合，他们对模型进行了“手术”：

他们给模型输入一张带有“是/否”提示词的图像。
在特定的某一层，他们停止了处理过程。
他们对内部状态应用了他们的“混合地图”。
他们让模型完成后续的处理。

结果： 模型突然开始给出“计数”类的答案，尽管它在技术上仍是在回答“是/否”的问题！这证明了这种几何变换（地图）导致了行为的变化。

5. 不同的模型，不同的策略

就像不同的工厂有不同的经理一样，不同的 AI 模型也使用不同的策略：

OPT-2.7B 似乎在早期阶段高度依赖“拉伸”和“混合”（复杂的变换）。
Llama3 和 Qwen3 则似乎在早期更多地依赖简单的“滑动”（平移），或许是使用了一种特定的“指令代码”，只需将数据移动到正确的位置即可。

总结

论文得出结论：当你给 AI 一个新指令时，它并不需要从根本上重写大脑，也不需要进行复杂的、扭曲的数学运算。相反，它主要通过将其内部理解滑动到一个新位置，并以一种直线方式（仿射变换）混合其特征，从而适应新任务。

这为我们提供了一个清晰的、几何化的视角，去观察 AI 模型是如何“听从”指令的：它们本质上是在对其内部数据进行一种精密的、多步骤的重新排列，而我们现在可以精确测量出这种重新排列中有多少是简单的滑动，又有多少是复杂的混合。

技术摘要：解构提示词如何引导行为

问题陈述

指令提示（Instruction prompts）使大语言模型（LLMs）和视觉语言模型（VLMs）能够在不更新权重的情况下，在推理阶段改变其行为。虽然已有研究证实提示词会重构内部表示，但这种变换的具体机制本质仍不明确。现有文献通过标量指标（如表示相似性、流形容量）来刻画这些变化，或证明了工程化的低复杂度算子（如加性向量、旋转）可以引导行为。然而，在理解当指令发生变化时所产生的数学变换类别方面仍存在空白。具体而言，目前尚不清楚提示诱导的变化是更适合用简单的平移、刚性变换、仿射混合还是复杂的非线性变换来解释，以及这些变换是否因果性地驱动了观察到的行为转变。

方法论

作者引入了一个嵌套几何分解框架，用于分析提示词如何重塑表示几何结构。核心方法是将提示过程视为内容跟随提示词而进行的表示流形变换。

1. 嵌套几何层级

对于给定的模型、层、数据集和一对提示词（源提示词 $A$ 和目标提示词 $B$ ），作者拟合了一系列具有递增表达能力的、刺激不变的映射 $f: \mathbb{R}^D \to \mathbb{R}^D$ ，旨在将 $A$ 的隐藏状态对齐到 $B$ 。该层级由五个严格嵌套的变换类组成：

平移 ( $F_T$ )： 简单的均值偏移 ( $x + b$ )。
带均匀缩放的刚性变换 ( $F_{O_u}$ )： 旋转/反射和均匀缩放 ( $b + c(x-a)Q$ )。
带轴向缩放的刚性变换 ( $F_{O_a}$ )： 允许对齐轴进行独立的缩放 ($b + (x-a)QD$)。
仿射变换 ( $F_L$ )： 通用的线性混合加平移 ( $b + (x-a)M$ )。
非线性变换 ( $F_N$ )： 共享的多层感知机 (MLP) ( $b + g_\theta(x-a)$ )。

2. 评估指标

该框架使用三类度量标准在留出（held-out）刺激上评估这些变换：

增量解释方差 ( $\Delta R^2$ )： 在嵌套链中，每一层相对于前一层对目标提示词表示所解释的额外方差。
表示几何指标： 变换后的表示差异矩阵（RDM）与目标任务的 RDM 之间的 Spearman 相关系数，以及用于衡量聚类分离度的轮廓系数（silhouette scores）。
因果干预： 将拟合的映射应用于源提示词在单层中的隐藏状态，替换原始状态。随后模型继续前向传播。根据目标提示词的地面真值（ground truth），对输出的相关性（是否针对目标属性）和准确性（答案是否正确）进行评估。

3. 实验设置

模型： 三种 LLM（OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B）和三种 VLM（BLIP-2, LLaVA-OneVision, Qwen3-VL）。
数据集： 六个数据集（三个文本类：EmotionalStory, WritingStyle, Number；三个图像类：EmoSet, StyleTransfer, COCO），具有因子化属性结构，以支持跨属性和属性内的提示词比较。
提示词对： 六组，范围从跨属性（例如：主题 $\to$ 情感）到无关的源提示词。

关键结果

1. 提示词重塑几何结构以匹配任务结构

提示诱导的表示变化随层深增加而近乎单调增长。至关重要的是，随着深度增加，目标提示词的表示几何与任务结构（通过 RDM 相关性和轮廓系数衡量）的对齐程度越来越好，并在深层中与源提示词清晰分离。

2. 低复杂度映射解释了大部分方差

在所有模型和数据集中，平移对提示诱导的表示变化贡献了最大的份额，并在早期层中占据主导地位。带均匀缩放的刚性变换提供了下一个显著的贡献。

仿射变换是第一类能够几乎完全恢复目标提示词的任务几何并产生相应行为一致性提升的层级。
非线性变换提供了最强的恢复能力，但相对于仿射变换而言收益递减；从轴向缩放刚性到仿射的跃迁比从仿射到非线性的跃迁更为显著。

3. 模型与任务特定的路由策略

模型差异： 与 Llama3 和 Qwen3 相比，OPT-2.7B 更依赖于旋转、反射和非线性组件，而后者似乎使用更低维度的“指令代码”（由平移主导）。
提示词对差异： 特定提示词对（例如 yes/no 查询）比开放式提示词对更多地依赖于旋转和仿射变换。
深度依赖性： 平移在早期层占主导地位，而更高复杂度的层级（仿射、非线性）在中深层贡献更多。

4. 因果验证

因果干预证实，仅仅通过平移隐藏状态就可以显著引导行为。然而，仿射变换是恢复目标表示几何和高行为准确性的关键阈值。这表明，跨维度的线性混合是重组表示以适应指令任务的关键机制。

意义与主张

本文声称提供了一个将提示诱导的表示变化分解为可解释几何组件的通用框架。主要发现是，指令提示的影响在很大程度上可以被理解为内容表示的一种仿射变换。

机制洞察： 作者认为，虽然平移完成了“大部分工作”（即移动表示），但旋转和剪切（仿射组件）修复了实现任务对齐所需的残余结构化部分。
可解释性： 通过量化每个变换层级的贡献，该框架揭示了模型如何路由任务相关的结构。它表明，自然提示是通过激活空间中的低复杂度变换实现的，而不是需要复杂的非线性重构。
局限性： 作者明确指出，其分析仅限于零样本（zero-shot）指令提示，并未评估少样本（few-shot）演示、软提示（soft prompts）或长上下文调节。干预仅限于单个层和单个 token。

这项工作定位为一种诊断工具，用于理解自然提示的几何本质，而非开发新的引导算子的方法；它表明，提示的操作后果集中在完成主要平移后的残余精细结构（旋转和小部分非线性部分）中。