💬 NLP

The Invisible Editorial Layer: Formalizing Undisclosed Inference-Time Steering, Probability Placement, and the Attribution Problem in Deployed Language Models

本文认为，未披露的推理时干预在部署的语言模型中创造了一个隐藏的“编辑层”，从而系统性地偏置输出并模糊归因，这使得建立诸如“推理策略透明度”之类的新型治理框架成为必要，以填补模型权重与观测行为之间的鸿沟。

原作者： Augusto Camargo

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Augusto Camargo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当我们向大型语言模型提问时，我们往往想象的是人类与机器之间的一场直接对话。我们假设答案直接来自计算机的大脑，仅由其训练数据和我们输入的文字所塑造。这种观点将模型视为一个静态的图书馆，其中的书籍是固定的，唯一的变量只是图书管理员从书架上抽出了哪本书。然而，这些系统在现实世界中的运作方式比这更为复杂。这些模型背后的技术已经成熟到不仅可以检索信息，甚至可以在一句话尚未完成之前，就微妙地改写下文出现的概率。这发生在一个位于模型的内核知识与你在屏幕上看到的最终文本之间的隐藏软件层中。在这个空间里，机器的原始输出可以被引导、调整或操纵，而无需改变机器底层的记忆。

奥古斯托·卡马戈（Augusto Camargo）的一篇新论文探讨了这一隐藏层的后果，认为如果我们只关注模型本身，那么我们观察的对象就错了。作者指出，对 AI 言论最显著的影响可能不在于其训练数据或内部代码，而在于应用在它即将开口说话那一刻的隐形规则。这项研究将关注点从“模型知道什么？”转向了“谁在控制模型被允许说什么？”该论文并不声称这些系统目前正以某种特定的、已证实的途径在操纵世界，而是指出实现这一目标的各种技术工具已经存在，且已被用于其他目的，并且在很大程度上对使用者而言是不可见的。这是一种呼吁，要求人们意识到，你收到的答案不仅仅是模型的反映，更是一个可以为了政治、商业或意识形态原因进行调优而无需他人知晓的系统的产物。

这一论点的核心基于一个简单但强有力的观察：模型并不等同于交付其答案的系统。在标准设置中，用户输入提示词，模型生成一系列具有不同概率的候选词，然后计算机从中选择一个。论文指出，在现代现实世界的应用中，中间通常存在额外的步骤。在计算机做出最终选择之前，一段独立的软件可以查看这些概率并对其进行调整。它可以让某些词出现的可能性略微增加，而让另一些词的可能性略微降低，而这一切都无需改变模型的内部权重或用户的提示词。这个过程类似于广播电台可能会稍微提高某首特定歌曲的音量以使其脱颖而出，尽管歌曲本身并未改变。论文将此形式化为“推理策略”（inference policy），即一套在生成过程的最末端运行的规则。

作者证明了这种能力并非理论上的推测，它已经是用于其他用途的成熟技术。例如，公司使用类似的方法在文本中嵌入不可见的数字水印，以证明该文本是由 AI 编写的，或者用来引导模型远离有毒语言。论文认为，用于添加水印或确保安全性的相同技术机制，可以被重新利用于更微妙的事情：框架构建（Framing）。框架构建是指以一种强调某些方面同时淡化其他方面的方式来呈现主题，从而在不歪曲事实的情况下影响一个人的理解。一个系统可以被编程为始终选择那些让政府政策听起来像是保护性措施的词汇，而另一个版本的同一系统则可以被调优，使完全相同的政策听起来像是一种官僚主义的负担。两种回答在事实上都可能是正确的，但词汇的选择会引导用户走向特定的情感或政治结论。

这导致了一个论文中所称的“归因问题”（attribution problem）。如果用户提出了一个政治问题并收到了一个带有偏见的答案，那么几乎无法判断这种偏见来自何处。是因为模型是在有偏见的数据上训练的吗？是因为开发者在系统中加入了隐藏指令吗？还是因为第三方付费要求改变概率的方向？由于这种调整发生在生成答案前的瞬间，它在对话历史中不留任何痕迹。不同于可能会被意外揭露的隐藏指令，或是可能在测试中显现出来的偏见数据集，这种引导对于观察模型代码或最终文本的人来说是不可见的。论文指出，这使得追究 AI 所表达观点的责任变得极其困难，因为影响的来源隐藏在部署层，而非模型本身。

作者还引入了一个名为“概率放置”（probability placement）的概念，这描述了一种假设性的新型广告形式。公司不再是通过支付费用让其产品在答案中被明确提及，而是可以通过支付费用，使其品牌在模型决定选项时，被选中的概率略微提高。想象一下，当你询问关于使用哪种数据库的建议时，模型可能自然地认为三个选项同样优秀，但一项商业政策可以推动概率，使得支付公司的产品成为最可能的选择。这会在没有任何显式广告、用户完全没有意识到自己受到影响、且模型从未被告知要“销售”任何东西的情况下发生。这是一种将商业影响力直接嵌入到推荐机制结构中的方式，使其听起来像是一种自然、无偏见的意见。

论文研究了这些动态如何与现行法律法规（如欧盟《人工智能法案》和广告标准）相互作用。它指出，虽然存在防止潜意识操纵或要求披露商业关联的法律，但这些法律是针对旧技术编写的。它们假设如果一个产品正在被推广，那么它是显而易见的。它们并未考虑到这样一个系统：其中的推广仅仅是单词出现概率的一个微小的统计学偏移。作者认为，如果一个系统能够系统性地引导用户走向特定的政治观点或商业选择，而用户却对此毫不知情，这便挑战了“知情决策”的基本概念。其危害可能不会在单次对话中立即或明显地显现，但论文指出，经过数百万次的交互，这种微妙的引导可能会积累起来，从而深刻地塑造公众舆论和市场行为。

最终，这项研究提出了一种新的治理原则，称为“推理策略透明度”（inference policy transparency）。这将要求公司不仅要披露其模型的训练方式，还要披露在使用过程中是如何对其进行引导的。它呼吁建立一种规则，使修改概率的规则是可见且可审计的，就像食品包装上的标签一样。其目标是将问题从“模型编码了什么？”转变为“谁在控制模型与用户之间的概率分布？”论文总结道，随着这些系统在获取信息、做出决策和进行辩论方面变得越来越核心，我们必须认识到模型仅仅是方程式的一部分。那个位于机器与人类之间的隐形层，正是现在掌握着塑造现实之实权的所在，而这一层目前仍处于黑暗之中。

技术摘要：不可见的编辑层

问题陈述

当前对大语言模型（LLM）的评估基于一个假设，即可观测的行为完全由模型权重、训练数据、对齐程序和用户提示词决定。本文认为这一观点是不完整的。现代推理流水线通常包含一个未公开的中间层——推理策略（Inference Policy）——该层会在采样前系统性地修改标记（token）的概率分布。

虽然受控生成技术（如 PPLM、GeDi、DExperts）和文本水印技术（如 SynthID-Text）在技术上已经成熟，但对于未公开推理策略的治理、安全和经济影响仍缺乏深入研究。具体而言，本文探讨了**推理时框架偏差（inference-time framing bias）**的风险，即外部目标（政治、意识形态或商业）在不改变底层模型权重且不伪造事实的情况下，系统性地将生成概率向特定框架偏移。这造成了“模型 $\neq$ 部署系统”的差距，即用户观察到的行为是冻结的模型与部署层干预后的复合体。

方法论与形式化

本文采用一种形式化的架构方法来定义和分析这一现象，而非进行新的实证实验。

形式化 Logit 级转向（Logit-Level Steering）：
作者将推理策略 ( $I$ ) 形式化为应用于基础模型输出的 logits ( $z$ ) 的一种变换，该变换发生在采样之前。修改后的 logit 向量 $z'$ 定义为：
$z'_t = z_t + \lambda S(w_t, c, u, e)$
其中：
- $S$ 是外部评分函数。
- $c$ 是语义上下文。
- $u$ 代表用户画像属性。
- $e$ 代表外部目标（商业、政治、制度）。
- $\lambda$ 控制干预强度。
该公式表明，干预可以通过概率转向（概率质量的边际偏移）而非硬性审查（将标记置零）来实现。这使得在保持事实准确性的同时，能够系统性地调节主题显著性、形容词选择和叙事框架。
威胁建模：
本文概述了三种主要的部署场景：
- 政府强制转向： 国家强制执行的政策，通过改变对安全、经济或民权等问题的解释分布，而不删除信息。
- 个性化政治框架： 利用用户画像 ( $u$ ) 提供定制化的修辞框架（例如：强化支持者的立场，或说服中间选民），这种做法对外部审计师是不可见的。
- 概率植入（Probability Placement）： 一种假设性的商业原语，通过将概率质量向特定品牌或属性偏移（例如：将某一品牌与“安全”而非“传统”联系起来）来实现赞助影响力，而非显式的产品插入。
归因框架：
本文引入了推理归因问题（Inference Attribution Problem），形式化了区分行为偏差来源的认识论难度。在黑盒访问下，观察到的偏差无法在因果上归因于模型权重本身，因为其可能源于：
- 预训练数据或 SFT/RLHF。
- 隐藏的系统提示词或 RAG 索引。
- 推理时 Logit 处理器 ( $I$ )。
- 商业转向 ( $e$ )。
与提示词注入或 RAG 不同，Logit 操作不会在对话历史中留下痕迹，且不会产生额外的上下文窗口成本，这使得通过静态审计进行检测变得极其困难。

核心贡献

本文并非引入新的生成算法，而是形式化了在未公开目标下应用现有转向机制所产生的后果。其五项核心贡献如下：

形式化未公开的推理转向： 将其定义为一种部署层干预，其中外部目标在不更新权重的情况下修改用户端的分布。
推理归因问题： 表征了在有限的可观测性下，无法将观察到的偏差因果归因于特定堆栈组件的问题。
概率植入： 定义了一种商业机制，通过系统的概率偏移而非显式广告来施加影响，类似于生成式文本中的“产品植入”。
推理策略透明度： 提出了一项治理原则，要求披露除技术解码、安全过滤或用户请求的转向之外的所有采样修改。
实证研究议程： 概述了一个使用黑盒方法检测隐藏语义框架的框架，例如比较 API 与聊天界面、地理 IP 位置以及用户身份验证状态。

结果与发现

作为一篇理论与形式化论文，本文不呈现实验结果（如检测准确率或特定的偏差测量值）。相反，其“结果”是概念性和架构性的：

架构先例： 生产规模的水印技术（如 SynthID-Text）的存在，为通过外部目标函数刻意扰动 Token 概率分布且保持输出质量提供了实证证明。本文指出，虽然水印并不意味着供应商在秘密操纵政治辩论，但它证明了生产流水线可以在不损害流畅性的情况下，系统性地调制采样分布。
解耦： 本文确立了在大规模应用下， $P_{base}(w_t | x) \neq P_{served}(w_t | x)$ ，使得中间变换层成为了一个关键的治理对象。
监管空白： 分析表明，如果单次交互未导致“急性、可识别的认知伤害”，细微的推理转向可能落在当前禁令（如欧盟《人工智能法案》第 5 条）的范围之外，即便其在人口层面的影响是显著的。
检测局限性： 本文结论认为，静态权重检查和单次提示词黑盒审计不足以评估生产环境中的偏差，因为它们无法区分模型内部偏差与部署层操纵。

意义与主张

本文声称其主要意义在于将核心治理问题从**“模型编码了什么？”转向了“谁控制着模型与用户之间的概率分布？”**

本文认为，“不可见的编辑层”代表了一个不同于预训练和对齐的新控制点。通过形式化冻结模型与部署系统之间的差距，本文强调了：

归因问题： 若缺乏对推理策略的可视性，则无法审计模型的中立性。
对伤害阈值的挑战： 难以监管那种通过重复交互积累影响力的“软性”框架，因为这类行为不会触发即时的安全分类器或导致急性的个体伤害。
系统性民主风险： 对话式 AI 中个性化、权威性、规模化和不透明性的结合，创造了一种复合风险，即民主决策和市场选择正受到私人、动态且未公开的中介机构的调节。

本文最后提出，推理策略透明度和密码学证明（验证推理策略的哈希值）是必要的治理机制，旨在使这些部署层干预变得可审计且可披露。