PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

=== 摘要 ===
想象你正站在一个神奇的、无所不知的机器人面前，它非常喜欢讲故事。你给它一个秘密的起始句子，它会瞬间吐出一个漫长且引人入胜的故事。这就是现代“大语言模型”（LLMs）的工作方式：它们就像超级智能的自动补全引擎，通过逐一预测句子中的下一个词来构建回复。但问题的关键在于：如果你只看到了故事的结尾（即回复），你能准确推断出最初的开头（即提示词/Prompt）是什么吗？这就像是仅仅通过观察最后的将军时刻，就试图猜出国际象棋的第一步棋。通常情况下，这几乎是不可能的，因为许多不同的起始句子都可能导致相同的结局。科学家们一直试图解决这个“逆向”（inversion）谜题，以了解这些 AI 大脑是如何运作的，从而在它们泄露秘密时捕捉它们，或者看看我们是否能欺骗它们。以往的大多数尝试都需要窥探机器人的大脑（访问其内部代码）或使用海量的外部数据来猜测起始点。

现在，见见这些决定尝试不同技巧的研究人员。他们没有试图读取机器人的思想，也没有基于外部知识进行猜测，而是构建了一个“反向机器人”。他们教这个新机器人向后思考。原始机器人通过询问“接下来是什么？”来学习，而新机器人则通过询问“刚才发生了什么？”来学习。他们不需要看到原始机器人的秘密代码，也不需要使用庞大的外部书籍库。相反，他们与原始机器人玩了一场游戏：他们输入随机的起始词，并记录下它讲述的故事。然后，他们将这些故事按相反的顺序输入到这个新的“反向机器人”中，教会它预测那些必然出现在之前的词。这就像是在倒着看电影，并学习预测刚刚发生的场景。结果如何？这种被称为“前向标记预测”（Previous-Token Prediction, PTP）的新方法，可以以惊人的准确度重建原始的起始句子，即使当机器人是一个“黑盒”（意味着我们无法看到其内部）时也是如此。这表明，通过简单地翻转我们教导 AI 的方向，我们就能解锁一种强大的“倒带”思维的方式。

倒带时间的魔力

把大语言模型（LLM）想象成一个非常健谈的朋友，他非常擅长接你的话茬。如果你说，“从前，”他可能会说，“有一个龙。”如果你说，“天空是，”他可能会说，“蓝色的。”这位朋友的工作原理是观察你刚刚说了什么，然后猜测下一个词。这被称为“下一标记预测”（Next-Token Prediction）。这就是他们写故事、回答问题以及与我们聊天的方式。

但如果你只有朋友的答案，想知道你到底问了什么呢？也许你听到一个好故事，想知道究竟是哪个问题引发了它，或者你想看看这位朋友是否隐藏了某些秘密指令。这就是“逆向”问题。这很难，因为许多不同的问题都可能导致同一个答案。如果你的朋友说，“我爱吃比萨，”你可能问的是，“你最喜欢的食物是什么？”或者，“你周五喜欢吃什么？”甚至可以是，“跟我聊聊你的饮食习惯。”

旧方法 vs. 新技巧

在这篇论文之前，科学家们尝试通过以下两种方式解决这个问题：

1. 窥探大脑： 查看机器人的内部数学逻辑（logits）来逆向工程出问题。这就像是戴着 X 光眼镜来解谜。
2. 使用巨型参考指南： 训练一个独立的 AI，利用来自互联网的数百万个问答对来猜测问题。这就像是雇佣一名读遍了图书馆所有书籍的侦探。

这些旧方法的问题在于，它们通常需要特殊的访问权限（你无法从“黑盒”模型中获得），或者需要海量的外部数据。它们也往往只能猜到一个意思相近的问题，而不是完全相同的词汇。

“反向机器人”解决方案

这项研究的作者（与印度理工学院孟买分校和 Adobe Research 合作）提出了一个巧妙且自给自足的解决方案。他们不需要 X 光眼镜，也不需要图书馆。他们只需要机器人本身。

以下是他们构建“反向机器人”的过程：

1. 设置： 他们选取目标机器人（他们想要逆向的模型），并与它玩游戏。他们将它词汇表中的每一个词都作为起点，让它生成一段短小的故事。
2. 转折： 他们将这些故事反转了。如果机器人写了“The cat sat”（猫坐着），他们将其变为“sat cat The”（坐着 猫 The）。
3. 训练： 他们从头开始训练了一个全新的小型机器人（即“逆向模型”）。这个新机器人学习了一项新技能：前向标记预测（Previous-Token Prediction）。它不再是猜测“接下来是什么”，而是学习猜测“刚才发生了什么”。
   • 类比： 想象一下，通过只观看汽车倒车行驶的视频来学习开车。最终，你会变得非常擅长倒车，以至于如果你看到一辆停着的车，你可以完美地预测它行驶过的路径。
4. 微调： 为了确保机器人说话像人类，他们给了它一些真实的问答示例（来自名为 ShareGPT 的数据集），并教它也将这些内容进行反转。

结果：倒带录像带

当他们测试这种新方法时，结果非常令人印象深刻。他们使用了一个名为 Qwen3-0.6B 的模型，发现他们的“反向机器人”可以以极高的准确度重建原始提示词（问题）。

• 精确匹配（Exact Match）： 在约 64.77% 的情况下，重建的提示词与原始提示词完全相同。这意义重大，因为之前的方法通常只能捕捉到意思，而不是完全相同的词汇。
• Token F1 分数： 他们得到了 63.64 分，这是一个衡量单个词汇是否完美匹配的指标。
• 语义相似度（Semantic Similarity）： 即便词汇不完全一致，意思也非常接近（余弦相似度为 86.13）。

论文还表明，这个“反向机器人”具有很强的灵活性。即使他们在一种类型的机器人（Qwen）上进行训练，并要求它去猜测另一种类型机器人（如 LLaMA 或 GPT-4o）的提示词，它仍然表现得相当不错。虽然在精确词汇上并不完美（因为不同的机器人使用不同的词典），但它抓住了意思。这表明该机器人学习到了一种通用的“逻辑”，即如何进行逆向思维，而不仅仅是针对某个特定模型的技巧。

为什么这很重要

论文认为，这种方法优于旧方法的原因有以下几点：

• 它是“黑盒”解决方案： 你不需要看到机器人的内部代码或权重。你只需要与它交流。
• 它是自给自足的： 它不需要庞大的外部问答数据库。它通过与目标机器人互动来生成自己的训练数据。
• 它是忠实的： 因为它学习的是前向过程的精确逆过程，所以它可以重建精确的词汇，而不只是大致的想法。

然而，作者也谨慎地指出，这并不是解决一切问题的万能钥匙。如果试图进行逆向的模型使用了完全不同的符号集（词汇表）或截然不同的脑结构，那么精确的逐词重建会变得更加困难。此外，生成训练数据需要向机器人提出大量的提问，这可能会比较缓慢。

大局观

简单来说，这篇论文表明，如果你想知道一个机器人在开口说话之前在想什么，你不需要拆开它，也不需要雇佣侦探。你只需要教一个新的机器人如何向后思考。通过翻转剧本，将训练目标从预测“接下来是什么”改为预测“刚才发生了什么”，作者创造了一个能够以惊人精度“倒带”AI 对话的工具。这既是一个有趣的发现，也有力地提醒了我们：有时，为了理解未来，你只需要向后观察过去。