💻 computer science

Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation

本文提出了一种名为“语义三角测量”的理论框架，通过将原问题转化为需要不同算法的解耦变体并交叉验证独立生成的解决方案，有效降低了大语言模型生成代码中的幻觉错误，在多个基准测试和模型上显著提升了正确代码的筛选概率与 F1 分数。

原作者： Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为**“语义三角测量”（Semantic Triangulation）**的新方法，旨在解决大语言模型（LLM）写代码时经常“胡编乱造”（即幻觉）的问题。

为了让你轻松理解，我们可以把大模型写代码的过程想象成**“侦探破案”，而这篇论文就是给侦探提供的一套“防骗新招数”**。

1. 核心问题：为什么现在的“侦探”会抓错人？

想象一下，你让大模型（我们叫它“AI 侦探”）写一个程序来解决数学题。

现状：AI 侦探经常犯错，而且它犯的错误很有规律。比如，它可能总是用同一种错误逻辑去解题。
旧方法（多数投票）：以前的做法是，让 AI 侦探写 10 个答案，然后看哪个答案出现次数最多，就选哪个。
- 比喻：这就像警察抓嫌疑人，问了 10 个嫌疑人，结果 10 个人都编了一模一样的假口供。这时候，警察以为“大家都这么说，那肯定是真的”，结果反而被集体骗了。因为 AI 的“假口供”往往是** correlated（相互关联）**的，它们会互相“串供”。
旧方法（自动测试/规范）：以前的另一种做法是让 AI 自己写测试代码，或者自己写“任务说明书”来验证答案。
- 比喻：这就像让那个正在撒谎的嫌疑人自己当法官，去审判自己。既然法官和嫌疑人用的是同一种错误的逻辑，法官当然会判嫌疑人“无罪”。

2. 新招数：什么是“语义三角测量”？

这篇论文提出的核心思想是：不要问同一个问题，要换个完全不同的角度去问，看看能不能对得上号。

这就好比侦探在审讯嫌疑人时，不再问“你昨晚在哪？”，而是突然问：“如果你昨晚在 A 地，那你现在鞋底的泥土应该来自哪里？如果你昨晚在 B 地，你的手表时间应该显示几点？”

核心策略：解离（Dissociation）
作者把原来的编程题目（比如“把字符串里的问号变成字母”），通过一种魔法，彻底变形成另一个看起来完全不一样的题目（比如“给定结果，反推原来的字符串”）。
- 比喻：原来的题目是让你**“写诗”，变形后的题目是让你“根据诗猜作者”**。
- 关键点：写诗和猜作者，需要的大脑回路和算法完全不同。如果 AI 在“写诗”时是瞎编的，它大概率在“猜作者”时也会瞎编，而且瞎编的内容很难刚好对上。
三角验证（Triangulation）
1. 让 AI 解原题（得到答案 A）。
2. 让 AI 解变形题（得到答案 B）。
3. 用一套严格的数学规则（称为“超属性”）检查：答案 A 和答案 B 能不能完美互锁？
  - 如果 A 是真话，B 也是真话，它们一定能严丝合缝地对上（就像拼图的两块）。
  - 如果 A 是假话（幻觉），B 也是假话，它们就像两块乱拼的拼图，根本拼不到一起。

3. 为什么这招这么管用？

论文里用了几个很形象的比喻和理论：

打破“串供”：因为变形后的题目需要完全不同的算法（比如一个是“打印机”，一个是“解析器”），AI 很难在两个完全不同的任务上，恰好编出一模一样的错误。一旦它们对不上，我们就知道有诈。
处理“多解”难题：有些题目本身就没有唯一答案（比如“写个脚本处理数据”，只要结果对，格式可以不同）。旧方法在这种题目上很容易失效，因为 AI 可能选了个“虽然对但不是主流”的答案。但“三角测量”通过枚举所有可能，能精准地找到那个“虽然冷门但正确”的答案。
数学证明：作者不仅靠直觉，还用了数学公式证明：只要变形得足够“离谱”（解离），且能建立一一对应的关系，这种方法找到正确答案的概率，绝对比“少数服从多数”要高。

4. 实际效果如何？

作者开发了一个叫 just-tri-it 的工具，在最新的代码测试集（LiveCodeBench 和 CodeElo）上进行了测试：

准确率提升：相比以前的方法，它选对代码的概率提高了 24%。
敢于说“不知道”：当题目太难，AI 确实不会做时，旧方法可能会硬选一个错的，而新方法会主动放弃（Abstain），说“我选不出来”，从而避免了错误。在“选对”和“不乱选”的平衡上，它的表现提升了 26%。
攻克难题：即使 AI 只有 7% 的概率能写出正确答案（也就是 100 次里只有 7 次对），这个方法也能把这 7 次挑出来，而旧方法通常会忽略。

5. 总结

简单来说，这篇论文告诉我们要**“换个脑子想问题”**。

当 AI 写代码时，不要只盯着它给出的答案，也不要让它自己给自己找补。而是把问题倒过来、拆开来、或者换个问法，让 AI 在两个完全不同的维度上“自证清白”。如果它在两个维度上都能逻辑自洽、严丝合缝，那它大概率就是真的懂；如果它顾此失彼、前后矛盾，那它就是在“胡编乱造”。

这是一种让 AI 从“盲目自信”变得“谨慎可靠”的聪明办法。

这是一篇关于利用**语义三角测量（Semantic Triangulation）**来减少大语言模型（LLM）生成代码中幻觉（Hallucinations）的学术论文。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心痛点：LLM 能够根据自然语言描述生成可执行代码，但生成的程序经常包含由“幻觉”导致的 Bug 或漏洞。
现有方法的局限性：
- 多数投票（Plurality Voting）：假设生成多个样本并选择出现频率最高的。然而，LLM 容易产生相关性错误（Correlated Errors），即不同样本倾向于犯相同的错误。这导致多数投票不仅无法纠正错误，反而放大了共同的幻觉。
- 代理验证（Proxies）：使用 LLM 生成的测试用例或自动形式化规范（如 Hoare 三元组）来验证代码。由于这些代理也是由同一个不完美的 LLM 生成的，它们往往与错误代码“共谋”，无法识别出错误（即缺乏区分度）。
- 不变性测试（Metamorphic Testing）：通过改写问题描述来测试一致性。但 LLM 对微小的语义扰动具有鲁棒性，改写后的问题往往仍会引发相同的错误逻辑。
具体挑战：
- 在**不精确问题（Inexact Problems）**中（即存在多个有效解），传统方法难以达成共识。
- 在低概率正确解（Correct Solution Probability < 0.5）的情况下，现有方法难以可靠地选出正确答案或拒绝错误答案。

2. 方法论：语义三角测量 (Methodology)

论文提出了一种基于理论的框架——语义三角测量（Semantic Triangulation），旨在通过解耦模型错误来提高代码正确性的置信度。

核心思想

模仿侦探破案：通过从根本上不同且意外的角度（解离视角）来审视同一个问题，迫使 LLM 在不同视角下难以维持一致的欺骗（幻觉）。如果两个独立生成的解决方案在转换后的视角下依然一致，则极大地增加了其正确性的可信度。

理论框架定义

一个语义三角测量由一对 $(\tau, \phi)$ 组成：

解离变换（Dissociative Transformation, $\tau$ ）：将原始问题 $d$ $d$ 转换为一个非平凡不同的任务 $d'$ $d^{'}$ 。
- 关键要求： $d'$ 需要 LLM 使用** fundamentally different algorithm（根本不同的算法）**来解决（例如，将“打印”问题转换为“解析/逆推”问题）。
- 目的：破坏错误的相关性，使得在 $d$ 和 $d'$ 上产生完全相同的错误变得极难。
超属性（Hyperproperty, $\phi$ ）：定义原始问题解 $p$ $p$ 和变换后问题解 $q$ $q$ 之间的二元关系。
- 双射诱导（Bijection-inducing）：确保 $d$ 和 $d'$ 的解类之间存在一一对应关系。这意味着任何错误在变换后都会映射为独特的错误，不会发生“巧合匹配”。
- 正确性耦合（Correctness-coupling）：确保 $d$ 的正确解映射到 $d'$ 的正确解。

具体实现工具：just-tri-it

作者实现了工具 just-tri-it，包含四种具体的三角测量方法：

FWD-INV (前向逆推)：将问题转换为完全逆问题（输入变输出，输出变输入）。
FWD-SINV (前向集合值逆推)：针对非双射问题，转换为“给定输出，枚举所有可能的输入”的集合值逆问题。
ENUM-SINV (枚举 - 逆推级联)：专门针对不精确问题。
- 步骤 1：生成一个枚举器（Enumerator），列出所有可能的正确输出。
- 步骤 2：生成一个集合值逆函数。
- 步骤 3：验证枚举器与逆函数的一致性（ $\phi$ ），再验证原始解是否包含在枚举器的结果中。
STREAM：针对无状态流处理问题，将其分解为逐点（pointwise）处理问题并进行三角测量。

理论证明

论文在 Lean 中形式化证明了：在 LLM 是“随机鹦鹉”（Stochastic Parrot，即缺乏深层语义理解）且存在相关性错误的假设下，设计良好的语义三角测量能严格提高识别正确程序的概率（优于多数投票）。

3. 关键贡献 (Key Contributions)

理论框架：提出了首个基于理论基础的幻觉检测框架，通过跨任务解的一致性检查来增强 LLM 生成代码的置信度。
实践实例与形式化验证：实现了四种具体的三角测量方法，并在 Lean 中严格证明了它们满足双射诱导和正确性耦合的理论要求。
处理不精确问题：首次提出了一种能一致处理存在多个有效解（Inexact Problems）的方法，解决了传统共识方法在此类任务上的失效问题。
实证评估：在 LiveCodeBench 和 CodeElo（包含不精确问题子集）上进行了广泛评估。

4. 实验结果 (Results)

实验在 GPT-4o, DeepSeek-V3, 和 Gemini 2.5 Flash 三个模型上进行：

置信度提升 (RQ1)：
- 三角测量方法作为“合理性见证（Plausibility Witnesses）”，在同意（Agreement）条件下，正确程序的概率比基线（如自动生成的 Hoare 规范、测试生成）平均高出 24%。
- 非解离变换（如简单的语言转译）效果甚微，证明了“根本不同算法”的重要性。
选择与拒绝能力 (RQ2)：
- 在“选择或拒绝（Selection-or-Abstention）”场景下，just-tri-it 的拒绝 F1 分数（Abstention F1 Score）比最强的基线（Majority0.5，即只选概率>0.5 的解）高出 26%。
- 即使在正确解采样概率低至 0.07 的困难任务中，该方法仍能可靠地选出正确答案，而基线方法通常会拒绝或选错。
不精确问题处理 (RQ3)：
- 在 CodeElo 的不精确问题上，just-tri-it 表现出最一致的性能，平均可靠准确率比仅选择高置信度解的方法高出 14%。
消融实验 (RQ4)：
- 证明了**双射性（Bijection）**是关键。如果破坏双射性质（如使用普通的 Hoare 规范），正确率会显著下降。
- FWD-SINV（集合值逆推）在大多数基准测试中贡献最大。
成本分析 (RQ6)：
- 代价是时间和 Token 消耗增加了约 2.5 倍和 4.9 倍（相比多数投票），但相比自动形式化规范，其时间开销仅增加 1.5 倍，Token 增加 2.1 倍，具有较好的性价比。

5. 意义与影响 (Significance)

突破相关性错误瓶颈：提供了一种机制，通过强制模型在不同算法视角下解决问题，打破了 LLM 生成代码时常见的“共谋错误”模式。
解决不精确性难题：为编程竞赛和实际开发中常见的“多解问题”提供了可靠的验证方案，填补了现有技术的空白。
理论指导实践：将形式化验证的思想（双射、超属性）引入 LLM 代码生成的后处理阶段，为构建更可靠的 AI 编程助手提供了新的理论依据。
黑盒适用性：该方法不需要修改 LLM 内部权重，属于黑盒后处理策略，易于集成到现有的开发工作流中。

总结：这篇论文通过引入“语义三角测量”概念，利用问题变换（特别是逆问题和枚举）来解耦 LLM 的错误相关性，显著提高了从 LLM 生成的大量候选代码中筛选出正确代码的能力，特别是在困难任务和不精确问题上表现卓越。