论文技术总结：多智能体协作提升数学解题能力，但对抗鲁棒性差距依然存在

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在数学推理任务上取得了显著进展，且研究表明，通过多智能体协作（Multi-agent Collaboration，如采样投票机制）可以进一步提升单模型的解题准确率。然而，LLM 在面对输入扰动（如拼写错误、标点符号干扰）时表现出脆弱性。

本研究旨在回答一个核心问题：当多个 LLM 智能体协作时，它们是否也能像提升清洁数据（Clean Data）上的准确率那样，显著提升在对抗性扰动输入下的鲁棒性？ 即，增加智能体数量能否消除或缩小“对抗鲁棒性差距”（Adversarial Robustness Gap）。

2. 方法论 (Methodology)

2.1 实验框架：Agent Forest

研究采用了一种统一的采样 - 投票框架（Agent Forest）：

• 采样：对于每个数学问题，使用同一个基础模型 $M$ 进行 $N$ 次独立推理（使用不同的随机种子），生成 $N$ 个候选答案。
• 聚合：通过**多数投票（Majority Voting）**机制，从 $N$ 个候选答案中选出最终答案。
• 变量设置：
  • 智能体数量 ($n$)：测试了 $n \in \{1, 2, 5, 10, 15, 20, 25\}$ 的不同规模。
  • 模型：评估了 6 款开源模型（Qwen3-4B/14B, Llama3.1-8B, Mistral-7B, Gemma3-4B/12B）。
  • 数据集：涵盖 4 个数学基准（GSM8K, MATH, MMLU-Math, MultiArith）。

2.2 对抗性扰动类型 (Noise Taxonomy)

研究构建了系统的噪声分类，分为两类：

1. 合成噪声（Synthetic Noise）：
   • 标点符号注入：在句子中随机插入标点符号（如 ., ,, ! 等），强度分别为 10%、30%、50%（Punct-10/30/50）。
2. 类人噪声（Human-like Noise）：
   • WikiTypo：基于维基百科编辑历史中的真实拼写错误，替换数据集中的单词。
   • R2ATA (Adversarial Typo Attack)：基于键盘输入习惯生成的对抗性拼写错误（如字符重复、替换、删除等），针对关键查询词进行攻击。

2.3 评估指标

• 准确率 (Accuracy)：清洁数据及不同噪声下的解题正确率。
• 攻击成功率 (ASR, Attack Success Rate)：衡量原本在清洁数据下能正确回答的问题，在加入噪声后回答错误的比例。ASR 越低，鲁棒性越好。

3. 主要发现与结果 (Key Findings & Results)

3.1 协作提升准确率，但收益递减

• 准确率提升：随着智能体数量 $n$ 的增加，所有模型在所有噪声条件下的准确率均呈现单调上升。
• 边际效应：从 $n=1$ 到 $n=5$ 时，准确率提升最显著；当 $n > 10$ 后，收益开始递减（Diminishing Returns），在 $n \approx 15$ 时趋于平稳。
• 模型表现：较大参数量的模型（如 Qwen3-14B, Gemma3-12B）绝对准确率更高，但较小模型通过协作也能获得显著的相对提升。

3.2 对抗鲁棒性差距依然存在 (The Gap Persists)

这是本研究最核心的发现：

• ASR 保持稳定：尽管增加智能体数量显著提高了整体准确率，但攻击成功率（ASR）并未随 $n$ 的增加而显著下降。
• 结论：多智能体协作（多数投票）无法有效消除对抗性扰动带来的系统性偏差。智能体们倾向于收敛到相同的错误答案，导致投票机制失效，无法通过“群体智慧”纠正由噪声引起的系统性错误。

3.3 噪声类型的影响至关重要

• 标点噪声 (Punctuation)：虽然会随强度增加导致准确率下降，但通过增加智能体数量（$n=5$ 左右），大部分性能损失可以被弥补，ASR 显著降低。
• 类人拼写错误 (WikiTypo & R2ATA)：
  • WikiTypo 是最大瓶颈：真实世界的拼写错误（如 "por" 代替 "for"）对模型破坏力最大。即使在 $n=25$ 时，WikiTypo 导致的 ASR 依然远高于标点噪声（通常 > 0.10）。
  • 原因分析：拼写错误改变了 Token 的语义表示（Semantic Integrity），导致嵌入空间中的向量发生根本性偏移，使得模型无法通过注意力机制恢复原意。而标点噪声通常保留单词的形态学根，模型较易恢复。

3.4 数据集差异

• 高难度数据集 (MATH, MMLU)：受噪声影响更大，ASR 更高，且随着 $n$ 增加，恢复程度有限。
• 简单数据集 (GSM8K, MultiArith)：受噪声影响较小，协作带来的收益更明显，ASR 随 $n$ 增加有较明显的下降。

4. 核心贡献 (Key Contributions)

1. 系统性评估：首次系统地量化了多智能体协作在数学推理任务中对不同对抗性噪声（合成 vs. 类人）的鲁棒性。
2. 揭示“共识悖论” (Consensus Paradox)：指出在对抗性噪声下，智能体间的错误并非统计独立，而是存在系统性偏差（Systematic Bias）。这导致多数投票机制不仅无法纠错，反而复制了相同的错误，解释了为何鲁棒性差距无法通过单纯增加智能体数量来消除。
3. 噪声类型分层：明确了“标点噪声”与“人类拼写错误”对 LLM 的不同影响机制，指出后者是当前的主要瓶颈。
4. 基准建立：为未来研究多智能体系统的鲁棒性提供了基于采样 - 投票的基准（Baseline），并证明了单纯“扩展智能体数量”不能替代“提升基础模型的鲁棒性”。

5. 意义与启示 (Significance)

• 安全部署警示：在金融、医疗、法律等高风险领域部署 LLM 智能体系统时，不能仅依赖增加智能体数量来保证可靠性。面对人类输入中常见的拼写错误，系统依然脆弱。
• 研究方向转变：未来的改进方向不应仅停留在架构设计（如更复杂的辩论拓扑），而应转向：
  • 噪声感知采样与聚合：设计能识别并过滤噪声的聚合算法。
  • 基础模型鲁棒性：在训练阶段引入针对人类拼写错误的增强（Augmentation）。
  • 验证器与工具辅助：引入外部验证器或工具来辅助智能体进行纠错。
• 理论局限：研究指出，当前的多智能体范式在处理非标准正交（Non-standard Orthography）输入时存在根本性局限，需要更深层的 Tokenization 或预处理机制来解决。

总结：虽然“更多智能体”能显著提升数学解题的准确率，但它无法解决对抗鲁棒性的根本问题。人类拼写错误引发的语义破坏是当前的主要挑战，单纯依靠投票机制无法克服这一系统性缺陷。