論文要約：「より多くのエージェントは数学的問題解決を改善するが、敵対的ロバスト性のギャップは残存する」

この論文は、大規模言語モデル（LLM）のエージェントが協力して数学的問題を解決する際、敵対的な入力ノイズに対するロバスト性が向上するかどうかを検証した研究です。著者らは、単一のモデルよりも複数のモデル（エージェント）を組み合わせることで精度が向上することは確認しつつも、**「敵対的攻撃に対する耐性（ロバスト性）はエージェント数を増やしても改善されない」**という重要な発見を報告しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定 (Problem)

近年、複数の LLM インスタンスを「エージェント」として扱い、議論や投票を通じて出力を統合するマルチエージェント手法は、数学的推論タスクの精度を大幅に向上させることが示されています。しかし、LLM は入力にわずかな摂動（ノイズ）を与えられると性能が著しく低下する脆弱性も知られています。

本研究が取り組む核心的な問いは以下の通りです：

「クリーンな入力では複数のエージェントによる協力が性能を向上させるが、敵対的に摂動された（ノイズのある）入力に対しても、同様にロバスト性を向上させることができるのか？」

具体的には、句読点の挿入や人間らしいタイプミス（スペルミス）などのノイズ条件下において、エージェント数を増やすことで誤答率が減少し、単一モデルの脆弱性が解消されるかどうかを検証しました。

2. 手法 (Methodology)

2.1 データセットとモデル

• データセット: 数学的推論タスクの 4 つの主要ベンチマークを使用。
  • GSM8K（小学校レベルの文章題）
  • MATH（高度な数学コンテスト問題）
  • MMLU-Math（多肢選択式の数学問題）
  • MultiArith（多段階の算数問題）
• モデル: オープンソースの 6 つのモデル（パラメータ数 4B〜14B）を評価対象とした。
  • Qwen3 (4B, 14B), Llama3.1 (8B), Mistral-7B, Gemma3 (4B, 12B)

2.2 ノイズの生成 (Adversarial Perturbations)

入力に対して以下の 2 種類のノイズを系統的に注入しました。

1. 合成ノイズ (Synthetic Noise): 句読点（., ,, !, ? など）をランダムに挿入。強度は 10%, 30%, 50% の 3 レベル。
2. 人間らしいノイズ (Human-like Noise):
   • WikiTypo: Wikipedia の編集履歴から抽出された実際のスペルミスを使用。
   • R2ATA (Adversarial Typo Attack): キーボード入力による一般的な文字レベルの誤り（重複、置換、削除など）を攻撃的に生成。

2.3 評価フレームワーク：Agent Forest

• サンプリングと投票 (Sampling-and-Voting): 1 つの問題に対して、同じベースモデルを異なるランダムシードで $N$ 回呼び出し、得られた $N$ 個の回答を多数決（Majority Voting）で統合します。
• エージェント数 ($n$): $n \in \{1, 2, 5, 10, 15, 20, 25\}$ の範囲で評価。
• 評価指標:
  • 精度 (Accuracy): 正解率。
  • 攻撃成功率 (ASR: Attack Success Rate): クリーンな状態で正解していた問題を、ノイズ注入後に誤答に転落させた割合（低いほどロバスト）。

3. 主要な貢献と発見 (Key Contributions & Results)

3.1 精度の向上と限界

• エージェント数の増加による精度向上: エージェント数が増えるにつれ、全ノイズ条件下で精度は単調に向上しました。
  • $n=1$ から $n=5$ への増加で最も大きな改善が見られました。
  • $n \approx 10$ 以降は収穫逓減（diminishing returns）が顕著になり、$n=25$ でも劇的な改善は止まりました。
• モデル規模の影響: 大規模モデル（Qwen3-14B, Gemma3-12B）は絶対的な精度が高いですが、小規模モデルもエージェント数を増やすことで相対的な改善幅が大きくなりました。

3.2 敵対的ロバスト性のギャップ（核心発見）

• ロバスト性の改善なし: 精度は向上しましたが、攻撃成功率（ASR）はエージェント数を増やしてもほとんど低下しませんでした。
  • 例えエージェント数が 25 になっても、ノイズによって正解していた問題が誤答に転落する割合は一定のままです。
  • これは、多数決による「誤りの相殺」が、敵対的ノイズによって引き起こされる**系統的なバイアス（Systematic Bias）**に対して機能しないことを示しています。すべてのエージェントが同じノイズ入力に対して同じように誤った推論を行うため、投票によって正解に収束しないのです。

3.3 ノイズの種類による影響の違い

• 句読点ノイズ (Punctuation Noise): 強度（10%〜50%）に比例して精度が低下しますが、エージェント数を 5〜10 に増やすことで、クリーンな状態に近いレベルまで回復しました。
• 人間らしいタイプミス (WikiTypo): 最も致命的なボトルネックとなりました。
  • どのエージェント数でも、クリーンな状態との精度差が最大（約 8%）であり、ASR も最も高くなりました。
  • エージェント数を増やしても、WikiTypo による性能低下は解消されませんでした。
• R2ATA: 句読点ノイズと WikiTypo の中間的な影響を与えました。

3.4 タスク難易度による違い

• 簡単なタスク (GSM8K, MultiArith): ノイズの影響が比較的小さく、エージェントの協力によって回復しやすい傾向がありました。
• 難しいタスク (MATH, MMLU): 複雑な多段階推論が必要な場合、ノイズの影響が強く、エージェント数を増やしても完全な回復は困難でした。

4. 考察とメカニズム (Discussion)

著者らは、なぜエージェントの協力がロバスト性を改善しないのかについて、以下の 2 つの要因を指摘しています。

1. 意味的 vs 形態的ノイズ:
   • 句読点ノイズは視覚的に邪魔ですが、単語の形態的ルーツ（意味の核）は保たれているため、モデルの注意機構が元の意図を復元しやすいです。
   • 一方、人間らしいスペルミス（WikiTypo）は、埋め込み空間における入力表現を根本的に変えてしまいます。これにより、モデルが関連しないトークンや未知のトークンにマッピングされ、意味的な整合性が失われます。
2. コンセンサスのパラドックス (The Consensus Paradox):
   • アンサンブル学習の理論では、エージェントの誤りは統計的に独立であると仮定されます。しかし、敵対的ノイズは系統的なバイアスを生み出します。
   • 結果として、すべてのエージェントが同じ失敗パターン（同じ誤った推論経路）に陥り、多数決がその誤りを「合意」して強化してしまいます。これが、エージェント数を増やしてもロバスト性のギャップが解消されない理由です。

5. 意義と結論 (Significance & Conclusion)

• 結論: 「エージェント数を増やすこと（スケーリング）」は、数学的問題解決の精度を高めるには有効ですが、敵対的ノイズに対する耐性を高めるには不十分であることが示されました。
• 実用上の示唆:
  • 金融、医療、法務など安全が重要な分野で LLM エージェントを運用する際、単純な「多数のエージェント化」だけで信頼性を担保することはできません。
  • 人間が入力するデータ（自然なノイズを含む）を扱う場合、トークン化段階での頑健性や、ノイズに強い前処理ガードレールの導入が不可欠です。
• 今後の方向性:
  • ノイズを考慮したサンプリングや集約手法の開発。
  • 検証者（Verifier）やツールを利用したエージェントの導入。
  • 人間らしいタイプミスに特化したトレーニングデータ拡張（Data Augmentation）。

この研究は、マルチエージェントシステムの設計において、単なる「量（エージェント数）」の増加だけでなく、「質（ベースモデルのロバスト性）」と「ノイズ耐性のメカニズム」への理解が重要であることを強調しています。