When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation

技術的サマリー：LLM エージェントは表面ノイズと意味ノイズをどのように区別して扱うか？

問題定義
多段階推論、数学、検索タスクに展開される大規模言語モデル（LLM）エージェントは、しばしば上流システム（言い換え、テンプレート化）または敵対者によって擾乱された入力に直面する。重要な未解決の問いは、これらのエージェントが語彙的ノイズ（並べ替え、書式設定、または不要な情報の挿入などの表現演算子）と意味的ノイズ（言い換えや類義語置換などの意味を担う演算子）を同等に扱うかどうかである。擾乱に対する頑健性に関する先行研究は、単一ステップモデルまたは単純な成功率に焦点を当てることが多く、多段階のエージェント軌道において意味を担う擾乱と表現の擾乱との間の方向的なギャップを分離できていなかった。本論文は、同程度の深刻さを持つ表現の擾乱と比較して、意味的擾乱が最終回答の不一致率を有意に高めているかどうかを調査する。

手法
著者らは、7 つのアーキテクチャファミリーに属する 10 種類の LLM、3 つのベンチマーク、2 つの推論スケフォールドの組み合わせからなる68 のセルを含む大規模な測定研究を実施し、11 番目のモデルに対して保持された検証を行った。

• モデルとベンチマーク: パネルには、オープンウェイトモデル（Qwen2.5、Llama-3.2/3.1、Mistral、Gemma2）と商用 API（MiMo-v2.5-Pro、Gemini-2.5-Flash、DeepSeek-V3）が含まれる。ベンチマークは GSM8K、MATH、HotpotQA である。スケフォールドは Chain-of-Thought（CoT）と ReAct である。
• 擾乱演算子: 5 つの演算子が使用される。
  • 意味を担う: 言い換え（全体の問題文の書き換え）、類義語（開級語の置換）。
  • 表現: 並べ替え（トークン/節の順列）、書式（空白/大文字小文字）、不要情報（無関係な文脈の挿入）。
  • すべての演算子は正解を保持する。等価判定器が、元の問題を変更する変種を除外する。
• 指標:
  • 不一致率（IR）: エージェントの最終回答が、元の変種と擾乱された変種の間で変化する割合。
  • ギャップ（$\Delta$）: $IR_{sem} - IR_{sur}$ と定義される。ここで、$IR_{sem}$ は意味を担う演算子で平均化され、$IR_{sur}$ は表現演算子で平均化される。
  • カスケード深度: 最初の分岐後の連続するステップ数で、擾乱された軌道が元の任意の後のステップと一致しなくなるまでの数。
• 頑健性と検証:
  • 深刻さの一致: 変種は、編集距離、トークン Jaccard、Sentence-BERT コサイン、長さ変化率によってビン分けされ、意味を担う擾乱と表現の擾乱が同程度の深刻さであることを保証する。
  • 統計的検定: 小クラスター推論の問題に対処するため、ワイルドクラスターブートストラップ（K=10 モデル、K=7 ファミリー）が使用される。階層的ブートストラップがネストされた軌道データに適用される。
  • ジェネレーターと判定器: クロスファミリーのジェネレーター交換（Qwen 対 MiMo）と、2 番目の LLM 判定器（MiMo 対 Qwen）が、一般化可能性とバイアスを監査するために使用される。
  • 保持された検証: qwen2.5-14B-Instruct での完全な独立実行（1,800 軌道）は、パラメータ調整なしに結果を検証する。

主要な結果

1. 方向的な不一致ギャップ: 68 セルパネル全体で、深刻さ一致後の平均ギャップは**+19.69 パーセントポイント（pp）**（$p < 0.0001$）であり、68 セル中 64 セルが正のギャップを示した。これは、深刻さが一致していても、入力が意味的に擾乱された場合、表現擾乱された場合よりもエージェントが最終回答を変更する可能性が有意に高いことを示している。
2. 深刻さ定義に対する頑健性: ギャップは、4 つの異なる深刻さ代理変数（編集距離、トークン Jaccard、Sentence-BERT、長さ変化）全体で安定して維持され（+18.9 から +20.9 pp）、この効果が単一の指標の人工物ではないことを確認する。
3. 境界条件:
   • 小クラスター推論: モデル（K=10）またはファミリー（K=7）レベルでのワイルドクラスターブートストラップ下では、ギャップは有意ではない。これは、この発見が特定のパネルを記述するものであり、普遍的に同定された因果効果ではないことを示している。
   • 実行可能性: ベンチマーク内での実行可能性代理変数（例：マルチルート対シングルルート）は、有意な対照（3 件中 0 件）を特定できなかった。著者らは、「トポロジーが二項性を制御する」という以前の主張を撤回する。
   • ジェネレーター依存性: クロスファミリーのジェネレーター交換はセルごとの順位付けを破壊する（スピアマン $\rho \approx 0.14$）、一方、ファミリー内交換はそれを維持する。$\Delta$ の具体的な大きさはジェネレーター条件付きである。
4. 保持された検証: 11 番目のモデル（qwen2.5-14B）は、能力×実行可能性の分割の方向（グループ A セルの 4 件中 3 件が正）を再現するが、大きさ（平均 +1.08 pp 対 +19.69 pp）は再現しなかった。これは、保持されたモデルの高いベースライン能力と低い表面ノイズ感受性によるものと考えられる。
5. メカニズム分析（ステルス分岐）: 保持されたモデルに対する軌道レベルの分析は、「ステルス分岐」メカニズムを明らかにした。
   • M3（カスケード深度）: 意味的擾乱は、表現擾乱よりも0.17 ステップ深くカスケードする（$p = 2.5 \times 10^{-14}$）。
   • M4（思考の類似性）: 意味的擾乱は最初の行動をそのままにするが、2 ステップ目以降の中間思考内容を破損し、ステップごとの類似性ギャップは -5.6 から -10.5 pp である。
   • 撤回: 2 つの以前のメカニズム主張は明示的に撤回された。M1（意味的擾乱はより早期に分岐する）と M2（意味的擾乱は自己修正が頻繁でない）は、保持されたモデルでは再現しなかった。

意義と主張
本論文は主に測定への貢献として位置づけられている。LLM エージェントが多段階推論において、意味ノイズと表面ノイズに対して体系的に異なる感受性を示すという堅牢な経験的現象を文書化している。

• 工学的含意: この発見は、入力正規化戦略が、より高い不一致率を引き起こす意味を担う擾乱（言い換え、類義語）を、表面ノイズよりも優先して処理すべきであることを示唆している。
• 方法論的貢献: この研究は、深刻さの一致、軌道レベルのカスケード分析、および再現不可能なメカニズム主張（M1、M2）の正直な報告を含む、エージェントにおける擾乱感受性を測定するための厳密な枠組みを提供する。
• 限界: 著者らは、回帰係数が厳密な小クラスター推論（ワイルドブートストラップ）を生き延びないことを強調しており、つまり結果はテストされたパネルに対する記述的関連であり、同定された因果効果ではない。診断ツール（AgentDiff-Probe v2）は、シグナル精度が単純なベースラインと同等であるプロトタイプであり、著者らはこれを生産環境展開の唯一のゲートとして使用しないよう警告している。

この研究は、特定のギャップ大きさのクロスファミリー一般化を主張することを明示的に避け、能力に関する以前の線形単調性主張を撤回し、実行可能なベンチマークにおける二項ゲートとして関係を再定義している。すべてのコード、データ、スクリプトはレビューのために公開されている。