When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation

기술적 요약: LLM 에이전트가 표면 노이즈와 의미 노이즈를 다르게 처리하는 시점

문제 제기
다단계 추론, 수학, 검색 작업에 배포된 대규모 언어 모델 (LLM) 에이전트는 종종 상류 시스템 (개조, 템플릿화) 이나 적대자에 의해 교란된 입력을 마주칩니다. 중요한 미해결 과제는 이러한 에이전트가 어휘적 노이즈(재배열, 포맷팅, 방해 요소 추가와 같은 표현 연산자) 와 의미적 노이즈(개조나 동의어 치환과 같은 의미 전달 연산자) 를 동등하게 취급하는지 여부입니다. 교란 강건성에 대한 이전 연구는 주로 단일 단계 모델이나 원시 성공률에 초점을 맞추어, 다단계 에이전트 궤적에서 의미 전달 교란과 표현 교란 간의 방향성 격차를 분리하지 못했습니다. 본 논문은 의미적 교란이 표현 교란보다 최종 답변에서 현저히 높은 불일치율을 초래하는지 여부를 조사합니다.

방법론
저자들은 7 가지 아키텍처 계열의 10 개 LLM, 3 가지 벤치마크, 2 가지 추론 발판 (scaffold) 의 조합으로 구성된 68 개의 셀을 포함하는 대규모 측정 연구를 수행했으며, 11 번째 모델에 대한 홀드아웃 검증을 실시했습니다.

• 모델 및 벤치마크: 패널에는 오픈 가중치 모델 (Qwen2.5, Llama-3.2/3.1, Mistral, Gemma2) 과 상용 API(MiMo-v2.5-Pro, Gemini-2.5-Flash, DeepSeek-V3) 가 포함됩니다. 벤치마크는 GSM8K, MATH, HotpotQA 입니다. 발판은 Chain-of-Thought(CoT) 와 ReAct 입니다.
• 교란 연산자: 다섯 가지 연산자가 사용됩니다.
  • 의미 전달: 개조 (전체 질문 재작성), 동의어 (개방형 단어 치환).
  • 표현: 재배열 (토크/절 순열), 포맷 (공백/대소문자), 방해 요소 (관련 없는 문맥 삽입).
  • 모든 연산자는 정답 (gold answer) 을 보존하며, 동등성 판정기는 근본적인 질문을 변경하는 변형을 필터링합니다.
• 지표:
  • 불일치율 (IR): 에이전트의 최종 답변이 원본과 교란된 변형 사이에서 변경되는 비율.
  • 격차 ($\Delta$): $IR_{sem} - IR_{sur}$로 정의되며, 여기서 $IR_{sem}$은 의미 전달 연산자에 대한 평균이고 $IR_{sur}$은 표현 연산자에 대한 평균입니다.
  • 캐스케이드 깊이: 첫 번째 분기 후 연속된 단계 중 교란된 추적이 이후 원본 단계 중 어느 것과도 일치하지 않는 단계 수.
• 강건성 및 검증:
  • 심각도 매칭: 변형은 편집 거리, 토큰 자카드, Sentence-BERT 코사인, 길이 변화 비율로 빈 (bin) 처리되어 의미 전달 및 표현 교란이 비교 가능한 심각도를 갖도록 보장합니다.
  • 통계적 검정: 작은 클러스터 추론 문제를 해결하기 위해 와일드 클러스터 부트스트랩 (K=10 개 모델, K=7 개 계열) 을 사용합니다. 중첩된 궤적 데이터에는 계층적 부트스트랩을 적용합니다.
  • 생성기 및 판정기: 계열 간 생성기 교체 (Qwen 대 MiMo) 와 두 번째 LLM 판정기 (MiMo 대 Qwen) 를 사용하여 일반화 가능성과 편향을 감사합니다.
  • 홀드아웃 검증: qwen2.5-14B-Instruct(1,800 개 궤적) 에 대한 완전히 독립적인 실행은 매개변수 튜닝 없이 발견 사항을 검증합니다.

주요 결과

1. 방향성 불일치 격차: 68 개 셀 패널 전반에 걸쳐 심각도 매칭된 평균 격차는 +19.69 퍼센트 포인트 (pp)($p < 0.0001$) 이며, 68 개 셀 중 64 개가 양의 격차를 보입니다. 이는 심각도가 매칭되었음에도 불구하고 에이전트가 표현 교란된 경우보다 의미적으로 교란된 입력일 때 최종 답변을 변경할 가능성이 현저히 높음을 나타냅니다.
2. 심각도 정의에 대한 강건성: 격차는 네 가지 다른 심각도 대리 지표 (편집 거리, 토큰 자카드, Sentence-BERT, 길이 변화) 에서 안정적으로 유지됩니다 (+18.9~+20.9 pp). 이는 효과가 단일 지표의 인공물이 아님을 확인합니다.
3. 경계 조건:
   • 작은 클러스터 추론: 모델 (K=10) 또는 계열 (K=7) 수준에서 와일드 클러스터 부트스트랩 하에서 격차는 통계적으로 유의하지 않습니다. 이는 발견 사항이 특정 패널에 대한 기술적 설명일 뿐 보편적으로 식별된 인과 효과가 아님을 나타냅니다.
   • 처리 가능성: 벤치마크 내 처리 가능성 대리 지표 (예: 다중 경로 대 단일 경로) 는 유의한 대비를 식별하지 못합니다 (3 개 중 0 개 유의). 저자들은 "위상학이 이분법을 게이트한다"는 이전 주장을 철회합니다.
   • 생성기 의존성: 계열 간 생성기 교체는 셀 단위 순위 (Spearman $\rho \approx 0.14$) 를 파괴하는 반면, 계열 내 교체는 이를 유지합니다. $\Delta$의 구체적인 크기는 생성기 조건에 따라 달라집니다.
4. 홀드아웃 검증: 11 번째 모델 (qwen2.5-14B) 은 능력 $\times$ 처리 가능성 분할의 방향(그룹 A 셀 4 개 중 3 개 양수) 을 재현하지만, 크기 (평균 +1.08 pp 대 +19.69 pp) 는 재현하지 않습니다. 이는 홀드아웃 모델의 높은 기준 능력과 낮은 표면 노이즈 민감도 때문일 가능성이 높습니다.
5. 메커니즘 분석 (은밀한 분기): 홀드아웃 모델에 대한 추적 수준 분석은 "은밀한 분기" 메커니즘을 드러냅니다.
   • M3(캐스케이드 깊이): 의미적 교란은 표현 교란보다 0.17 단계 더 깊게 캐스케이드됩니다 ($p = 2.5 \times 10^{-14}$).
   • M4(사고 유사성): 의미적 교란은 첫 번째 행동을 온전하게 유지하지만 2 단계 이후의 중간 사고 내용을 훼손하며, 단계별 유사성 격차는 -5.6~ -10.5 pp 입니다.
   • 철회: 두 가지 이전 메커니즘 주장은 명시적으로 철회됩니다. M1(의미적 교란이 더 일찍 분기함) 과 M2(의미적 교란이 자기 수정을 덜 함) 는 홀드아웃 모델에서 재현되지 않았습니다.

의의 및 주장
본 논문은 주로 측면 기여로 자신을 위치시킵니다. LLM 에이전트가 다단계 추론에서 의미 노이즈와 표면 노이즈에 대해 체계적으로 다른 민감도를 보인다는 강력한 경험적 현상을 문서화합니다.

• 공학적 함의: 발견 사항은 의미 전달 교란 (개조, 동의어) 이 표현 노이즈보다 더 높은 불일치율을 유발하므로, 입력 정규화 전략이 표현 노이즈보다 의미 전달 교란 처리에 우선순위를 두어야 함을 시사합니다.
• 방법론적 기여: 이 연구는 심각도 매칭, 추적 수준 캐스케이드 분석, 그리고 재현되지 않는 메커니즘 주장 (M1, M2) 에 대한 정직한 보고를 포함하여 에이전트의 교란 민감도를 측정하기 위한 엄격한 프레임워크를 제공합니다.
• 한계: 저자들은 회귀 계수가 엄격한 작은 클러스터 추론 (와일드 부트스트랩) 을 견디지 못한다고 강조합니다. 이는 결과가 식별된 인과 효과가 아니라 테스트된 패널에 대한 기술적 연관성임을 의미합니다. 진단 도구 (AgentDiff-Probe v2) 는 trivial baseline 과 정확도가 동일한 프로토타입이며, 저자들은 이를 생산 배포의 유일한 게이트로 사용하는 것을 경계합니다.

이 작업은 특정 격차 크기의 계열 간 일반화를 명시적으로 주장하지 않으며, 능력에 대한 이전의 선형 단조성 주장을 철회하고, 처리 가능한 벤치마크에서의 관계를 이진 게이트로 재구성합니다. 모든 코드, 데이터, 스크립트는 검토를 위해 공개되었습니다.