More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 수학 문제 해결과 같은 추론 작업에서 뛰어난 성능을 보여주고 있습니다. 최근 연구들은 단일 LLM 을 사용하는 대신 여러 LLM 인스턴스를 '에이전트'로 활용하고, 투표 (voting) 나 토론 (debate) 을 통해 출력을 집계하는 방식이 정확도를 획기적으로 높일 수 있음을 보였습니다.

그러나 이러한 다중 에이전트 시스템이 적대적 입력 (adversarial inputs) 에 얼마나 견고한지는 명확하지 않았습니다. 기존 연구는 LLM 이 오타, 불필요한 구두점 삽입, 동의어 교체와 같은 표면적 교란 (perturbations) 에 매우 취약함을 보여주었습니다.
핵심 연구 질문: "여러 에이전트의 협업이 깨끗한 (Clean) 입력에서의 추론 능력을 향상시키는 것처럼, 노이즈가 있는 조건에서도 견고성 (robustness) 을 향상시킬 수 있는가?"

2. 방법론 (Methodology)

2.1 실험 프레임워크: Agent Forest

저자들은 단일 LLM 을 여러 번 호출하여 생성된 답변들을 다수결 투표 (Majority Voting) 로 집계하는 Agent Forest 프레임워크를 사용했습니다.

• 프로세스: 각 질문에 대해 동일한 베이스 모델을 독립적인 시드 (random seeds) 로 $N$번 호출하여 $N$개의 후보 답변을 생성한 후, 정규화된 정답을 기준으로 다수결로 최종 답을 도출합니다.
• 에이전트 수 ($n$): $n \in \{1, 2, 5, 10, 15, 20, 25\}$로 다양하게 설정하여 협업의 효과를 분석했습니다.

2.2 데이터셋 및 모델

• 데이터셋: 수학 추론 능력을 평가하기 위해 4 가지 벤치마크를 사용했습니다.
  • GSM8K: 초등학교 수준의 다단계 산술 문제.
  • MATH: 고급 수학 경시대회 문제 (대수, 기하, 정수론 등).
  • MMLU-Math: 객관식 수학 문제.
  • MultiArith: 간단한 산술 단어 문제.
• 모델: 다양한 크기의 오픈소스 LLM 6 종을 사용했습니다.
  • Qwen3 (4B, 14B), Llama3.1 (8B), Mistral-7B, Gemma3 (4B, 12B).

2.3 노이즈 유형 (Adversarial Perturbations)

적대적 공격을 위해 두 가지 범주의 노이즈를 도입했습니다.

1. 합성 노이즈 (Synthetic Noise): 구두점 삽입 (ArithmAttack 기반). 문장 내 10%, 30%, 50% 의 공백 위치에 임의의 구두점 (., !, ?, ;, :) 를 삽입하여 강도를 조절했습니다.
2. 인간 유사 노이즈 (Human-like Noise):
   • WikiTypo: 위키백과 편집 이력에서 추출된 실제 인간의 오타를 적용.
   • R2ATA (Adversarial Typo Attack): 키보드 사용으로 인한 일반적인 오타 (문자 중복, 삭제, 치환 등) 를 생성하는 공격.

2.4 평가 지표

• 정확도 (Accuracy): Clean 입력 대비 노이즈 조건에서의 성능.
• 공격 성공률 (ASR, Attack Success Rate): Clean 환경에서 정답을 맞췄던 샘플이 노이즈 적용 후 틀린 경우의 비율. (낮을수록 견고함)

3. 주요 결과 (Key Results)

3.1 협업의 효과 (Collaboration Effect)

• 정확도 향상: 에이전트 수 ($n$) 가 증가함에 따라 정확도는 일관되게 향상되었습니다.
  • $n=1$에서 $n=5$로 증가할 때 가장 큰 성능 향상을 보였습니다.
  • $n \approx 10$ 이후에는 체감 효과 (diminishing returns) 가 나타나 성능 향상 폭이 줄어듭니다.
  • $n=25$까지 확장해도 정확도는 계속 상승했으나, 그 증가폭은 미미했습니다.
• 모델 크기 영향: 대형 모델 (Qwen3-14B, Gemma3-12B) 은 전반적으로 높은 절대 정확도를 보였으며, 소형 모델은 에이전트 수 증가에 따른 상대적 개선 폭이 더 컸습니다.

3.2 적대적 견고성 격차 (The Robustness Gap)

• 격차의 지속: 에이전트 수가 증가하여 정확도가 향상되더라도, 노이즈 조건과 Clean 조건 간의 성능 격차는 줄어들지 않았습니다. 즉, 다수결 투표는 노이즈로 인한 오류를 상쇄하지 못했습니다.
• 노이즈 유형별 영향:
  • 구두점 노이즈: 강도가 높을수록 (Punct-50) 성능 저하가 심했으나, 5~10 개의 에이전트 협업으로 상당 부분 회복되었습니다.
  • 인간 유사 오타 (WikiTypo, R2ATA): 가장 치명적인 병목 현상이었습니다. 특히 WikiTypo 는 에이전트 수를 25 개로 늘려도 Clean 정확도 대비 약 8% 의 격차를 유지하며, 공격 성공률 (ASR) 이 가장 높게 나타났습니다. 다수결 투표가 인간의 자연스러운 오타로 인한 의미 왜곡을 해결하지 못함을 시사합니다.

3.3 데이터셋별 특성

• MATH: 가장 어려운 데이터셋으로, 모든 노이즈 조건에서 Clean 대비 격차가 가장 컸으며 ASR 이 높게 유지되었습니다.
• GSM8K 및 MultiArith: 상대적으로 간단한 작업으로, 에이전트 수 증가에 따라 노이즈 영향이 더 많이 완화되었습니다.

4. 논의 및 통찰 (Discussion & Insights)

1. 의미론적 vs 형태론적 노이즈:

   • 구두점 노이즈는 시각적 방해 요소일 뿐 토큰의 형태학적 뿌리 (morphological root) 를 보존하므로 모델이 원래 의도를 복원할 수 있습니다.
   • 반면, 실제 오타 (WikiTypo) 는 임베딩 공간에서 입력 표현을 근본적으로 왜곡시켜, 모델이 관련 없는 토큰이나 OOV(Out-of-Vocabulary) 토큰으로 매핑되게 합니다. 이는 소형 모델뿐만 아니라 대형 모델에서도 회복하기 어려운 심각한 손상을 입힙니다.

2. 합의의 역설 (The Consensus Paradox):

   • 전통적인 앙상블 이론은 에이전트들의 오류가 통계적으로 독립적이라고 가정합니다.
   • 그러나 적대적 노이즈는 시스템적 편향 (systematic bias) 을 유발하여 모든 에이전트가 동일한 오류 패턴으로 수렴하게 만듭니다. 따라서 다수결 투표는 무작위 오류를 교정하는 대신, 체계적인 오류를 재생산하게 되어 견고성 향상에 실패합니다.

5. 결론 및 의의 (Conclusion & Significance)

• 핵심 결론: "에이전트 수를 늘리는 것 (Scaling Agents)" 은 Clean 입력에서의 정확도를 높이는 데 효과적이지만, 적대적 견고성 격차를 해소하는 대안이 될 수 없습니다. 특히 인간과 유사한 오타에 대한 취약성은 다중 에이전트 시스템의 근본적인 한계로 남습니다.
• 실용적 시사점: 금융, 의료, 법률 등 안전이 중요한 고위험 환경에서 LLM 에이전트를 배포할 때, 단순한 에이전트 확장은 신뢰성을 보장하지 못합니다.
• 미래 방향:
  • 노이즈 인식 샘플링 및 집계 전략 개발.
  • 검증자 (Verifier) 나 도구 (Tool) 를 활용한 에이전트 설계.
  • 훈련 단계에서 인간 오타를 대상으로 한 데이터 증강 (Augmentation) 및 토크나이저의 견고성 강화.

이 연구는 다중 에이전트 시스템의 설계 시, 단순히 모델 수를 늘리는 것보다 기저 모델의 견고성 (Base Model Robustness) 을 개선하고 노이즈에 강한 토큰화 전략을 도입하는 것이 더 중요함을 강조합니다.