ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 수학 문제 해결 능력에서 뛰어난 성과를 보이고 있지만, 노이즈가 포함된 입력 (Noisy Inputs) 에 대한 견고성 (Robustness) 은 충분히 연구되지 않았습니다. 기존 연구들은 단어 교체, 오타, 의미론적 교란 등을 통해 모델의 추론 능력을 저하시키는 공격을 다루었으나, 본 논문은 의미론적 변화 없이 텍스트에 무작위 구두점 (punctuation marks) 을 삽입하는 방식의 노이즈가 LLM 의 수학 문제 해결 능력에 어떤 영향을 미치는지 규명하는 것을 목표로 합니다.

• 핵심 질문: 수학 문제 해결 맥락에서 무작위 구두점으로 구성된 노이즈 공격에 LLM 은 어떻게 반응하는가?
• 특징: 단어의 추가나 삭제 없이 구두점만 삽입하므로, 원본 텍스트의 의미적 유사성 (Semantic Similarity) 은 100% 유지되지만 모델의 성능은 급격히 저하될 수 있음.

2. 방법론 (Methodology)

2.1 제안된 공격 기법: ArithmAttack

• 기반: 데이터 증강 기법인 AEDA (An Easier Data Augmentation) 에서 영감을 받음.
• 구현 방식: 수학 문제 텍스트의 임의의 위치에 6 가지 구두점 (. , ! ? ; :) 을 무작위로 삽입합니다.
• 노이즈 수준: 전체 문장 길이 (단어 수 기준) 의 10%, 30%, 50% 에 해당하는 비율로 구두점을 삽입하여 노이즈 강도를 조절합니다.
• 의미 보존: 단어 자체가 변경되지 않으므로 Universal Sentence Encoder 를 사용하여 원본과 교란된 텍스트 간의 의미적 유사성이 100% 임을 확인했습니다.

2.2 실험 설정

• 데이터셋:
  • GSM8K: 초등학교 수준의 고품질 수학 단어 문제 1,320 개 (테스트 세트).
  • MultiArith: 다양한 산술 문제 유형과 복잡성을 가진 180 개 데이터 포인트.
• 평가 모델: 8 가지 LLM (파라미터 크기 1.5B~8B):
  • Mistral, Mathstral, Llama3, Llama3.1, Gemma2, Zephyr, Qwen2.5, DeepSeek.
• 프롬프트 전략: Zero-Shot Chain-of-Thought (CoT) 를 사용하여 모델이 단계별 추론을 하도록 유도했습니다.
• 평가 지표:
  • 정확도 (Accuracy): 정답률.
  • 공격 성공률 (ASR, Attack Success Rate): 공격 전 정답이었던 것을 공격 후 틀리게 만든 비율.
  • 미추출율 (Miss Rate): 정답을 추출하지 못하거나 형식 오류를 범한 비율.

3. 주요 기여 (Key Contributions)

1. ArithmAttack 제안: 무작위 구두점 삽입을 통해 LLM 의 수학 문제 해결 견고성을 평가하는 새로운 공격 프레임워크를 제시했습니다. 이는 의미 변화 없이 구현이 매우 간단하면서도 효과적인 공격입니다.
2. 광범위한 모델 평가: 다양한 아키텍처와 크기의 8 가지 LLM 을 GSM8K 와 MultiArith 데이터셋에서 평가하여, 노이즈 증가에 따른 모든 모델의 취약성을 실증했습니다.

4. 실험 결과 (Results)

4.1 성능 저하 경향

• 노이즈와 성능의 반비례: 모든 모델에서 노이즈 비율 (10% → 50%) 이 증가함에 따라 정확도가 지속적으로 감소했습니다.
• 데이터셋별 차이: GSM8K(더 복잡한 문제) 가 MultiArith(상대적으로 단순) 에 비해 노이즈에 더 취약하게 반응하여 정확도 하락 폭이 컸습니다. 이는 문제의 복잡도가 높을수록 노이즈에 대한 모델의 취약성이 증폭됨을 시사합니다.

4.2 모델별 성능 비교

• 가장 견고한 모델: Llama3.1이 두 데이터셋 모두에서 가장 높은 정확도와 가장 낮은 ASR(공격 성공률) 을 보여 노이즈에 가장 강인한 것으로 나타났습니다. Llama3 또한 MultiArith 에서 매우 견고한 성능을 보였습니다.
• 수학 특화 모델: 일반 모델인 Mistral과 비교하여 수학 지식으로 파인튜닝된 Mathstral이 더 높은 견고성을 보였습니다.
• 가장 취약한 모델: Zephyr은 깨끗한 데이터에서도 낮은 정확도를 보였으며, 노이즈가 추가되면 성능이 급격히 추락하고 ASR 이 매우 높게 나타났습니다.

4.3 정답 추출 오류

• 대부분의 모델에서 정답 추출 실패 (Miss Rate) 는 미미했으나, Mistral(GSM8K) 과 Zephyr(MultiArith) 은 상대적으로 높은 추출 오류를 보였습니다. 이는 모델의 지시 따르기 능력 부족과 관련이 있을 수 있으나, 전체적인 성능 저하 추세를 바꾸지는 않았습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 발견: LLM 은 단어의 의미 변화 없이 구두점만 추가되는 단순한 노이즈에도 수학 추론 능력을 크게 잃을 수 있습니다. 이는 모델이 텍스트의 표면적 구조 (구두점 등) 에 과도하게 의존하거나, 노이즈가 토큰화 및 주의 메커니즘 (Attention Mechanism) 에 간섭을 일으켜 추론 흐름을 방해할 수 있음을 시사합니다.
• 모델 비교: Llama 시리즈 (특히 Llama3.1) 와 수학 특화 모델 (Mathstral) 이 상대적으로 더 견고한 것으로 확인되었습니다.
• 미래 연구 방향:
  • 구두점 외의 다른 노이즈 유형 (문법 오류, 잘못된 약어 등) 에 대한 연구 필요.
  • GSM8K 와 MultiArith 를 넘어 논리적, 인과적 추론 작업으로 확장.
  • ArithmAttack 이 왜 LLM 의 추론 흐름을 붕괴시키는지 그 내부 메커니즘에 대한 심층 분석 필요.

이 논문은 LLM 의 실제 배포 환경에서 발생할 수 있는 예상치 못한 텍스트 노이즈 (예: OCR 오류, 입력 실수 등) 에 대한 모델의 취약성을 경고하며, 더 견고한 수학 추론 모델 개발의 필요성을 강조합니다.