Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 GSM8K 와 같은 수학 추론 벤치마크에서 높은 성능을 보이지만, 의미를 보존하는 표면적 교란 (meaning-preserving perturbations) 에 대해 놀라울 정도로 취약한 것으로 나타났습니다.

• 핵심 문제: 모델이 수학적 문제를 진정으로 이해하는지, 아니면 표면적 특징에 대한 취약한 패턴 매칭을 수행하는지 불분명합니다.
• 관측 현상: 등장인물의 이름을 바꾸거나 ("John" → "Alice"), 숫자 표현을 재구성하는 것 ("$5" → "5 dollars") 과 같은 사소한 변경만으로도 모델의 정답이 뒤집히는 (answer-flip) 현상이 빈번하게 발생합니다.
• 기존 연구의 한계: 이전 연구들은 주로 행동적 수준 (정확도 하락) 에서 민감도를 측정했으나, 모델 내부에서 실패가 어디서, 어떻게 발생하는지 기작적 (mechanistic) 으로 추적한 연구는 부족했습니다.

2. 방법론 (Methodology)

저자들은 3 개의 오픈 가중치 모델 (Mistral-7B, Llama-3-8B, Qwen2.5-7B) 을 대상으로 GSM8K 의 677 개 문제 쌍 (원본 vs 의미 보존 변형본) 을 사용하여 분석했습니다. 변형 유형은 이름 치환 (Name Substitution) 과 숫자 형식 재구성 (Number Format Paraphrasing) 입니다.

이를 위해 기작적 교란 진단 (Mechanistic Perturbation Diagnostics, MPD) 프레임워크를 도입하여 다음 4 가지 기술을 통합했습니다:

1. Logit Lens 분석: 각 레이어의 은닉 상태를 언임베딩 행렬을 통해 투영하여, 원본과 변형본의 예측이 처음 갈라지는 (diverge) 시점을 식별합니다.
2. 활성화 패칭 (Activation Patching): 변형된 입력에서 실패한 샘플의 특정 레이어와 토큰 위치의 은닉 상태를 원본 (정답) 입력의 상태로 교체하여, 실패가 특정 위치로 국한되는지 (localized) 확인합니다.
3. 컴포넌트 제거 (Component Ablation): 어텐션 (Attention) 서브레이어와 MLP 서브레이어의 출력을 0 으로 설정하여, 어떤 컴포넌트가 실패의 인과적 원인이 되는지 분리합니다.
4. 캐스케이딩 증폭 지수 (Cascading Amplification Index, CAI): 레이어 간 발산 (JSD) 이 네트워크를 통과하며 증폭되는지 감쇠하는지를 정량화하는 새로운 지표입니다.

3. 주요 결과 (Key Results)

A. 행동적 취약성

• 세 모델 모두 의미 보존 교란에 대해 상당한 실패율 (28.8% ~ 45.1%) 을 보였습니다.
• 숫자 형식 재구성이 이름 치환보다 훨씬 파괴적이었습니다 (예: Mistral-7B 는 숫자 변형 시 63.1% 실패).

B. 기작적 분석 결과

1. 조기 발산 (Early Divergence): 실패한 샘플은 안정적인 샘플에 비해 훨씬 더 초기 레이어에서 예측이 갈라졌습니다 (통계적 유의성 p < 0.05).
2. 아키텍처별 실패 패턴의 차이:
   • Llama-3-8B (국소화, Localized): 실패율이 33.5% 이지만, **패칭을 통해 71.7%**의 실패를 복구할 수 있었습니다. 이는 실패가 특정 레이어/경로에 국한되어 있음을 의미합니다.
   • Mistral-7B (분산, Distributed): 실패율이 가장 높음 (45.1%) 이며, 패칭 복구율이 **5.0%**로 낮습니다. 실패가 여러 레이어와 어텐션 헤드에 중복적으로 분산되어 있습니다.
   • Qwen2.5-7B (얽힘, Entangled): 실패율 28.8% 이며, **패칭 복구율 0%**입니다. 어텐션이 아닌 MLP 서브레이어가 주요 원인이며, 실패가 레이어와 컴포넌트 전반에 얽혀 있습니다.

C. 진단 지표의 유효성

• CAI (Cascading Amplification Index) 는 '최초 발산 레이어'보다 실패 예측 지표로서 더 우수한 성능을 보였습니다 (Mistral 과 Llama-3 에서 AUC 최대 0.679).
• 실패한 샘플은 네트워크를 통과하며 발산 (JSD) 이 증폭되는 경향을 보인 반면, 안정적인 샘플은 발산이 감쇠되었습니다.

4. 기여도 및 공헌 (Contributions)

1. 기작적 실패 분류 체계 (Mechanistic Failure Taxonomy) 제안:
   • 국소화 (Localized), 분산 (Distributed), 얽힘 (Entangled) 의 세 가지 유형을 정의하고, 이를 통해 수리 (Repair) 의 난이도를 예측할 수 있음을 입증했습니다.
2. 교차 모델 기작적 분석:
   • 유사한 파라미터 수와 학습 방식을 가진 모델들조차 내부 실패 서명이 질적으로 다르게 나타남을 규명했습니다.
3. 새로운 진단 지표 (CAI) 도입:
   • 레이어 간 발산 증폭을 정량화하여 실패를 효과적으로 예측하는 CAI 를 개발했습니다.
4. MPD 프레임워크 구축:
   • Logit Lens, 패칭, 제거, CAI 를 통합하여 임의의 트랜스포머 기반 모델에 적용 가능한 재사용 가능한 진단 파이프라인을 제시했습니다.

5. 검증 및 의의 (Validation & Significance)

타겟팅된 수리 실험 (Targeted Repair Experiments)

정의된 분류 체계에 따라 각 모델에 맞는 수리 전략을 적용한 결과, 분류 체계가 수리 난이도를 정확히 예측함이 입증되었습니다:

• 국소화 (Llama-3): 레이어 미세 조정 (Fine-tuning) 및 스티어링 벡터 (Steering Vectors) 를 통해 **12.2%**의 실패를 복구 (가장 높은 복구율).
• 분산 (Mistral) 및 얽힘 (Qwen): 수리 전략 적용 시 복구율이 **5~7%**에 그쳤습니다. 특히 Qwen 의 경우 ROME 편집 (단일 가중치 수정) 이 오히려 성능을 저하시켰습니다.

의의

이 연구는 LLM 의 추론 취약성이 단일한 현상이 아니라 모델 아키텍처에 따라 고유한 기작적 패턴을 가진다는 것을 밝혔습니다. 이는 단순한 성능 향상을 넘어, 모델의 내부 작동 원리를 이해하고 표적화된 개입을 통해 신뢰성을 높이는 새로운 방향을 제시합니다. 또한, CAI 와 같은 진단 도구를 통해 모델의 취약점을 사전에 식별하고 수리 전략을 수립할 수 있는 실용적인 프레임워크를 제공합니다.

6. 결론

저자들은 LLM 이 의미 보존 교란에 취약한 이유를 기작적으로 규명하고, 이를 국소화, 분산, 얽힘의 세 가지 실패 유형으로 분류했습니다. 이 분류는 모델의 내부 구조적 특성을 반영하며, 표적화된 개입을 통한 복구 가능성을 예측하는 데 유효함을 입증했습니다. 향후 연구는 이러한 실패 패턴이 더 큰 규모의 모델이나 다른 추론 도메인에서도 유지되는지, 그리고 여러 수리 전략을 결합하여 복구율을 높일 수 있는지 탐구할 필요가 있습니다.