Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 급속한 발전으로 인해 MMLU, SQuAD 와 같은 표준화된 평가 벤치마크가 모델 비교의 주된 도구로 자리 잡았습니다. 그러나 최근 연구들은 이러한 평가 지표의 신뢰성에 의문을 제기하고 있습니다.

• 주요 문제: LLM 들이 입력 프롬프트의 피상적인 변화 (shallow variations) 에 과도하게 민감하게 반응한다는 점입니다.
• 구체적 한계: 기존 연구들은 맥락 추가, 순서 변경, 기호 변경 등 다양한 변형을 다루었으나, 어휘적 변화 (Lexical changes) 와 구문적 변화 (Syntactic changes) 를 명확히 구분하여 분석하지는 못했습니다.
• 핵심 질문: 관찰된 성능 변동이 의미 보존 (truth-conditionally equivalent) 상태에서도 발생하는지, 그리고 이것이 어휘적 치환에 의한 것인지 구문적 재구성에 의한 것인지 규명할 필요가 있습니다.

2. 연구 방법론 (Methodology)

저자들은 23 개의 최신 LLM 을 대상으로 의미 보존 변형 (Meaning-preserving perturbations) 을 적용하여 성능과 순위 변화를 측정했습니다.

2.1. 평가 대상

• 모델: 크기 (0.3B ~ 235B 파라미터), 아키텍처 (Dense, MoE), 제공자 (Open-weight, Proprietary) 가 다양한 23 개의 SOTA LLM.
• 벤치마크:
  • MMLU: 객관식 질문 (인문, 사회과학, STEM 등).
  • SQuAD: 추출형 질문 답변 (Wikipedia 기반).
  • AMEGA: 임상 가이드라인 준수 평가 (의료 도메인, 자유형 답변).

2.2. 변형 파이프라인 (Perturbation Pipelines)

두 가지 언어학적 원칙에 기반한 파이프라인을 사용하여 원본과 의미는 동일하지만 표현이 다른 데이터를 생성했습니다.

1. 어휘적 변형 (Lexical Variation):
   • Llama-3.3-70B-Instruct 를 활용하여 유의어 치환 (Synonym substitution) 을 수행.
   • 문맥적 적절성과 도메인 용어 보존을 위한 프롬프트 제어 및 JSON 스키마 제약 적용.
   • SQuAD 의 경우 정답 문자열은 변경되지 않도록 엄격히 제한.
2. 구문적 변형 (Syntactic Variation):
   • 의존 구문 분석 (Dependency Parsing, spaCy) 을 사용하여 문장 성분 (주어, 목적어 등) 식별.
   • 규칙 기반 조건 (예: 능동/수동 변환, 외위화, Wh-이동, 대격 대치 등) 을 충족할 때만 변형 적용.
   • 변형된 문장을 생성하기 위해 LLM 을 2 단계 파이프라인으로 활용하여 문법성과 명제 내용 보존을 강제.

2.3. 평가 지표 및 통계 분석

• 지표: MMLU(정확도), SQuAD(Exact Match, F1, SAS), AMEGA(준수 점수).
• 통계적 검정:
  • McNemar's test: 개별 모델의 원본 vs 변형 데이터 간 예측 정확도 차이 유의성 확인.
  • Wilcoxon signed-rank test: 전체 모델 간 점수 분포 변화 확인.
  • Kendall's $\tau$: 원본 및 변형 데이터 간의 모델 순위 안정성 측정 ($\tau > 0.9$를 엄격한 일치로 정의).

3. 주요 기여 및 발견 (Key Contributions & Results)

발견 1: LLM 은 추상적 구문 구조보다 표면적 어휘 단서에 더 의존함

• 어휘 민감도: 거의 모든 모델과 태스크에서 어휘적 변형 (유의어 치환) 이 성능을 통계적으로 유의미하게 크게 저하시켰습니다.
  • MMLU 에서 어휘 변형 시 평균 정확도 하락: 7.72%p (구문 변형은 1.64%p).
  • SQuAD 와 AMEGA 에서도 유사한 경향 (어휘 변형이 구문 변형보다 더 큰 성능 하락 유발).
• 구문 민감도: 구문적 변형의 영향은 이질적 (heterogeneous) 이었으며, 경우에 따라 성능이 오히려 향상되기도 했습니다.
• 결론: LLM 들은 문장의 깊은 구문적 구조를 이해하기보다는 표면적인 어휘 패턴 (surface lexical patterns) 에 더 크게 의존하고 있음을 시사합니다.

발견 2: 벤치마크 리더보드는 취약함 (Brittle)

• 순위 불안정성: 의미 보존 변형만으로도 모델 간 상대적 순위가 크게 변동되었습니다.
  • MMLU: 순위가 비교적 안정적 ($\tau = 0.98$).
  • SQuAD 및 AMEGA: 순위 변동이 뚜렷하게 나타남 ($\tau = 0.93, 0.89$).
  • 예: SQuAD 에서 GPT-4.1-Nano 는 어휘 변형 시 8 위에서 12 위로 하락했고, GPT-OSS-120b 는 구문 변형 시 14 위에서 9 위로 상승했습니다.
• 의미: 정적 (Static) 인 리더보드 점수는 모델 선택의 신뢰할 수 있는 지표가 될 수 없으며, 특정 벤치마크의 언어 패턴에 과적합 (Overfitting) 된 결과일 가능성이 높습니다.

발견 3: 모델 크기 증가가 항상 견고성 (Robustness) 을 보장하지 않음

• 규모와 견고성의 비단조적 관계: "모델이 클수록 더 견고하다"는 가설은 반박되었습니다.
• 태스크 의존성:
  • MMLU: 모델 크기가 클수록 성능 하락 폭이 커짐 (양의 상관관계, $r=0.84$). 즉, 큰 모델이 더 취약함.
  • SQuAD 및 AMEGA: 모델 크기가 클수록 성능 하락 폭이 줄어듦 (음의 상관관계, $r=-0.47, -0.67$). 즉, 큰 모델이 더 견고함.
• 결론: 모델의 크기와 안정성 사이의 관계는 태스크의 성격에 따라 달라지며, 단순히 규모를 키우는 것만으로는 해결되지 않습니다.

4. 의의 및 결론 (Significance & Conclusion)

1. 평가 패러다임의 전환 필요: 현재 LLM 평가는 정적 점수에 의존하고 있으나, 본 연구는 견고성 (Robustness) 테스트가 평가 프로토콜의 필수 구성 요소가 되어야 함을 강조합니다.
2. 모델의 언어 이해 능력에 대한 의문: LLM 이 추상적인 언어 능력보다는 표면적인 어휘 통계에 의존한다는 발견은, 현재 모델들이 진정한 일반화 능력을 갖췄는지에 대한 근본적인 의문을 제기합니다.
3. 실무적 함의: 고위험 (High-stakes) 응용 분야 (예: 의료, 법률) 에서 모델 선택 시, 단순 벤치마크 점수뿐만 아니라 다양한 언어적 변형에 대한 견고성을 반드시 검증해야 합니다.
4. 향후 연구 방향:
   • 관찰된 효과의 메커니즘 (어휘 vs 구문 민감도) 규명.
   • 데이터 증강 (변형된 입력 포함) 이나 의미 일관성 손실 (Semantic consistency loss) 등을 활용한 견고성 강화 훈련 방법론 개발.
   • 오픈소스로 공개된 변형 벤치마크 데이터를 활용한 후속 연구 촉진.

이 논문은 LLM 평가의 신뢰성을 높이기 위해, 의미 보존 변형을 통한 견고성 평가의 표준화를 강력히 주장하며, 현재 리더보드 기반 모델 선택의 한계를 명확히 지적했습니다.