기술 요약: 번역을 통한 데이터 오염의 은폐: 아랍어 코퍼스에서의 증거

문제 정의

벤치마크 콘텐츠가 모델의 학습 코퍼스에 나타나는 데이터 오염(Data contamination)은, 모델이 진정한 일반화가 아닌 암기(memorization)에 의존하게 만듦으로써 대규모 언어 모델(LLM) 평가의 타당성을 저해한다. 탐지 방법들이 존재하기는 하지만, 이들은 주로 영어 벤치마크에 국한되어 있으며 다국어 역학을 고려하지 못하는 경우가 많다.

본 논문은 특정 사각지대를 조사한다: 벤치마크를 저자원 언어(아랍어)로 번역하는 것이 자연스러운 장벽 역할을 하는지, 아니면 단순히 암기 효과를 은폐하는지에 대한 것이다. 저자들은 번역이 전통적인 오염 지표를 억제할 수는 있지만, 모델이 타겟 언어에서 강력한 능력을 갖추고 있다면 번역된 데이터에 노출됨으로써 여전히 불균형한 이득을 얻을 것이라는 가설을 세운다.

연구 방법론

실험 설정

연구진은 네 가지 오픈 웨이트 인스트럭션 튜닝 모델(Llama-3.2-1B, Mistral-7B, Gemma-3-1B, Qwen3-1.7B)을 매개변수 효율적 미세 조정(LoRA)을 사용하여 파인튜닝하였다. 학습 조건은 두 가지 벤치마크의 원문 영어 학습 데이터와 아랍어로 번역된 테스트 세트의 다양한 비율(0%, 10%, 50%, 100%)을 혼합하는 방식으로 구성되었다:

• MMLU: 객관식 질문(MCQ).
• XQuAD: 추출형 질의응답(QA).

모델들은 이 벤치마크들의 원문 영어 분할(splits)에 대해 평가되었다.

탐지 메커니즘

추론과 암기를 구분하기 위해 저자들은 세 가지 상호 보완적인 신호를 사용하였다:

1. TS-Guessing (Tested Slot Guessing): 선택지 재정렬 및 마스킹을 포함하는 확장된 방법이다.
   • MMLU의 경우: 정답 선택지를 섞고 하나를 마스킹한다. 모델에게 마스킹된 텍스트나 원래의 인덱스를 예측하도록 유도한다. 높은 "인덱스 회상률(Index Recall Rate, IDR)"—셔플링에도 불구하고 원래의 알파벳을 예측하는 것—은 암기된 위치 패턴에 대한 의존도를 나타낸다.
   • XQuAD의 경우: 질문 내의 핵심 토큰을 마스킹한다. 마스킹된 토큰에 대한 Exact Match(EM) 또는 높은 ROUGE-L F1 점수는 벤치마크 누출(leakage)을 시사한다.
2. Min-K++ 확률 분석: 저퍼플렉서티(low-perplexity) 토큰의 집중도를 측정하는 가능도 기반 프로브(likelihood-based probe)이다. 홀드아웃(held-out) 데이터와 비교했을 때 비정상적으로 확신에 찬 토큰 확률(낮은 Min-K++ 점수)은 분포적 증거로서의 암기를 나타낸다.
3. 번역 인식 오염 탐지 (TACD): 학습 데이터에 접근할 필요가 없는 제안된 진단 프로토콜이다. 각 인스턴스에 대해 다음과 같은 다중 평가 뷰(view)를 구축한다:
   • 교차 언어 뷰: 영어, 아랍어, 프랑스어로의 번역.
   • 구조적 섭동(Structural perturbation): 각 언어 뷰 내에서 정답 선택지의 무작위 순열.
   • 신호: **인덱스 회상률(IDR)**과 교차 언어 일관성(Cross-Lingual Consistency, CLC)(모든 언어 뷰에서 예측이 동일한 인스턴스의 비율)을 계산한다.

주요 결과

성능 및 전통적 신호

• MMLU: 모든 모델에서 오염 수준이 높아짐에 따라 정확도가 단조 증가했다. TS-Guessing은 높은 오염 수준에서 LLaMA와 Qwen의 IDR이 상승함을 보여주었으며, 이는 암기된 정답 위치에 대한 의존을 나타낸다. Min-K++는 깨끗한 모델과 오염된 모델을 효과적으로 분리했다(AUROC가 ~0.6에서 ~0.33–0.44로 하락).
• XQuAD: 경향이 이질적이었다. Gemma와 LLaMA는 점진적인 개선을 보인 반면, Mistral은 10% 이상의 오염에서 성능이 저하되었다. TS-Guessing은 낮은 Exact Match율을 보였으나 ROUGE-L F1은 증가하는 경향을 보였는데, 이는 마스킹된 내용의 부분적인 복구를 시사한다. Min-K++ 탐지는 MMLU에 비해 XQuAD에서 더 약하고 일관성이 낮았다.

번역 효과

연구 결과, 벤치마크를 아랍어로 번역하는 것이 전통적인 오염 지표(예: 표준 영어 전용 체크)를 억제하지만, 모델은 여전히 노출로부터 이득을 얻는다는 것이 밝혀졌다.

• TACD 결과:
  • LLaMA: 낮은 IDR과 함께 오염에 따라 점진적으로 증가하는 교차 언어 일관성을 보였다.
  • Qwen: 모든 오염 수준에서 완벽한 교차 언어 일관성(1.0)을 보이면서도 근사 확률 수준의 IDR을 유지했는데, 이는 예측이 입력 내용에 약하게 조건화되는 모델 특유의 붕괴(collapse)를 시사한다.
  • Gemma: IDR은 무작위 베이스라인 근처에 머물러 있지만, 교차 언어 일관성은 오염에 따라 단조 증가하는 독특한 영역을 보였다. 이는 오염된 노출이 명시적인 인덱스 회수로 나타나지 않으면서도 번역 간의 표현 불변성(representational invariance)을 유도했음을 나타내며, 이는 IDR만으로는 포착할 수 없는 신호이다.

주요 기여

1. 은폐된 오염의 입증: 본 논문은 벤치마크를 아랍어로 번역하는 것이 전통적인 오염 지표를 가릴 수 있으면서도 원문 영어 벤치마크의 성능을 부풀릴 수 있음을 입증한다. 이는 현재의 영어 중심 평가 파이프라인에 존재하는 중요한 사각지대를 드러낸다.
2. 탐지 방법의 확장: 저자들은 선택지 재정렬 전략을 통해 TS-Guessing을 확장하고, 행동적(위치적) 및 분포적(가능도) 오염 신호를 모두 포착하기 위해 Min-K% 확률 분석을 통합하였다.
3. TACD 제안: 저자들은 여러 번역된 벤치마크 변체(영어, 아랍어, 프랑스어)와 구조적 섭동을 비교하여 오염을 식별하는 번역 인식 오염 탐지(TACD) 프로토콜을 도입하였다. TACD는 영어 전용 방법이 실패할 때도 교차 언어 불변성과 모델 특유의 행동 양식을 탐지함으로써 오염을 성공적으로 드러낸다.

의의 및 주장

저자들은 자신들의 연구 결과가 다국어, 번역 인식 평가 파이프라인의 필요성을 강조한다고 주장한다. 그들은 번역이 탈오염(decontamination) 전략으로 취급되어서는 안 된다고 논한다. 대신, 오염 감사는 반드시 번역된 변체들 간의 신호를 명시적으로 비교해야 하며, 집계된 메트릭을 표면 형태 변화에 강건한 행동 프로브와 결합해야 한다.

본 논문은 LLM에 대한 공정하고 투명하며 재현 가능한 평가를 보장하기 위해, 커뮤니티가 영어 중심의 가정에서 벗어나야 한다고 결론짓는다. TACD는 결정적인 오염의 증거라기보다, 다국어 환경에서 추론 기반의 일관성과 암기 기반의 일관된 행동을 구분하기 위한 실용적이고 재현 가능한 도구로서 제시된다.