Uncertainty-based Debiasing and Unlearning for Decontamination

기술 요약: 불확실성 기반 디바이아싱(Debiasing) 및 언러닝(Unlearning)을 통한 오염 제거

문제 정의
벤치마크 기반 평가는 대규모 언어 모델(LLM)을 평가하는 표준 패러다임이지만, 데이터 오염(데이터 오염이란 벤치마크 샘플이 학습 코퍼스에 포함되는 현상을 의미함)은 이러한 평가의 타당성을 심각하게 저해한다. 오염은 모델이 진정한 추론 능력을 보여주는 대신 참조 정답을 암기하도록 유도함으로써 보고된 성능을 부풀린다. 기존의 오염 제거 방법들은 주로 집계된 정확도 지표에 의존하는데, 이는 개별 샘플 단위의 모델 행동 차이를 은폐할 수 있다. 또한, 현재의 많은 접근 방식은 오염되지 않은 "클린(clean)" 모델에 대한 접근 권한이나 어떤 특정 샘플이 오염되었는지에 대한 사전 지식을 요구하며, 이는 이러한 자원을 사용할 수 없는 실제 환경에서의 실용성을 제한한다.

방법론
본 논문은 샘플 수준의 평가 지표와 '불확실성 기반 오염 제거(Uncertainty-Based Decontamination, UBD)'라고 불리는 새로운 계열의 오염 제거 방법으로 구성된 혁신적인 프레임워크를 제안한다.

1. 샘플 수준 평가 프레임워크:
   저자들은 단순히 데이터셋 수준의 정확도에 의존하는 대신, 오염되지 않은 모델과 오염 제거된 모델 사이의 분포적 거리를 샘플 단위로 측정하는 지표를 도입한다.

• KL-Divergence ($D_{KL}$): 각 샘플에 대해 오염되지 않은 모델과 오염 제거된 모델의 전체 출력 분포 간의 발산(divergence)을 측정한다.
• Ground-Truth Probability Difference ($D^*_{L1}$): 두 모델 간에 정답($y^*$)에 할당된 확률의 절대적 차이를 측정한다.
  이러한 지표들은 오염 제거가 단순히 데이터의 서로 다른 부분집합에 대해 정확도를 이동시키는 것이 아니라, 진정한 출력 분포를 회복하는 것을 보장하는 데 목적이 있다.

2. 불확실성 기반 오염 제거 (UBD):
   UBD는 오염되지 않은 모델이나 오염된 데이터셋에 대한 지식 없이 작동하는 일련의 방법론이다. 이는 오염된 모델의 딥 앙상블(deep ensembles)을 활용하여 불확실성을 통해 샘별 암기 정도를 추정한다.

• 불확실성 추정: 저자들은 "어렵지만 암기된(hard but memorized)" 샘플(오염으로 인해 모델이 높은 확신을 갖는 샘플)이 서로 다른 배치 순서로 학습된 모델 앙상블 전반에서 예측의 변동성이 높다는 점을 관찰했다. 이러한 인식론적 불확실성(epistemic uncertainty)은 오염의 신호 역할을 한다.
• 오염 스칼라 ($\hat{\alpha}$): 앙상블 전체에 걸친 정답 확률의 표준 편차로부터 샘플별 스칼라를 추정한다. 높은 표준 편차는 강한 암기를 나타내며(낮은 $\alpha$), 낮은 표준 편차는 진정한 용이함을 나타낸다(높은 $\alpha \approx 1$).
• UBD-Debiasing: 출력 분포를 재조정하는 사후 추론 시점의 교정 방법이다. 이는 정답에 과도하게 쏠린 확률 질량을 억제하고, 추정된 $\hat{\alpha}$에 따라 다른 선택지로 비례적으로 재분배한다.
• UBD-Unlearning: 오염된 모델을 디바이어싱된 분포를 소프트 타겟(soft target)으로 사용하여 미세 조정하는 파라미터 업데이트 방법이다. 이는 출력 분포의 전체적인 형태는 유지하면서 암기 현상을 억제한다.

주요 기여

• 평가 패러다임의 전환: 본 논문은 데이터셋 수준의 지표가 불충분하다고 주장하며, 집계된 정확도에 의해 가려진 행동 차이를 드러내기 위해 분포 거리 지표($D_{KL}$ 및 $D^*_{L1}$)를 사용하는 샘플 수준 평가 프레임워크를 제안한다.
• 오염 신호로서의 불확실성: 저자들은 앙상블 불확실성(특히 정답 확률의 표준 편차)이 진정으로 쉬운 샘플과 오염으로 인해 암기된 어려운 샘플을 효과적으로 구별한다는 것을 입증한다.
• UBD 방법론: 오염되지 않은 참조 모델이나 오염된 샘플에 대한 지식 없이도 오염 제거를 달 p성하는 UBD-Debiasing과 UBD-Unlearning을 소개한다.

실험 결과
Llama-3.2-3B-Instruct 및 Qwen2.5-3B-Instruct 백본을 사용하여 MMLU-Pro 및 MATH-MCQA 벤치마크에서 실험을 수행하였다.

• 우수한 샘플 수준 회복력: UBD 방법론은 패러프레이징(paraphrasing), 선택지 순서 변경(choice permutation), 그리고 참조 모델 기반의 DeconIEP와 같은 베이스라인 모델들에 비해 오염되지 않은 모델의 샘플별 출력 분포에 훨씬 더 근접한 결과를 생성했다.
• 지표 개선: Llama-3.2 기반의 MMLU-Pro에서 UBD-Debiasing은 오염된 모델 대비 $D_{KL}$ 및 $D^*_{L1}$에서 40% 이상의 상대적 감소를 달성했다. Qwen2.5에서는 $D_{KL}$에서 거의 60%에 달하는 감소를 기록했다.
• 베이스라인 비교: 패러프레이징과 선택지 순서 변경은 데이터셋 수준의 잔류 오염(RC)을 줄였으나, 샘플 수준의 분포 거리를 개선하는 데는 실패했다(종종 $D_{KL}$을 증가시킴). DeconIEP는 베이스라인들보다 우수한 성능을 보였으나, 특히 오염되지 않은 데이터에 대한 성능($D_{dev}$)을 보존하는 측면에서 UBD에 뒤처졌다.
• 강건성: 민감도 분석 결과, UBD 방법론은 오염 제거 적용을 위한 다양한 임계값 설정에서도 강건함을 유지했다.

의의 및 주장
본 논문은 데이터셋 수준의 성능 지표와 실제 샘플 수준의 모델 행동 사이의 "단절"을 해결하는 데 그 주요 의의가 있다고 주장한다. 불확실성 기반 신호를 도입함으로써, 저자들은 오염되지 않은 모델에 대한 접근 권한이나 알려진 오염 데이터 목록이 필요하다는 비현 reality적인 가정에 의존하지 않는 실용적인 오염 제거 솔루션을 제공한다. 본 연구는 오염된 모델과 앙상블 기술만을 사용하여 암기 현상을 효과적으로 억제하고 편향되지 않은 출력 분포를 회복할 수 있음을 입증하며, 이를 통해 LLM 능력에 대한 더욱 신뢰할 수 있고 공정한 벤치마킹을 가능하게 한다.

한계점
저자들은 두 가지 주요 한계를 인정한다:

1. 앙상블 요구 사항: 불확실성을 추정하기 위해 모델(또는 LoRA 가중치)의 앙상블이 필요하며, 이는 모델 제공자가 여러 체크포인트를 공개하지 않을 경우 부담이 될 수 있다.
2. 태스크 범위: 현재의 UBD-Debiasing 공식은 분류 태스크(예: 객관식 문제)로 제한되어 있다. 이 접근 방식을 개방형 생성(open-ended generation)으로 확장하는 것은 향후 연구 과제이다.