RBCorr: Response Bias Correction in Language Models

1. 문제 정의 (Problem)

언어 모델 (LM) 은 고정된 응답 형식 (Yes/No, 다지선다형 등) 의 평가 환경에서 응답 편향 (Response Bias) 을 보이는 것으로 알려져 있습니다. 이는 모델이 특정 답변 옵션을 선호하거나 기피하는 경향을 의미하며, 실제 추론 능력과 무관하게 모델의 성능을 왜곡시킵니다.

• 기존 접근법의 한계: 기존 편향 완화 연구들은 주로 LogProbs(로그 확률) 조작에 의존했으나, 실험 설정 (모델, 데이터셋, 프롬프트 형식) 에 따른 편향의 특성을 체계적으로 탐구하지 못했습니다. 또한, 편향을 정확도 (Accuracy) 와 분리하여 추적하지 않아 편향 제거의 효과를 정밀하게 파악하기 어려웠습니다.
• 핵심 과제: 저비용이면서 효과적인 편향 교정 방법을 개발하여 모델의 진정한 능력을 평가하고, 특히 소형 모델의 성능을 향상시키는 것입니다.

2. 방법론 (Methodology)

저자들은 RBCorr (Response Bias Correction) 이라는 새로운 교정 전략을 제안했습니다. 이 방법은 모델의 마지막 레이어에서 소프트맥스 (Softmax) 변환 전의 토큰 LogProbs 값을 추출하여 적용합니다.

• 편향 측정 (Bias Measurement):

  • 테스트 데이터셋의 정답 분포 (균형 잡힌 경우 균일 분포) 와 모델의 실제 응답 분포 간의 총 변이 거리 (Total Variation Distance, TVD) 를 계산하여 편향을 정량화합니다.
  • $TVD(G, M) = \frac{1}{2} \sum |G(x) - M(x)|$ 공식을 사용하며, TVD 값이 낮을수록 편향이 적음을 의미합니다.

• 교정 절차 (RBCorr Correction):

  1. 캘리브레이션 세트 구성: 전체 데이터셋에서 클래스가 균형 잡힌 작은 캘리브레이션 세트 (예: 100 개 질문) 를 샘플링합니다.
  2. 평균 LogProbs 추정: 각 응답 옵션 토큰에 대한 LogProbs 의 평균값을 캘리브레이션 세트에서 계산합니다.
  3. 보정 적용: 평가 세트를 구성하는 모든 항목에 대해, 해당 토큰의 LogProbs 값에서 계산된 평균값을 뺍니다 (Mean-normalization).
  4. 응답 생성: 보정된 LogProbs 값을 기반으로 최종 응답을 추출합니다.
  • 이 과정은 추가적인 계산 오버헤드가 없으며, 기존 LogProbs 값만 조정하면 됩니다.

3. 주요 실험 및 결과 (Key Results)

저자들은 12 개의 오픈 가중치 언어 모델 (Falcon3, Gemma3, Llama3.1 계열) 을 대상으로 Yes/No, NLI(3 선택), MMLU(4 선택) 등 다양한 데이터셋과 프롬프트 형식 (Zero-shot, Few-shot 등) 으로 실험을 수행했습니다.

• 편향의 존재 확인 (Experiment 1):

  • 보정 전 모델들은 데이터셋과 모델 크기에 따라 뚜렷한 편향을 보였습니다 (예: Yes/No 질문에서 'No' 선호, NLI 에서 '1' 옵션 선호).
  • 일반적으로 모델 크기가 크거나 인스트럭션 튜닝 (Instruction-tuned) 된 버전일수록 편향이 적었습니다.

• 성능 향상 효과 (Experiment 2):

  • RBCorr 적용 후 모든 모델에서 편향 (TVD) 이 감소했으며, 정확도는 유지되거나 향상되었습니다.
  • 특히 소형 모델 (Small-sized models) 에서 정확도 향상 폭이 가장 컸습니다. 이는 편향으로 인해 숨겨져 있던 실제 수행 능력을 회복시켰음을 시사합니다.
  • BABI 데이터셋 (2 선택형) 의 경우 RBCorr 적용 시 약 29% 의 정확도 회복 효과를 보였습니다.

• 기존 방법론과의 비교 (Experiment 3):

  • Contextual Calibration (CC) 및 Batch Calibration (BC) 과 비교한 결과, RBCorr 은 2 선택 및 3 선택 데이터셋에서 가장 큰 정확도 향상을 보였습니다.
  • 4 선택 데이터셋에서는 BC 가 우수했으나, 전반적으로 RBCorr 과 BC 는 CC 보다 우수한 편향 감소 효과를 보였습니다.
  • RBCorr 은 세 가지 방법 중 가장 일관되게 편향 (TVD) 을 가장 크게 감소시켰습니다.

• 전송 가능성 (Transferability) 분석 (Experiment 4):

  • 한 설정 (모델, 데이터셋, 프롬프트) 에서 계산된 보정 항을 다른 설정에 적용하는 실험을 수행했습니다.
  • 결과: 교정 항의 전송 성공률은 매우 낮았습니다 (모델 간 10.42%, 프롬프트 간 10.42%, 데이터셋 간 21.93%).
  • 이는 편향 행위가 모델, 데이터셋, 프롬프트 형식 모두에 매우 의존적 (Context-specific) 이며, 특정 조건에 맞는 캘리브레이션이 필수적임을 의미합니다.

4. 기여도 및 의의 (Contributions & Significance)

• 실용적인 교정 도구: RBCorr 은 계산 비용이 거의 들지 않으면서 소형 LLM 의 성능을 획기적으로 개선할 수 있는 쉬운 방법론을 제공합니다.
• 정확한 평가 체계: 편향을 제거함으로써 모델의 실제 추론 능력을 더 정확하게 평가할 수 있게 되었습니다. 이는 편향이 성능 저하의 주요 원인인지 진단하는 도구로도 활용됩니다.
• 편향의 국소성 규명: LogProbs 기반 편향 보정이 모델, 데이터, 프롬프트의 조합에 따라 달라진다는 것을 체계적으로 증명하여, 범용적인 보정 방법의 한계를 지적하고 조건별 맞춤형 접근의 필요성을 강조했습니다.
• 미래 지향성: 추후 보정된 확률을 기반으로 모델을 미세 조정 (Fine-tuning) 하거나, 기계적 해석 가능성 (Mechanistic Interpretability) 을 통해 편향의 근원을 모델 가중치 단계에서 교정하는 연구로 확장할 수 있는 기반을 마련했습니다.

5. 결론

이 논문은 언어 모델의 고정 응답 평가에서 발생하는 편향 문제를 해결하기 위해 RBCorr을 제안했습니다. 실험을 통해 이 방법이 소형 모델을 포함한 다양한 모델에서 편향을 효과적으로 제거하고 정확도를 높인다는 것을 입증했습니다. 또한, 편향 교정 값이 특정 컨텍스트에 종속적임을 밝혀, 향후 LLM 평가 및 개선 과정에서 조건별 맞춤형 편향 관리의 중요성을 강조했습니다.