ABCD: All Biases Come Disguised

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 추론 및 지식 기반 질문 답변 능력을 평가하는 데 표준으로 사용되는 다지선다형 질문 (MCQ) 벤치마크는 모델이 실제 추론 능력을 발휘하는 것이 아니라, 평가 프로세스의 표면적 특징 (Artifacts) 을 악용하여 높은 점수를 얻는 경향이 있습니다.

기존 연구들은 주로 **정답의 위치 (Position Bias)**나 라벨 (A, B, C, D 등) 에 대한 편향을 지적했으나, 본 논문은 다음과 같은 더 넓은 범위의 편향을 규명합니다:

• Few-shot Prompt 분포 편향 (Few-shot Prompt Distribution Bias): 프롬프트 내 예시들의 정답 분포 패턴을 모델이 학습하여, 의미 없는 입력에서도 높은 정확도를 달성하는 현상.
• 라벨 및 예측 모드 편향: 모델이 정답 텍스트 전체를 생성하는 대신, 단순히 라벨 (A/B/C/D) 만 예측할 때 발생하는 편향.

이러한 편향들은 모델의 실제 능력을 왜곡하여, 고난도 벤치마크에서도 모델이 단순한 패턴 매칭으로 높은 점수를 얻게 만듭니다.

2. 방법론 (Methodology)

2.1 진단 도구: NonsenseQA

저자들은 다양한 편향을 정량화하기 위해 NonsenseQA라는 합성 데이터셋을 제안했습니다.

• 구성: 무작위 단어로 구성된 질문과 4 개의 선택지, 그리고 무작위로 할당된 정답으로 구성됩니다.
• 목적: 의미 없는 입력 (Nonsense) 에 대해 모델이 얼마나 높은 정확도를 보이는지 측정함으로써, 모델이 실제 추론이 아닌 Few-shot 예시의 분포, 라벨, 정답 위치 등의 편향을 얼마나 악용하는지 진단합니다.
• 관찰 결과: 일부 모델은 NonsenseQA 에서 무작위 추측 (25%) 을 훨씬 상회하는 95% 이상의 정확도를 보였으며, 이는 모델이 Few-shot 예시의 패턴을 직접적으로 활용하고 있음을 시사합니다.

2.2 편향 감소 평가 프로토콜: Matched-and-Dashed (M&D)

기존의 Select-and-Letter (S&L) 방식 (라벨 선택) 을 대체하는 새로운 평가 프로토콜을 제안합니다.

1. 균일한 라벨 (Uniform Labels): 선택지 앞에 붙는 라벨 (A, B, C, D) 을 모두 동일한 기호 (예: -) 로 변경하여 순서나 라벨 자체의 의미적 편향을 제거합니다.
2. 전체 텍스트 생성 (Full-text Generation): 모델이 단순히 라벨을 선택하는 것이 아니라, **정답에 해당하는 전체 문장 (Full-text option)**을 생성하도록 지시합니다.
3. 의미적 유사성 매칭 (Semantic Similarity Matching): 모델이 생성한 텍스트와 후보 정답들 간의 의미적 유사도 (Sentence Similarity) 를 계산하여 가장 유사한 정답을 선택합니다. (Qwen3-Embedding 모델 및 코사인 유사도 사용)

이 프로토콜은 모델이 라벨이나 위치 패턴에 의존하지 않고, 실제 선택지의 내용과 추론 과정을 기반으로 답을 내도록 강제합니다.

3. 주요 기여 (Key Contributions)

1. 실용적인 편향 제거 평가 표준 (Bias-Reduced Evaluation Protocol):

   • 모델 미세 조정 (Fine-tuning) 이나 내부 로그 (Logits) 접근 없이, 단일 패스 (Single-pass) 로 구현 가능한 간단한 프로토콜을 제안했습니다.
   • 균일한 라벨, 전체 텍스트 생성, 의미 매칭을 결합하여 단축키 (Shortcut) 악용을 대폭 줄였으며, 계산 비용은 기존 대비 약 3% 만 증가시킵니다.

2. NonsenseQA 데이터셋:

   • LLM 의 질문 답변 시 발생하는 다양한 편향 (라벨, 모드, 위치, Few-shot 분포) 을 체계적으로 드러내는 진단 도구입니다.

3. 새로운 편향의 규명:

   • 기존 연구에서 간과했던 Few-shot 정답 분포 편향과 답변 모드 편향을 식별하고, 의미 없는 입력에서도 이러한 편향이 체계적으로 악용될 수 있음을 증명했습니다.

4. 실험 결과 (Results)

13 개의 LLM 과 5 개의 벤치마크 (MMLU-Pro, GPQA, CommonsenseQA, ARC, INCLUDE) 에서 평가를 수행한 결과는 다음과 같습니다.

• 편향 제거 효과 (NonsenseQA):
  • 기존 S&L 방식에서는 모델들이 NonsenseQA 에서 95% 이상의 정확도를 보인 반면, 제안된 M&D 프로토콜에서는 대부분의 모델이 무작위 추측 수준인 25% 근처로 정확도가 급격히 하락했습니다. 이는 모델이 편향을 악용하지 못하게 되었음을 의미합니다.
• 강건성 (Robustness) 향상:
  • 정답 위치를 무작위로 섞는 "Answer-moving Attack"에 대해 M&D 프로토콜은 정확도 분산 (Variance) 을 평균 3 배 감소시켰습니다.
  • 13 개 모델 중 11 개 모델이 M&D 에서 더 낮은 분산과 더 안정적인 성능을 보였습니다.
• 성능 저하 최소화:
  • 편향을 제거했음에도 불구하고, 실제 벤치마크 (CSQA, ARC 등) 에서의 평균 성능은 미미하게만 감소하거나 유지되었습니다. 이는 모델이 실제 추론 능력을 유지하면서 편향에 의한 가짜 점수가 제거되었음을 시사합니다.
• 다국어 및 고난도 문제 적용:
  • INCLUDE(다국어) 및 GPQA(고난도 과학 문제) 에서도 동일한 강건성 향상 효과가 관찰되었습니다.
• SCORE 지표의 한계 보완:
  • 기존 강건성 지표인 SCORE 는 편향을 악용하여 일관된 (하지만 잘못된) 답을 내는 모델에게 높은 점수를 줄 수 있습니다. 본 논문은 **분산 비율 (Variance Ratio)**을 추가하여 편향 악용과 진정한 일관성을 구분하는 더 정확한 평가 방식을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 평가에서 **표면적인 형식 (라벨, 위치, 프롬프트 패턴)**이 모델의 성능을 왜곡할 수 있음을 강력하게 증명했습니다.

• 평가의 신뢰성 제고: 제안된 M&D 프로토콜은 모델이 실제 지식과 추론 능력을 가지고 있는지, 아니면 평가 프로토콜의 결함을 이용하는지 구분하는 데 필수적입니다.
• 실무적 적용: 고위험 의사결정 (High-stakes decision) 상황에서 LLM 을 사용할 때, 편향에 의존하지 않는 견고한 평가가 가능해집니다.
• 미래 연구 방향: MCQ 벤치마크의 구조적 한계를 인정하고, 의미적 유사성 매칭을 통한 평가 표준을 정립함으로써, 더 공정하고 신뢰할 수 있는 LLM 평가 생태계를 구축하는 기초를 마련했습니다.

결론적으로, **"ABCD"**는 모든 편향이 위장되어 있음을 경고하며, 이를 해결하기 위한 단순하지만 효과적인 평가 프로토콜을 제시함으로써 LLM 평가의 새로운 표준을 제안합니다.