기술 요약: 모델은 모델을 가장 잘 안다: 모델 선호 형식에 따른 평가

문제 정의

다중 선택형 질의응답(MCQA)은 대규모 언어 모델(LLM)을 평가하는 사실상의 표준입니다. 그러나 최근 연구들은 MCQA에서의 모델 성능이 입력 형식, 특히 기호 기반(symbol-based) 형식과 클로즈 스타일(cloze-style) 평가 형식 사이의 선택에 매우 민enc하게 반응한다는 점을 지적합니다.

• 기호 기반: 모델이 목록에 대응하는 라벨(예: "A", "B", "C", "D")을 생성하여 옵션을 선택합니다.
• 클로즈 스타일: 프롬프트 뒤에 정답 텍스트를 붙였을 때 해당 텍스트의 가능성(likelihood)을 평가하며, 종종 길이 정규화가 필요합니다.

기존 연구는 이 두 형식 간의 상당한 성능 차이를 강조하지만, 근본적인 원인은 여전히 명확히 밝혀지지 않았습니다. 결정적으로, 이러한 차이가 확률적인 것인지 아니면 체계적인 것인지, 그리고 인간이 설계한 휴리스틱이 특정 태스크에 최적화된 형식을 신뢰성 있게 예측할 수 있는지 여부는 불분서합니다. 현재의 평가 프로토콜은 종종 단일 고정 형식을 사용하므로, 형식-태스크 간의 불일치로 인해 LLM의 실제 능력을 과소평가할 가능성이 있습니다.

방법론

본 논문은 인간의 직관이 아닌, 모델 자체의 잠재적 선호도에 기반하여 각 문제 인스턴스에 대한 최적의 평가 형식을 선택하는 **동적 형식-정렬 전략(dynamic format-alignment strategy)**을 제안합니다.

1. 경험적 베이스라인 분석

저자들은 22개의 디코더 기반 LLM(Qwen 3, Llama 3.1/3.2, Mistral 제품군 포함)과 8개의 다양한 벤치마크(예: MMLU, ARC, HellaSwag, PIQA)를 대상으로 체계적인 비교를 수행했습니다.

• 결과: 성능 차이는 체계적이며 태스크 의존적입니다.
  • 기호 선호 태스크: 옵션에 대한 명시적 비교가 필요하거나(예: "다음 중 무엇인가?") "해당 사항 없음(None of the above)"과 같은 옵션이 포함된 태스크(예: ARC, MMLU)는 기호 기반 형식에서 성능이 현저히 높았습니다.
  • 클로즈 선호 태스크: 자연어 연속성을 요구하는 태스크(예: 서사 내 다음 문장 예측)는 클로즈 스타일 형식에서 훨씬 더 나은 성능을 보였습니다(예: HellaSwag, PIQA, WinoGrande).
• 인-컨텍스트 학습(In-Context Learning): 퓨샷(few-shot) 데모가 형식 불일치를 완화할 수는 있지만, 성능 격차를 완전히 제거하지는 못하며, 모델은 10개의 예시가 주어져도 최적 형식의 베이스라인에 도달하지 못하는 경우가 많습니다.

2. 분류기 기반 형식 선택

이러한 불일치를 해결하기 위해, 저자들은 각 문제 인스턴스에 대해 선호되는 형식(기호 vs 클로즈)을 예측하는 경량 인코더 기반 분류기(파인튜닝된 DeBERTaV3)를 도입했습니다. 이 분류기를 훈련하기 위해 두 가지 레이블링 전략을 탐색했습니다.

• 인간 주석 레이블(Human-Annotated Labels): 구문론적 휴리스틱(예: 옵션이 문장을 완성하는지 또는 명시적 비교를 요구하는지 여부)을 바탕으로 데이터의 일부를 수동으로 레이블링했습니다.
  • 결과: 이 접근 방식은 일관된 성능 저하를 초явля했습니다. 이는 인간의 언어적 직관이 형식 선호도에 관한 LLM의 잠재적 귀납 편향(inductive bias)과 일치하지 않음을 시사합니다.
• 모델 생성 레이블(Model-Generated Labels): 대상 모델(또는 모델 세트)을 두 형식 모두에서 평가하여, 모델이 더 높은 정답률이나 확신도(확률 마진으로 측정)를 보인 형식을 레이블로 추출했습니다.
  • 알고리즘: 특정 인스턴스에 대해 모델이 한 가지 형식에서만 정답을 맞히면 그 형식을 선택합니다. 양쪽 모두에서 정답을 맞히면, 노이즈를 피하기 위한 임계값 $\delta$를 적용하여 더 높은 확신도 마진을 가진 형식을 선택합니다.
  • 일반화: 전이 가능성을 테스트하기 위해, 세 가지 서로 다른 중간 크기 모델(Llama 3.1 8B, Mistral 7B, Qwen3 8B)로부터 레이블을 집계하는 "다수결 투표(majority-voting)" 전략을 사용하여 미지의 모델을 위한 분류기를 훈련했습니다.

주요 기여

1. 형식 편향의 체계적 특성화: 본 논문은 MCQA에서의 성능 차이가 확률적인 것이 아니라, 태스크의 구조적 및 언어적 특성에 따라 체계적으로 변한다는 것을 입증했습니다. 이러한 패턴은 다양한 디코더 기반 LLM 전반에서 일관되게 나타나는 모델 불가지론적(model-agnostic) 특성입니다.
2. 잠재적 선호 신호: 저자들은 형식 선호도를 결정하는 특성들이 모델의 잠재 표현(latent representations) 내에 암묵적으로 인코딩되어 있다는 증거를 제시합니다. 이러한 신호를 명시적으로 이끌어냄으로써, 부적절한 형식팅으로 인해 손실되었던 성능을 회복할 수 있습니다.
3. 동적 형식-정렬 전략: 제안된 방법은 모델 생성 신호를 활용하여 인스턴스별로 최적의 평가 형식을 동적으로 선택합니다. 이 접근 방식은 훈련-프리(training-free) 휴리스틱 없이 모델의 능력과 태스크 특성 사이의 간극을 메웁니다.

결과

평가 결과, 모델 생성 분류기가 고정 형식 베이스라인 및 인간 주석 분류기보다 유의미하게 우수한 성능을 보였습니다.

• 성능 향상: 제안된 방법은 추론 및 지식 집약적 벤치마크에서 제로샷 정확도의 상당하고 일관된 향상을 가져왔습니다.
  • 클로즈 선호 태스크(예: HellaSwag, PIQA, WinoGrande)에서 이 접근 방식은 종종 "선호되는" 형식의 베이스라인을 상회하며 상당한 성능을 회복했습니다(예: Llama 3.2 1B에서 WinoGrande +16.7%, Qwen3 0.6B에서 +28.3%).
  • 기호 선호 태스크(예: ARC, MMLU)에서 이 방법은 원래의 선호 형식과 대등한 수준을 유지하며, 인간 주석 분류기에서 나타난 성능 저하를 피했습니다.
• 일반화: 여러 모델의 신호를 집계하는 "다수결 레이블링" 접근 방식은 "자기 레이블링" 분류기와 대등한 이득을 달-성했습니다. 이는 형식 선호도가 특정 모델의 고유한 산물이 아니라, 디코더 기반 LLM에 내재된 공유된 태스크 의존적 경향을 반영함을 나타냅니다.
• 인간 vs 모델 휴리스틱: 인간 주석 레이블로 훈련된 분류기는 일관되게 성능을 저하시켰으며, 이는 인간의 직관이 모델의 형식 선호도를 나타내는 신뢰할 수 있는 대리 지표가 아님을 확인시켜 줍니다.

의의

본 논문은 고정 형식 평가 관행이 현재 LLM의 능력을 과소평가하고 있다고 주장합니다. 모델이 평가 형식에 대해 잠재적이고 태스크 의존적인 편향을 가지고 있음을 입증함으로써, 저자들은 평가 프로토콜을 이러한 귀납적 편향과 일치시키는 것의 중요성을 강조합니다.

이 연구의 의의는 LLM 평가에 대한 방법론적 기여에 있습니다:

1. 인간이 설계한 휴리스틱이 최적의 평가 전략을 결정하는 데 충분하다는 가설에 도전합니다.
2. 형식 불일치로 인해 가려진 잠재적 모델 능력을 회복하기 위한 훈련-프리(training-free) 인스턴스 수준의 메커니즘을 도입합니다.
3. 향olog한 평가가 모델 성능에 대한 더 정확하고 통찰력 있는 평가를 제공하기 위해 모델이 서로 다른 상호작용 형식을 내부적으로 어떻게 표현하고 반응하는지를 고려해야 함을 시사합니다.

저자들은 본 연구가 주로 방법론적이며, 모델 평가의 신뢰성과 해석 가능성을 개선하는 것을 목표로 하며, LLM 평가 자체에 내재된 문제를 제외하고는 새로운 사회적 또는 윤리적 문제를 직접적으로 제기하지 않는다고 언급했습니다.