기술 요약: 모든 오답은 가치가 있다: LLM 다지선다형 벤치마크를 위한 옵션 수준 사이코메트릭스

문제 정의

현재 대규모 언어 모델(LLM) 벤치마킹은 다지선다형 질문(MCQ)에서 도출된 이진 정확도 점수에 크게 의존하고 있다. 이러한 방식은 모든 오답을 동일하게 취급하며, 모델이 구체적으로 어떤 오답(distractor)을 선택했는지에 담긴 체계적인 정보를 버린다. 결과적으로, 정확도 점수는 특정 문항 구성에 대한 의존성으로 인해 한계를 가지며, 모델의 확신도, 체계적 오류 패턴 또는 측정 불확실성을 포착하지 못한다. 모델이 벤치마크 포화 상태에 도달함에 따라, 이진 점수 방식은 변별력을 상실한다. 나아가, 기존의 사이코메트릭스 적용 사례(예: 문항 반응 이론, IRT)는 응답을 이진 정오답으로 축소하는 경향이 있어, LLM이 자연스럽게 생성하는 전체 옵션 선호도 분포를 활용하지 못한다.

방법론: LLM 명목 응답 모델 (LLM-NRM)

저자들은 Bock의 명목 응답 모델(NRM)을 LLM 평가에 맞게 변형한 옵션 인지 사이코메트릭 프레임워크인 **LLM 명목 응답 모델 (LLM-NRM)**을 제안한다. 이 모델은 이진 모델과 달리, 모든 정답 선택지에 대한 완전한 확률 분포를 모델링하여 잠재적인 LLM 능력($\theta$)과 문항 특성을 공동으로 추정한다.

핵심 공식

이 모델은 LLM의 MCQ 문항 응답을 단일 이진 레이블이 아닌, $K_i$개의 옵션에 대한 분포 $p_{ji}$로 취급한다. 이는 세 가지 LLM 특유의 행동 요인을 통합하여 고전적 NRM 유틸리티 함수 $u_{jik} = a_{ik}\theta_j + c_{ik}$를 확장한다:

1. 응답 교정 선명도 (Response Calibration Sharpness, $s_j$): 역온도(inverse temperature) 역할을 하는 모델별 파라미터이다. 이는 상대적인 옵션 순서를 바꾸지 않으면서 확률 분포의 집중도를 제어하며, 모델이 지식과 독립적으로 얼마나 확신을 가지고 선호도를 표현하는지(또는 분포가 얼마나 '평탄'한지)를 포착한다.
2. 위치 편향 (Positional Bias, $\delta_j$): 특정 정답 위치(예: A, B, C, D)에 대한 내용과 무관한 선호도를 나타내는 벡터이다. 이는 체계적인 위치 휴리스틱을 실제 옵션 내용의 매력도와 분리한다.
3. 난이도 게이트형 추측 폴백 (Difficulty-Gated Guessing Fallback): 모델에게 너무 어려운 문항일 때, 능력 기반 선호와 폴백 전략 사이를 보간하는 메커니즘이다.
   • 게이트 $G_{ji} = \sigma[w_0 - \kappa(\theta_j - \tilde{b}_i)]$는 폴백의 가중치를 결정하며, 여기서 $\tilde{b}_i$는 NRM 파라미터로부터 유도된 근사적 문항 난이도 지수이다.
   • 폴백 로그릿 벡터 $\rho_j$는 게이트가 활성화되었을 때의 구체적인 추측 분포(예: 레이블 사전 확률)를 정의한다.

최종 응답 분포는 소프트맥스 보간법을 따른다:
$$p_{jik}^{LLM-NRM} = \frac{\exp[(1-G_{ji})u_{jik} + G_{ji}\rho_{jk}]}{\sum_{k'} \exp[(1-G_{ji})u_{jik'} + G_{ji}\rho_{jk'}]}$$

추정

파라미터는 표준 정규 사전 확률($\theta_j \sim \mathcal{N}(0,1)$)에 의해 규제되는 소프트 크로스 엔트로피 손실을 사용하는 Adam 최적화를 통한 최대 사후 확률(MAP) 방식으로 추정된다. 모델은 14개 벤치마크의 31,554개 MCQ 문항과 189개의 LLM 데이터셋을 통해 적합된다.

주요 기여

1. NRM의 최초 LLM 적용: 본 연구는 LLM 영역에 명목 응답 모델을 도입하여, 단순한 정오답을 넘어 모델 행동에 대한 풍부한 관점을 제공하는 잠재적 응답 선호도를 밝혀냈다.
2. LLM 맞춤형 공식화: 저자들은 교정 선명도, 위치 편향, 난이도 의존적 폴백 행동을 명시적으로 모델링하여, 전통적인 문항 반응 모델링을 넘어 특정 LLM의 결정 과정을 포착하는 새로운 공식을 제안했다.
3. 오답(Distractor)의 유용성 입증: 본 논문은 오답이 무작위 노이즈가 아니라 구별되고 유용한 측정 정보를 포함하고 있음을 입증한다.

실험 결과

예측 성능

5-겹 교차 검증을 통한 홀드아웃 데이터 평가에서, LLM-NRM은 이진 IRT 베이스라인(1PL–4PL), 표준 NRM 및 기존의 최첨단 방식(예: Deep-IRT, PSN-IRT)보다 우수한 성능을 보였다.

• 이진 정오답: LLM-NRM은 가장 우수한 이진 베이스라인(0.8232)보다 높은 정확도(0.8395)를 달성했다.
• 옵션 수준 예측: 이득은 전체 옵션 분포를 예측할 때 더 두드러졌으며, LLM-NRM은 0.7070의 정확도와 0.8181의 로그 손실을 달성하여 이진 베이스라인(정확도 0.6427, 로그 손실 0.9879) 및 표준 NRM을 크게 앞질렀다.

외부 타당성

LLM-NRM에서 도출된 능력 추정치($\theta$)는 인간의 선호도를 기반으로 하는 외부 Arena.ai Text Elo 리더보드와 가장 강력한 스피어만 상관계수(0.920)를 보였으며, 이는 원시 정확도(0.866) 및 기타 잠재 능력 추정치(최대 0.885)보다 높은 수치이다. 이는 옵션 수준의 패턴이 집계된 정오답보다 인간의 판단과 일치하는 모델 간의 차이를 더 잘 포착함을 시사한다.

오답의 정보량

• 피셔 정보량 (Fisher Information): 선택된 오답의 정체는 이진 정오답만 고려했을 때보다 문항당 평균 **+101%**의 추가적인 피셔 정보량을 제공한다.
• 오류로부터의 회복: 오답(정답 신호 제외)만을 관찰하더라도, 모델은 전체 정보 참조 모델에 대해 0.9428의 스피어만 상관관계로 능력 추정치를 회복할 수 있다. 이는 오답 구조가 매우 정보력이 높고 체계적임을 확인해 준다.

벤치마크 효율성

• 문항 압축: LLM-NRM을 사용하여 가장 정보량이 많은 41개 문항을 선택했을 때, 켄달 상관계수 0.85를 유지하면서 전체 뱅크의 순위를 보존하는 770배의 규모 축소가 가능했다.
• 교정 효율성: LLM-NRM은 단 5개의 LLM만으로도 문항 파라미터를 교정할 수 있으며, 이진 응답의 제한된 정보로 인해 더 큰 규모의 모델 군단이 필요한 이진 IRT 모델보다 훨씬 빠르게 전체 규모의 성능에 도달한다.

의의 및 주장

본 논문은 LLM 벤치마크의 오답이 동등한 실수를 나타내는 것이 아니라, 구별되고 유용한 측정 정보를 담고 있다고 결론짓는다. 옵션 분포 전체를 모델링함으로써 LLM-NRM은 다음과 같은 성과를 거두었다:

1. 평가 정확도 향상: 인간의 선호도와 일치하는 더 신뢰할 수 있는 능력 추정치를 제공한다.
2. 행동적 미묘함 규명: 진정한 지식과 교정 아티팩트, 위치 편향, 그리고 폴백 전략을 분리한다.
3. 효율성 증대: 적은 수의 문항과 적은 수의 교정 모델로 고도로 정밀한 순위를 매길 수 있게 함으로써 벤치마킹 비용을 획기적으로 줄인다.

저자들은 이 접근 방식이 평가 패러다임을 이진 "맞음/틀림" 지표에서 "모든 오답은 가치가 있다"는 정교한 사이코메트릭 분석으로 전환한다고 주장한다. 향후 연구로는 부분 확률 관측, 다차원 능력, 그리고 고정된 옵션을 넘어선 확장 가능성을 탐구할 것을 제안하지만, 현재의 연구는 기존 MCQ 프레임워크 내에서 옵션 수준 데이터의 유용성을 검증하는 데 집중하고 있다.