기술 요약: LLM을 이용한 시험 문항 난이도 추정

문제 정의

대규모 언어 모델(LLM)이 교육 콘텐츠 생성에 점점 더 많이 배치됨에 따라, 배포 전 생성된 질문의 난이도를 신뢰성 있게 추정할 수 없다는 중대한 안전 격차가 존재한다. 전통적인 난이도 추정은 대표 학생 표본을 대상으로 한 비용이 많이 드는 대규모 예비 테스트를 필요로 하는 문항 반응 이론(IRT)에 의존한다. LLM은 텍스트로부터 직접 문항 난이도를 근사할 수 있는 잠재력을 제공하지만, 다음과 같은 몇 가지 과제가 신뢰성을 저해한다:

1. 도메인 의존성: 모델은 과목(예: 수학 vs 인문학)에 따라 일관되지 않은 동작을 보인다.
2. 멀티모달리티: 실제 시험 문항은 도표와 표에 의존하는 경우가 많으며, 이를 텍스트로 변환하는 과정에서 추론에 필수적인 공간적 단서를 놓칠 위험이 있다.
3. 교정(Calibration) 대 순위(Ranking): 모델은 평균 난이도로 회귀(평균으로의 회귀)함으로써 낮은 절대 오차를 달성할 수는 있지만, 문항의 상대적 순서(순위 충실도)를 보존하는 데는 실패할 수 있다.
4. 맥락 민감도(가소성): 모델이 학습자 인구 통계(예: 국가 또는 교육 배경)에 따라 난이도 추정치를 의미 있게 조정할 수 있는지, 아니면 그러한 단서가 노이즈가 섞인 편향된 변화를 유발하는지 불분명하다.

본 연구는 LLM이 신뢰할 수 있는 사전 스크리닝 도구 역할을 할 수 있는지 확인하기 위해, 고부담(high-stakes) IRT 교정 데이터와 벤치마킹함으로써 이러한 격차를 다룬다.

방법론

데이터셋

본 연구는 2017~2022년 브라질의 Exame Nacional do Ensino Médio(ENEM)에서 추출한 1,031개의 객관식 문항 코퍼스를 활용한다. 데이터셋은 수학(MT), 자연과학(CN), 인문과학(CH), 언어 및 코드(LC)의 네 개 과목을 포괄한다.

• 정답(Ground Truth): 대규모 학생 성과로부터 도출되어 1~10 척도로 매핑된 공식 IRT 난이도 파라미터($b_i$).
• 모달리티: 38.1%의 문항이 시각적 요소(도표, 그래프, 표)를 포함하고 있다. 이는 텍스트 전용 파이프라인을 시뮬레이션하기 위해 시각 기능이 있는 LLM(GPT-4o, Gemini-2.0-Flash)을 사용하여 텍스트로 전사되었으며, 현실적인 배포 조건을 반영하기 위해 미세한 전사 오류를 유지하였다.

실험 프로토콜

• 모델: 네 개의 독점 API(GPT-4o, o3, Claude-4-Sonnet, Gemini-2.0/2.5-Flash)와 여섯 개의 오픈 웨이트 모델(Phi-4, Mistral Large, DeepSeek-R1, Qwen-3, Llama-3.2)을 포함한 10개의 이질적인 LLM을 평가하였다.
• 프롬프트 전략: 최소한의 지시부터 구조화된 추론 스캐폴드에 이르기까지 8가지 프롬프트 패밀리를 테스트하였다:
  • Zero-shot 및 Enhanced Zero-shot.
  • Few-shot 및 Persona+Few-shot.
  • Chain of Thought (CoT), Point-based (루브릭 분해), Tree of Thoughts (ToT).
  • Synthetic/Playground (구조화된 JSON 출력).
• 편향 조사: "가소성" 테스트를 위해 프롬프트에 단일 국가 토큰(예: "[국가]의 학생들")을 주입하여 7개국(브라질, 중국, 핀란드 등)에 대한 네 개의 대표 모델의 변화를 측정하였다.

지표

성능은 다음을 사용하여 평가되었다:

• 절대적 교정: IRT 타겟에 대한 제곱 평균 제곱근 오차(RMSE) 및 평균 절대 오차(MAE).
• 순위 충실도: 스피어만 순위 상관계수($\rho$).
• 안정성: 프롬프트 민감도($\sigma_{prompt}$) 및 분포 정렬(KL Divergence).
• 편향: 부호가 있는 잔차(Signed residuals) 및 인구 통계적 단서에 대한 반응성을 측정하기 위한 가소성 지수(PI).
• 교정: 글로벌 위치 편향을 수정하기 위해 사후 가산 이동(additive shift) 및 아핀 매핑(affine mapping)을 적용하였다.

주요 결과

1. 정확도와 순위 간의 트레이드오프

절대적 교정과 순위 충실도 사이에는 유의미한 트레이드오프가 존재한다.

• 낮은 RMSE는 오해의 소지가 있음: Llama-3와 같은 모델은 평균 난이도로 회귀함으로써 낮은 RMSE(1.40)를 달ach했으나, 결과적으로 순위 상관관계는 거의 제로에 가까웠다($\rho \approx 0.10$).
• 최고 성능 모델: Phi-4(오픈 웨이트)와 Gemini-2.5-Flash는 경쟁력 있는 RMSE와 강한 순위 충실도($\rho \approx 0.31–0.37$)를 동시에 달성하며 가장 균형 잡힌 성능을 보였다.
• 프롬프트 민감도: 프롬프트 패밀리를 전환하는 것이 모델을 전환하는 것보다 성능에 더 큰 변화를 주는 경우가 많았다. 오픈 웨이트 모델의 경우, 추론 스캐폴드(Persona, Point-based)가 순위 충실도를 크게 향상시켰다. 독점 모델은 프롬프트 변화에 덜 민감했다.

2. 과목별 성능

• 수학: 가장 높은 오차와 가장 강한 프롬프트 민감도를 보였다. "Point-based" 프롬프트(단계적 분해)가 가장 효과적이었으며, 이는 루브릭 스타일의 추론이 다단계 STEM 문항에 도움이 됨을 시사한다.
• 언어: 독점 모델(Claude-4-Sonnet)이 우수했다.
• 인문과학: 사회-역사적 맥락을 위한 추론 중심 사전 학습 덕분에 DeepSeek-R1이 가장 좋은 성능을 보였다.
• 자연과학: 오차의 분산이 컸으며, Gemini-2.5-Flash가 가장 높은 순위 상관관계를 달성했다.

3. 모달리티 페널티

시각적 문항을 텍스트로 전사하는 것은 일관된 성능 저하를 초래했다.

• 시각적 문항은 비시각적 문항에 비해 RMSE를 평균 1.26 포인트 증가시켰다.
• 모델들은 시각적 문항에 대한 인간의 난이도 경향을 체계적으로 포착하지 못했다. 인간은 자연과학에서 시각적 문항을 더 쉽다고 느끼는 반면, 모델들은 이를 과대평가하거나 중립적인 태도를 보였다.
• 간결하고 기준 중심적인 프롬프트(Point-based, Enhanced Zero-shot)가 복잡한 추론 템플릿보다 모달리티 변화에 덜 민감했다.

4. 체계적 편향 및 교정

• 글로벌 저평가: 모든 모델이 문항 난이도를 체계적으로 저평가했다(예측된 문항이 IRT보다 쉬운 것으로 나타남). 모든 시스템에서 평균 잔차가 양수였으며, o3가 가장 큰 편차($\approx +3$ 포인트)를 보였다.
• 교정 효능: 단순한 가산 이동(사후 교정)은 순위 상관관계($\rho$)를 변경하지 않으면서 모든 모델의 RMSE와 MAE를 유의미하게 감소시켰다. 이는 오류의 상당 부분이 선형 조정을 통해 수정 가능한 위치 편향임을 나타낸다.

5. 가소성 및 맥락 민감도

국가별 단서가 포함된 프롬프트가 주어졌을 때:

• 제한된 가소성: 모델들은 난이도 추정치에서 작지만 체계적인 변화를 보였다. 그러나 이러한 변화는 실제 성능 격차(예: PISA 순위)와 일치하지 않고 노이즈가 많고 일관성이 없었다.
• 모델 변동성: Llama-3만이 PISA 읽기 순위와 유의미한 단조 관계를 보였다. 다른 모델들(GPT-4o, o3)은 약하거나 부정적인 경향을 보였다.
• 리스크: 일관되고 의미 있는 적응 능력의 결여는 현재의 LLM이 맥락 적응형 개인화에 아직 준비되지 않았음을 시사하며, 이를 사용해 난이도에 대한 "원 사이즈 피츠 올(one-size-fits-all)" 개념을 인코딩하거나 편향을 증폭할 위험이 있음을 보여준다.

의의 및 주장

본 논문은 LLM이 아직 권위 있는 예언자는 아니지만, 스크리닝과 분류를 위한 **실행 가능한 신호(actionable signal)**를 보유하고 있다고 결론짓는다. 저자들은 다음과 같은 "생성 전 평가(evaluation-before-generation)" 파이프라인을 제안한다:

1. 스크리너로서의 LLM: LLM은 다음 조건이 충족될 경우 후보 문항의 난이도를 우선순위화하는 저비용의 사전 배포 필터 역할을 할 수 있다:
   • 글로벌 위치 편향을 수정하기 위해 단순한 사후 교정이 적용되어야 한다.
   • 평가 시 절대적 정렬(교정을 통해)과 순위 충실도를 모두 강조해야 한다.
   • 시각적 콘텐츠는 텍//텍스트 전사가 성능을 저하시키므로 주의 깊게 다루어야 한다.
2. 인간 참여형(Human-in-the-Loop): LLM 스크리닝 관문을 통과한 문항은 운영 배포 전 반드시 인간의 큐레이션과 제한적인 예비 테스트(IRT 검증)를 거쳐야 한다.
3. 공정성 가드레일: 본 연구는 현재의 모델들이 인구 통계적 특성에 적응할 수 있는 "가소성"이 부족함을 입증했다. 따라서 생산용 프롬프트에서 인구 통계적 토큰은 피해야 하며, 불평등을 강화하는 것을 방지하기 위해 공정성 진단이 평가 설계 파이프라인에 통합되어야 한다.

이 연구는 난이도 추정이 LLM을 책임감 있게 고부담 평가 콘텐츠 생성 또는 선택에 사용하기 위해 반드시 교정되고 감사되어야 할 필수 역량임을 확립한다.