Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

기술적 요약: 미세 조정된 트랜스포머를 활용한 객관식 문항의 응답 없는 문항 난이도 모델링

문제 제기
정확한 문항 난이도 추정은 고위험 교육 평가에 필수적이지만, 새로 작성된 문항, 보안이 유지된 예시 시험, 또는 소규모 집단에서는 기존 응답 기반 보정이 종종 불가능합니다. 전문가 판단은 부분적인 해결책을 제공하지만, 충분한 신뢰성을 갖추지 못합니다. 따라서 문항을 시행하기 전에 문항 문구에서 직접 난이도를 추론하는 응답 없는 문항 난이도 모델링 (IDM) 이 필요합니다.

기존 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 특성 공학 파이프라인: 가독성, 구문적 깊이 등 텍스트 특성을 수동으로 추출하여 통계 모델에 입력합니다. 이 과정은 어간 추출 (lemmatization), 불용어 제거 등 광범위한 전처리를 요구하며, 이는 형태구문 정보를 폐기하고 이론 주도적 특성 설계에 의존합니다.
2. 동결 인코더를 활용한 설명적 IRT: 선형 로지스틱 검사 모델 (LLTM) 과 같은 방법은 문항 특성을 가능도 함수에 통합합니다. 최근 적응형 방법들은 수동 코딩된 특성을 대체하기 위해 동결된 BERT 인코더를 사용하지만, 이러한 표현들은 일반적인 목적의 사전 학습 목표에 묶여 있어 특정 IDM 작업과 직접적으로 연결되지 않습니다.
3. 독해의 도전: 독해 객관식 문제 (MCQ) 의 경우, 난이도는 지문, 질문, 그리고 선지 간의 상호작용에서 발생하는 추론적 요구에서 비롯됩니다. 단순한 특성 추출이나 동결된 인코더는 종종 이러한 복잡한 교차 구성 요소 상호작용을 포착하지 못하며, 특히 라벨링된 난이도 데이터가 희소한 응용 심리측정학에서 전형적인 소규모 샘플 환경에서는 더욱 그렇습니다.

방법론
저자들은 수동 특성 공학을 제거하고 문항 문구에 대해 엔드 - 투 - 엔드 방식으로 인코더 전용 모델 (구체적으로 ModernBERT) 을 미세 조정하는 세 가지 트랜스포머 기반 아키텍처를 제안하고 평가합니다. 본 연구는 RACE++ 코퍼스 (29,618 개 문항) 에서 중첩된 훈련 크기 설계를 활용하며, 난이도 목표는 PALRACE 하위 집단의 인간 라슈 (Rasch) 추정치에 대해 보정된 대규모 언어 모델 (Gemini 2.5 Flash) 을 사용하여 가상 라벨링 (pseudo-labeled) 됩니다.

비교된 세 가지 방법은 다음과 같습니다:

1. 공동 인코딩 (기저선):

   • 아키텍처: 지문, 질문, 선지들이 [SEP] 토큰으로 구분되어 단일 입력 시퀀스로 연결됩니다.
     메커니즘: 표준 트랜스포머 인코더가 평탄화된 시퀀스를 처리합니다. [CLS] 토큰에서 풀링된 표현은 난이도 ($\hat{b}_i$) 를 예측하기 위해 선형 회귀 헤드를 통과합니다.
   • 목표: 예측된 난이도와 가상 라벨링된 난이도 간의 평균 제곱 오차 (MSE) 를 최소화합니다.

2. 구성 요소별 인코딩:

   • 아키텍처: 지문, 질문, 선지 집합이 공유 인코더를 통해 별도로 인코딩됩니다.
   • 메커니즘: 각 구성 요소는 [CLS] 표현을 생성합니다. 이 세 가지 벡터가 연결되어 회귀 헤드로 입력됩니다.
   • 동기: 객관식 문제의 기능적 분해를 명시적으로 강제하여, 평탄화된 시퀀스에서는 손실될 수 있는 오답 (distractors) 의 관계적 특성을 모델이 보존할 수 있도록 이론적으로 허용합니다.

3. 다중 작업 학습 (MTL):

   • 아키텍처: 공동 인코딩 입력을 유지하면서 보조 객관식 문제 해결 (MCQA) 분기를 추가합니다.
   • 메커니즘: 공유 인코더가 두 개의 헤드로 입력됩니다:
     • 난이도 ($\hat{b}_i$) 를 위한 회귀 헤드.
     • 각 선지가 정답일 확률을 예측하는 분류 헤드 ($f_\xi$).
   • 훈련: 배치마다 작업이 교차합니다. 학습 가능한 작업 조건 벡터 ($z_t$) 가 [CLS] 임베딩에 추가되어 활성 작업을 신호합니다. MCQA 손실은 부정적 전이를 방지하기 위해 가중치 ($\lambda=0.05$) 가 부여됩니다.
   • 동기: 보조 작업은 정규화제 역할을 하여, 인코더가 선지 수준 변별이 가능한 표현을 학습하도록 강제합니다. 이는 학습된 특성을 시험 응시자의 인지 과정과 정렬시켜, 주요 난이도 라벨이 희소할 때 감독 신호를 제공합니다.

주요 결과
모델들은 RMSE, $R^2$, 그리고 스피어만 $\rho$를 사용하여 세 가지 훈련 세트 크기 ($n \approx 800$, $n \approx 4,300$, $n \approx 23,000$) 에서 평가되었습니다.

• 엔드 - 투 - 엔드 미세 조정의 타당성: 모든 트랜스포머 기반 방법은 훈련 세트 평균 난이도를 예측하는 "더미" 회귀기보다 현저히 우수한 성능을 보였습니다. $n \approx 800$에서 모델들은 기저선 대비 RMSE 를 14~16% 감소시켜, 트랜스포머 미세 조정이 특성 공학 파이프라인의 실현 가능한 대안임을 입증했습니다.
• 구성 요소별 인코딩: 이 변형은 공동 인코딩 대비 검출 가능한 이점을 보이지 않았습니다. 실제로 더 작은 샘플 크기에서 RMSE 와 $R^2$ 측면에서 약간 더 낮은 성능을 보였습니다. 저자들은 이를 공동 인코딩의 자기 주의 (self-attention) 메커니즘이 이미 교차 구성 요소 신호를 효과적으로 포착하고 있어, 명시적인 아키텍처 분해가 불필요하다는 증거로 해석합니다.
• 다중 작업 학습 (MTL):
  • 가장 작은 샘플 크기 ($n \approx 800$) 에서 MTL 은 모든 지표 (RMSE, $R^2$, Spearman $\rho$) 에서 공동 인코딩 대비 유의미한 쌍별 개선을 달성했습니다.
  • 훈련 세트 크기가 증가함에 따라 ($n \approx 4,300$ 및 $23,000$), MTL 의 이점은 감소하여 통계적으로 공동 인코딩과 구별되지 않게 되었습니다.
  • 이는 보조 MCQA 목표가 주요 난이도 신호가 희소할 때 특히 중요한 정규화 신호를 제공한다는 가설을 확인시켜 줍니다.

의의 및 주장
본 논문은 적절한 보조 작업으로 정규화된 트랜스포머 미세 조정이, 응용 측정 맥락에서 전형적인 훈련 세트 크기에서 문구에서 유도 가능한 난이도 신호의 상당 부분을 회복한다고 주장합니다.

주요 시사점은 다음과 같습니다:

• 효율성: 엔드 - 투 - 엔드 미세 조정은 전통적 특성 공학의 전처리 및 모델링 단계를 단일 데이터 주도 프로세스로 통합합니다.
• 소규모 샘플 정규화: 데이터가 부족한 환경에서 시험 응시 과정을 모방하는 보조 작업 (MCQA) 을 추가하면 효과적인 귀납적 편향으로 작용하여, 모델이 표면적 단축 경로를 학습하는 것을 방지하고 일반화를 향상시킵니다.
• 실제 적용: 이러한 응답 없는 예측은 보정 워크플로우에서 사전 분포나 초기 추정치로 활용될 수 있으며, 후속 응답 기반 정교화를 위해 필요한 샘플 크기를 줄일 수 있습니다.

저자들은 텍스트 기반 예측의 절대적 상한선에 대해서는 겸손한 태도를 유지하며, 시험 응시 전략이나 시각적 레이아웃과 같은 요소들은 문구에 포착되지 않으며, 가상 라벨링된 목표 자체가 LLM 과 기초 라슈 추정치 모두로부터 노이즈를 포함하고 있음을 인정합니다. 그러나 이 프레임워크는 향후 심리측정학적으로 동기가 부여된 확장을 위한 맞춤형 인터페이스를 제공합니다.