Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 적응형 학습 (Adaptive Learning) 을 지원하기 위해 학습자의 능력 수준에 맞는 난이도를 가진 읽기 이해 질문을 자동 생성하는 기술이 중요해지고 있습니다.
• 기존 방법의 한계:
  1. 문제 형식의 제약: 기존 난이도 조절 질문 생성 (QG) 연구들은 주로 '정답 추출형 (Extractive Answer)' 질문에 집중했습니다. 그러나 교육 현장에서 가장 널리 사용되는 객관식 (Multiple-Choice) 질문을 직접 생성하는 데는 한계가 있었습니다.
  2. 난이도 조절 정확도 부족: 기존 신경망 기반 QG 모델은 주어진 난이도 레이블과 지문을 기반으로 질문 텍스트의 조건부 확률 (Conditional Likelihood) 을 최대화하도록 학습되었습니다. 이는 질문 생성 자체에는 초점을 맞췄지만, 생성된 질문의 실제 난이도가 목표 난이도와 얼마나 일치하는지 (난이도 조절 정확도) 를 명시적으로 최적화하지는 않았습니다.

2. 제안된 방법론 (Methodology)

이 연구는 **대규모 언어 모델 (LLM, Llama 3.1)**을 활용하여 난이도가 조절 가능한 객관식 질문을 생성하고, 직접 선호도 최적화 (Direct Preference Optimization, DPO) 기법을 도입하여 난이도 조절의 정확도를 극대화하는 새로운 프레임워크를 제안합니다.

A. 데이터셋 구축 (난이도 레이블 포함)

• 일반적인 QG 데이터셋에는 난이도 정보가 없습니다. 이를 해결하기 위해 **문항 반응 이론 (Item Response Theory, IRT)**의 Rasch 모델을 활용했습니다.
• 다양한 성능을 가진 77 개의 QA 시스템 (BERT, RoBERTa, DeBERTa 등 다양한 변형 및 학습 데이터 양 조절) 을 '가상 학습자'로 설정하여 기존 데이터셋의 질문에 대한 정답/오답 반응을 수집했습니다.
• 이 응답 데이터를 바탕으로 Rasch 모델을 통해 각 질문의 난이도 파라미터 ($b$) 를 추정하고, 이를 데이터셋에 추가하여 학습용 데이터셋을 구성했습니다.

B. 모델 학습 단계

1. 초기 파인튜닝 (Supervised Fine-Tuning, SFT):
   • Llama 3.1 을 기반으로, 지문 ($c$) 과 목표 난이도 ($b$) 를 입력받아 질문 ($q$), 정답 옵션 ($a$), 오답 옵션 3 개 ($d_1, d_2, d_3$) 를 생성하도록 지도 학습을 수행합니다.
   • 입력/출력 포맷은 지시문 (Instruction) 을 포함하는 프롬프트 형식을 따릅니다.
2. 난이도 조절 정확도 최적화를 위한 DPO 적용:
   • SFT 만으로는 난이도 조절이 완벽하지 않을 수 있으므로, DPO를 추가 학습 단계로 도입합니다.
   • 선호도 데이터 구성: 동일한 입력 ($x$) 에 대해, 목표 난이도와 일치하는 질문을 '좋은 출력 (Preferred, $y_w$)', 일치하지 않는 다른 질문을 '나쁜 출력 (Dispreferred, $y_l$)'로 쌍을 만듭니다.
   • 손실 함수: RLHF(인간 피드백 기반 강화학습) 와 수학적으로 동등하지만 더 효율적인 DPO 손실 함수를 사용하여, 모델이 목표 난이도에 부합하는 질문을 생성하도록 직접 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 난이도 조절 가능한 객관식 질문 생성: 기존 추출형에서 벗어나, 정답과 오답을 포함한 완전한 객관식 질문을 난이도 파라미터에 따라 생성하는 최초의 LLM 기반 방법론을 제시했습니다.
2. DPO 를 통한 난이도 조절 정확도 향상: 질문 생성의 언어적 품질을 유지하면서, 생성된 질문의 실제 난이도가 목표 난이도와 일치하도록 DPO 를 통해 명시적으로 최적화하는 새로운 학습 패러다임을 제안했습니다.
3. 데이터 구축 방법론: IRT 와 QA 시스템을 결합하여 대규모 학습 데이터에 난이도 레이블을 자동 부여하는 방법을 제시했습니다.

4. 실험 결과 (Results)

실험은 널리 사용되는 RACE 데이터셋을 기반으로 수행되었으며, 주요 결과는 다음과 같습니다.

• 난이도 조절 정확도:
  • 제안된 DPO 적용 모델 ($QG_{dpo}$) 은 SFT 만 적용한 모델 ($QG_{sft}$) 에 비해 목표 난이도와 실제 생성 질문의 난이도 간 오차 (Mean Absolute Error) 가 유의미하게 감소했습니다 ($QG_{sft}$: 1.41 $\rightarrow$ $QG_{dpo}$: 1.07).
  • Rasch 모델 기반의 정답률 예측 곡선과 Fisher Information(정보량) 분석 결과, $QG_{dpo}$가 학습자의 능력 추정 정확도를 높이는 데 더 효과적임이 입증되었습니다.
• 질문 품질 평가 (Fluency, Relevance, Answerability):
  • LLM-as-a-Judge(GPT-4.1 mini) 를 이용한 평가에서, DPO 적용은 질문의 유창성 (Fluency) 과 내용 관련성 (Relevance) 을 저하시키지 않았습니다.
  • 정답 가능성 (Answerability) 은 인간이 만든 질문보다 낮았으나, DPO 적용 전후로 큰 차이가 없었습니다.
• Few-Shot Learning 비교:
  • 소량의 예시 (3-shot, 10-shot 등) 를 제공하는 Few-Shot 학습 방식은 난이도 조절에 실패하여, 제안된 DPO 기반 학습 방법의 우수성을 입증했습니다.
• 질문 복잡도 분석:
  • 난이도가 높아질수록 단순 단어 매칭 (Word matching) 질문 비율은 감소하고, 다중 문장 추론 (Multi-sentence reasoning) 질문 비율이 증가하는 경향이 $QG_{dpo}$에서 더 뚜렷하게 나타났습니다.

5. 의의 및 결론 (Significance)

• 교육적 활용성: 이 연구는 학습자의 능력 수준에 맞춰 난이도를 정밀하게 조절할 수 있는 객관식 질문을 자동 생성할 수 있음을 보여주었습니다. 이는 적응형 학습 시스템 및 대규모 시험 문항 풀 (Item Pool) 구축에 필수적인 기술입니다.
• 기술적 발전: LLM 의 생성 능력을 교육적 목적 (난이도 제어) 에 맞게 정밀하게 조정하기 위해 DPO 가 효과적임을 입증했습니다.
• 한계 및 향후 과제: 생성된 질문의 '정답 가능성 (Answerability)'이 여전히 개선이 필요하며, 대규모 데이터셋 의존성을 해결하기 위한 데이터 증강 기법 연구와 실제 적응형 학습 환경에서의 교육적 효과 검증이 후속 과제로 남았습니다.

요약하자면, 이 논문은 LLM 과 DPO 를 결합하여 교육 현장에서 즉시 활용 가능한 '난이도 조절이 가능한 객관식 질문'을 고도화한 획기적인 연구입니다.