Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

기술 요약: ReQUESTA – 인지적 다양성을 갖춘 MCQ 생성을 위한 하이브리드 멀티 에이전트 프레임워크

문제 정의
대규모 언어 모델(LLM)이 자동화된 객관식 문제(MCQ) 생성을 점점 더 용이하게 만들었지만, 제어된 인지적 요구 사항을 충족하는 문항을 신뢰성 있게 생산하는 것은 여전히 중대한 과제로 남아 있다. 현재의 단일 패스(single-pass) 프롬프팅 방식은 생성된 질문을 고차원적 인지 기술(예: 추론, 종합)에 정렬시키는 데 어려움을 겪는 경우가 많으며, 일관되지 않은 오답(distractor) 품질, 구조적 병렬성 부족, 또는 원문과의 피상적인 정렬 문제를 자주 노출한다. 기존의 하이브리드 접근 방식들은 추가적인 구조적 제약 없이 생성된 질문의 인지적 복잡성을 신뢰성 있게 제어하는 능력을 아직 입증하지 못했다. 핵심적으로 해결하고자 하는 문제는, 단순한 단일 패스 생성을 넘어 특정 인지 수준(텍스트 기반 회상, 추론적 추론, 주요 아이디어 종합)을 체계적으로 목표로 하면서도 높은 심리측정학적 및 교육적 품질을 보장할 수 있는 시스템을 구축하는 방법이다.

방법론: ReQUESTA 프레임워크
저자들은 협력적인 시퀀스를 통해 MCQ 생성을 조율하기 위해 설계된 하이브리드 멀티 에이전트 프레임워크인 ReQUESTA(Reading Question-generation Using Educational Smart Text Agents)를 소개한다. ReQUESTA는 단순히 모델의 규모를 키우는 것에 의존하는 대신, 제어 가능성과 신뢰성을 확보하기 위해 저작 과정을 전문화된 하위 작업으로 분해한다.

• 아키텍처 및 워크플로:

  • 전처리기 (규칙 기반): 문장 단위 파싱을 사용하여 입력 텍스트를 일관성 있고 관리 가능한 단위로 분할한다.
  • 플래너 (LLM 기반): 세그먼트를 분석하여 핵심 개념, 암묵적 추론, 중심 테마를 식별한다. 이는 어떤 세그먼트와 요소가 다양한 유형의 질문(텍스트 기반, 추론형, 주요 아이디어형)에 사용될지를 명시하는 구조화된 계획(중간 표현)을 생성한다.
  • 컨트롤러 (규칙 기반): 플래너의 출력을 해석하고 작업 실행을 조율하며, 특정 텍텍 세그먼트와 인지적 목표를 적절한 생성 에이전트에 할당한다.
  • 질문 생성기 (LLM 기반): 플래너의 제약 조건에 따라 질문을 생성하는 세 가지 특화된 에이전트:
    1. 텍스트 기반: 명시적 사실을 목표로 한다.
    2. 추론형: 정보의 통합을 요구하는 관계를 목표로 한다.
    3. 주요 아이디어: 포괄적인 주제를 목표로 한다.
  • 평가기 (LLM 기반): 생성된 문항을 체크리스트(명확성, 발문-정답 정렬, 오답의 그럴듯함)에 따라 평가한다. 기준을 통과하지 못한 문항은 반복적인 수정을 위해 생성기로 반환된다.
  • 포맷터 (규칙 기반): 옵션을 셔플하고 일관된 라벨링을 강제하여 출력을 표준화한다.
  • 옵션 단축 모듈: LLM 생성의 흔한 실패 모드인 옵션 간 길이 불균형을 교정하기 위해 협력적 에이전트 시스템(구문 분석기, 길이 결정기, 후보 생성기, 후보 선택기)을 사용하는 후처리 단계이다.

• 프롬프트 엔지니어링 전략:
  ReQUESTA는 에이전트의 행동을 유도하기 위해 네 가지 핵심 전략을 사용한다:

  1. 페르소나 기반 프롬프팅: 출력물을 평가 규범에 맞추기 위해 특정 역할(예: "경험 많은 대학 강사")을 부여한다.
  2. 생각의 사슬 (Chain-of-Thought, CoT): 에이전트가 중간 추론 단계를 보고하도록 하여 의사 결정 과정을 명시적이고 검사 가능하게 만든다.
  3. 퓨샷 프롬프팅 (Few-shot Prompting): 효과적인 출력과 효과적이지 않은 출력의 예시(예: 옵션 단축을 위한 예시)를 제공하여 스타일적 제약을 조정한다.
  4. 자기 비판 (Self-critique): 외부 평가 이전에 에이전트가 스스로의 출력물에서 흔한 약점(모호성, 불일치)을 검토하도록 프롬프트를 구성한다.

• 실험 설계:
  본 프레임워크는 OpenStax 교과서에서 추출한 20개의 학술적 설명문을 사용하여 GPT-5 제로샷 베이스라인(단일 패스 프롬프팅)과 비교 평가되었다.

  • 참가자: Prolific을 통해 모집된 572명의 성인.
  • 과업: 참가자들은 지문을 읽고 지문당 5개의 MCQ(텍스트 기반 2개, 추론형 2개, 주요 아이디어 1개)에 답한다.
  • 조건: 참가자들이 ReQUESTA 또는 GPT-5 베이스라인이 생성한 문항에 답하는 피험자 내 설계(within-participant design)를 사용하였다.
  • 측정 지표:
    • 심리측정학적 지표: 고전 검사 이론(Classical Test Theory) 및 혼합 효과 로지스틱 회귀 분석을 통해 문항 난이도($p$), 변별도($D$), 점 이점 상관계수($r_{pb}$)를 분석하였다.
    • 전문가 평가: 두 명의 전문가 평가자가 200개의 문항(방법당 100개)을 정답의 정확성, 오답의 부적절성, 주제 관련성, 문장 명확성, 그리고 오답 품질(언어적 특징, 의미적 그럴듯함, 고유성)을 포함하는 루브릭에 따라 채점하였다.

주요 결과

1. 심리측정학적 성능: ReQUESTA 생성 문항은 GPT-5 베이스라인보다 일관되게 더 어렵고 변별력이 높았다.

   • 난이도: ReQUESTA 문항은 GPT-5($M = 0.902$)에 비해 낮은 평균 난이도 지수($M = 0.786$)를 보였으며, 이는 학습자에게 더 어려운 문항임을 나타낸다.
   • 변별도: ReQUESTA 문항은 훨씬 높은 변별도($M = 0.39$ vs. $0.17$)를 보여, 고성취 독자와 저성취 독자를 더 잘 구분해냈다.
   • 정렬: ReQUESTA 문항은 전체 테스트 점수와 더 강한 점 이점 상관관계($M = 0.323$ vs. $0.275$)를 보였으며, 이는 전반적인 독해 능력과의 더 나은 정렬을 의미한다.
   • 회귀 분석: 혼합 효과 모델은 질문 유형과 어휘를 통제했을 때, 질문 출처(ReQUESTA)가 낮은 정확도의 유의미한 예측 변수임을 확인하였다($\beta = -1.277, p < .001$).

2. 전문가 평가:

   • 주제 관련성: ReQUESTA 문항은 중심 개념과의 정렬 측면에서 유의미하게 높은 점수를 받았다 ($p < .05$).
   • 오답 품질: ReQUESTA는 오답의 언어적 특징(길이/구조의 일관성)과 오답의 의미적 그럴듯함(핵려를 놓친 학습자에게 느껴지는 합리성) 측면에서 베이스라인보다 우수하였으며, 특히 추론형 질문에서 그러했다.
   • 문장 명확성: GPT-5 베이스라인은 문장 명확성에서 더 높은 점수를 받았는데($p < .001$), 이는 ReQUESTA의 인지적 엄밀함과 복잡한 오답 생성에 대한 집중이 때로는 발문이나 옵션을 다소 덜 간결하게 만들 수 있음을 시사한다.
   • 정확성: 두 방법 모두 정답의 정확성과 오답의 부적절성 측면에서 완벽에 가까운 점수를 달성하였다.

의의 및 기여
본 논문은 LLM 기반 생성 시스템 분야에 대해 세 가지 주요 기여를 주장한다:

1. 모델 스케일링보다 워크플로우 설계: 본 연구는 의미 있는 자동 MCQ 생성의 개선이 모델 파라미터를 확장하는 것이 아니라 워크플ow 및 오케스트레이션 설계를 통해 달성될 수 있음을 입증한다. 동일한 LLM(GPT-5)을 유지하면서 계획, 생성, 평가 및 수정을 아우르는 구조화된 협업을 도입함으로써, ReQUESTA는 단일 패스 베이스라인보다 우수한 결과를 얻었다.
2. 제어 가능한 생성 프레임워크: ReQUESTA는 LLM의 표현력과 결정론적인 규칙 기반 프로세스를 결합한 하이브리드 아키텍처를 제안한다. 에이전트의 경계, 작업 전문화, 반복적인 피드백 루프를 명시적으로 설계함으로써, 시스템은 생성된 산출물의 추론 요구 사항과 구조적 제약을 조절하며, 이는 단일 패스 프롬프팅의 한계를 넘어선다.
3. 평가 관행: 본 연구는 표면적인 문법성 같은 지표에만 의려하는 대신, 기능적 결과 측정(예: 문항 난이도, 변별도, 오답 그럴듯함)을 활용함으로써 구조화된 생성 시스템을 위한 평가 관행을 발전시킨다.

결론
저자들은 에이전트 오케스트레이션이 LLM 기반 생성의 신뢰성과 제어 가능성을 체계적으로 향상시킬 수 있다고 결론짓는다. ReQUESTA는 복잡한 과업을 검사 가능한 중간 단계로 분해하고 반복적인 점검을 통해 제약을 강제하는 것이, 단일 패스 프롬프팅보다 더 신뢰할 수 있고, 인지적으로 다양하며, 교육적으로 정렬된 산출물을 만들어낸다는 것을 보여준다. 이 프레임워크는 자동 평가 생성을 위한 성숙하고 평가 중심적인 접근 방식을 제시하며, 생성 워크플로우의 설계가 구조화된 산출물 생성을 위한 핵심 레버임을 강조한다.