Self-hosted Lecture-to-Quiz: Local LLM MCQ Generation with Deterministic Quality Control

이 논문은 외부 API 없이 로컬 LLM 과 결정적 품질 관리 (QC) 를 통해 강의 PDF 를 다지선다형 문제로 변환하는 종단간 자체 호스팅 파이프라인을 제안하고, 정보이론·열역학·통계역학 등 세 가지 강의에서 생성된 24 개의 문제를 검증하여 프라이버시, 책임성, 친환경 AI 를 보장하는 교육 워크플로우를 입증합니다.

핵심

🎓 핵심 아이디어: "비밀스러운 주방에서 만든 요리를 손님에게"

이 연구의 주인공은 **'L2Q(강의→퀴지)'**라는 시스템입니다. 기존 방식과 이 방식의 차이를 주방에 비유해 보면 다음과 같습니다.

1. 기존 방식 (클라우드 AI 사용) = "외부 배달 주문"

• 상황: 선생님이 학생들에게 내줄 퀴지를 만들고 싶어요.
• 문제: "AI 서비스 (구름 위의 거대한 주방) 에 강의 자료를 보내서 퀴지를 만들어달라고 요청"합니다.
• 위험: 강의 자료라는 비밀 레시피가 외부로 나갑니다. 또한, AI 가 만들어준 퀴지가 틀렸는지 확인하려면 다시 AI 를 불러야 하거나, 사람이 일일이 다 확인해야 합니다.

2. 이 연구의 방식 (L2Q, 자체 호스팅) = "내 주방에서 직접 요리 + 맛보기 검사"

• 상황: 선생님이 **자신의 컴퓨터 (내 주방)**에 있는 AI 프로그램으로 퀴지를 만듭니다.
• 장점: 강의 자료는 절대 외부로 나가지 않습니다. (보안 OK!)
• 핵심: AI 가 요리를 해주는 건 맞지만, 최종 요리는 AI 가 아니라 사람이 직접 맛보고 검수한 후, 완성된 메뉴판 (퀴지) 만 학생들에게 줍니다.

---

🛠️ 이 시스템이 어떻게 작동할까요? (5 단계 과정)

이 시스템은 마치 자동화된 공장과 검사관이 함께 일하는 것과 같습니다.

1. 재료 준비 (PDF 읽기): 강의 PDF 파일을 읽어 핵심 내용을 뽑아냅니다.
2. 메뉴 계획 (주제 설정): "오늘은 열역학, 내일은 통계역학"처럼 어떤 문제를 낼지 계획을 세웁니다.
3. 요리 시작 (AI 생성): 로컬 AI(내 컴퓨터에서 돌아가는 작은 AI) 가 문제를 만듭니다. 이때 5 지선다형으로 딱 맞춰서 JSON 이라는 정해진 형식으로 냅니다.
4. 자동 검사 (품질 관리, QC):
   • 하드 검사 (거부): "정답이 2 개 있네?", "보기가 똑같은 게 있네?", "형식이 틀렸네?" → 즉시 폐기하고 다시 만듭니다.
   • 경고 검사 (수정): "소수점 반올림 기준이 안 적혔네?", "보기가 너무 비슷하네?" → 사람이 한 번 더 확인하라고 표시합니다.
5. 완성 및 배달 (내보내기): 모든 검사를 통과한 문제만 뽑아내어 구글 폼이나 학교 시스템이 읽을 수 있는 파일로 저장합니다.

---

🌟 이 연구의 가장 큰 성과 (왜 이것이 특별한가요?)

1. "블랙박스 최소화" (Black-box Minimization)

• 비유: AI 는 '요리사'일 뿐, '메뉴판'은 아닙니다.
• 의미: AI 가 문제를 만드는 과정은 우리가 볼 수 없지만 (블랙박스), **최종 결과물은 사람이 다 볼 수 있고 수정할 수 있는 '일반 텍스트 파일'**입니다. 학생이 퀴지를 풀 때 다시 AI 를 부를 필요가 없습니다.

2. "확실한 품질 보증" (Deterministic QC)

• 비유: 공장에서 나가는 제품마다 자동 검사기를 통과시키는 것.
• 의미: AI 가 실수해서 "정답이 두 개"가 되거나 "보기가 똑같은" 문제가 나오는 것을 코드로 자동으로 잡아내서 막습니다. 실험 결과, 120 개의 문제 중 120 개가 형식적 오류 없이 통과했고, 나머지 8 개는 사람이 손쉽게 고칠 수 있는 경고만 받았습니다.

3. "개인정보와 환경 보호"

• 개인정보: 강의 자료 (비밀) 를 외부 서버에 보내지 않아 유출 위험이 없습니다.
• 환경 (Green AI): 매번 AI 를 부를 필요 없이, 한 번 만들어서 파일로 저장해 두면 됩니다. 불필요한 전력 소모를 줄입니다.

---

📊 실험 결과 요약

연구진은 '엔트로피'라는 어려운 물리/수학 강의 자료 3 개를 가지고 실험했습니다.

• 시도 횟수: 15 번의 실험을 돌렸습니다.
• 성공률: 120 개의 문제 중 100% 가 형식적 오류 없이 통과했습니다.
• 수정 필요: 8 개의 문제에서 "소수점 반올림 설명이 빠졌다" 같은 작은 경고가 떴지만, 이는 사람이 쉽게 고칠 수 있는 수준이었습니다.
• 최종 결과: 24 개의 완벽한 퀴지 세트를 만들어 구글 폼에 바로 올릴 수 있게 했습니다.

---

💡 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 를 무조건 믿지 말고, AI 를 '도구'로만 쓰되 최종 책임은 사람이 지자"**는 철학을 보여줍니다.

• 교수님들께: 강의 자료를 외부에 보내지 않고도, 정확하고 안전한 퀴지를 직접 만들 수 있습니다.
• 학생들께: AI 가 만든 퀴지지만, 그 내용은 검증되어 있고 명확합니다.
• 일반인께: AI 기술이 발전해도, 중요한 교육 자료는 사람의 손길과 검증을 거쳐야 안전하다는 것을 보여줍니다.

결국 이 시스템은 **"AI 가 요리를 도와주지만, 최종 메뉴판은 요리사 (선생님) 가 직접 확인하고 손님 (학생) 에게 주는 방식"**으로, 교육의 신뢰성을 지키는 새로운 표준을 제시합니다.

기술 요약

1. 문제 정의 (Problem)

기존의 생성형 AI 를 활용한 교육 자료 제작은 다음과 같은 주요 한계점을 가지고 있습니다.

• 개인정보 및 저작권 위험: 강의 내용을 외부 LLM API 에 전송해야 하므로, 기밀 자료 유출 및 데이터 주권 문제가 발생합니다.
• 검증 불가능성 (Black-box 문제): 생성된 문제의 정답 유무나 논리적 오류를 인간이 검증하기 어렵고, 모델의 출력에 대한 책임 소재가 모호합니다.
• 운영 비용 및 지속 가능성: 매번 학습 활동 시 LLM 호출이 필요하여 에너지 소비가 크고 비용이 발생합니다.
• 생성물의 품질 불확실성: 자동 생성된 객관식 문제 (MCQ) 는 종종 중복된 오답 (distractors), 여러 개의 정답, 수치적 등가성 오류 등을 포함하여 실제 평가 도구로 사용하기 어렵습니다.

이 논문은 이러한 문제들을 해결하기 위해 강의 PDF 를 외부 API 없이 로컬 LLM 으로 변환하고, 결정론적 (Deterministic) 품질 관리 (QC) 를 통해 검증 가능한 정답지 (Static Artifact) 를 생성하는 파이프라인을 제안합니다.

2. 방법론 (Methodology: L2Q Pipeline)

저자가 제안한 L2Q (Self-hosted Lecture-to-Quiz) 파이프라인은 5 단계로 구성되며, 생성 단계와 검증 단계를 명확히 분리합니다.

1. PDF 섭취 및 분할: 강의 PDF 에서 텍스트를 추출하고 페이지 참조와 함께 일관된 청크 (chunk) 로 분할합니다.
2. 주제 계획 (Topic Planning): 강의 내용을 기반으로 핵심 정의 및 속성을 포함한 간결한 주제 계획을 수립하여 문제 생성의 범위를 설정합니다.
3. MCQ 초안 작성: 로컬 LLM (Qwen2.5-14B-Instruct) 을 사용하여 5 지선다형 문제를 생성합니다.
   • 제약 조건: 엄격한 JSON 스키마 준수, A-E 5 개 옵션, 단일 정답, 짧은 해설 포함.
   • 디코딩: llama.cpp 를 활용한 문법 제약 디코딩 (Grammar-constrained decoding) 으로 JSON 형식 오류를 방지합니다.
4. 자동 품질 관리 (QC) 및 재시도: 생성된 문제는 다음 두 단계의 QC 를 통과해야 합니다.
   • 하드 체크 (Hard Constraints, 거부 및 재시도):
     • JSON 스키마 준수 및 필수 키 존재 확인.
     • 정답이 하나만 존재하는지 확인.
     • 중복 제거: 문자열 유사도 (≥0.92) 및 정확한 일치 확인.
     • 등가성 및 유일성 검증: 수치/상수 표현식의 경우 허용 오차 ($10^{-9}$) 내 등가성 테스트 수행. 파라메트릭 표현식은 무작위 5 회 샘플링으로 등가성 확인. 정답과 다른 오답이 수치적으로 동일한지 검증.
   • 경고 체크 (Warning Flags, 수락 및 로그):
     • 반올림 지시 사항 누락 (예: 소수점 이하 자리수 명시 안 함).
     • 중복된 상수 오답 (두 개의 오답이 동일한 값으로 계산됨).
   • 하드 체크 실패 시 최대 3 회까지 재시도 (Retry) 합니다.
5. 내보내기 (Export): 검증된 문제는 정적 파일 (JSONL/CSV) 로 변환되어 Google Forms 나 LMS 에 직접 임포트 가능하도록 만듭니다. 이 단계 이후에는 학습 시 LLM 호출이 필요 없습니다.

3. 주요 기여 (Key Contributions)

• 종단 간 자체 호스팅 파이프라인 (L2Q) 제안: 외부 API 없이 로컬 LLM 만을 사용하여 강의 PDF 를 배포 가능한 MCQ 로 변환하는 전체 프로세스를 구현했습니다.
• 결정론적 QC 게이트 통합: 구조적 실패 모드 (중복, 다중 정답, 수치 오류) 를 줄이기 위해 재시도 메커니즘과 결합된 자동화된 검증 로직을 도입했습니다.
• 실증 연구 및 데이터 공개: 엔트로피 관련 3 개의 짧은 강의 (정보이론, 열역학, 통계역학) 를 대상으로 15 회 실행 (Seed Sweep) 을 수행하여 24 개의 검증된 문제 세트를 생성하고, 실행 시간 및 QC 통계를 보고했습니다.
• AI2L (AI to Learn) 프레임워크와의 정렬: 생성형 AI 를 학습 지원 단계로 제한하고, 최종 산출물에서 블랙박스 요소를 최소화하여 프라이버시, 책임성, 친환경 AI (Green AI) 원칙을 준수하는 워크플로우를 제시했습니다.

4. 실험 결과 (Results)

• 성능 및 안정성:
  • 총 15 회 실행 (3 강의 × 5 시드) 에서 목표한 120 개의 문제를 생성했습니다.
  • QC 수용률: 100% (120/120). 모든 문제가 하드 QC 를 통과했습니다.
  • 재시도율: 매우 낮음 (총 시도 122 회 중 2 회 재시도, 재시도율 1.6%).
  • 실행 시간: 1 회 실행당 평균 약 58.5 초 (문제당 약 7.3 초).
• 품질 위험 식별:
  • 경고 시스템은 120 개 중 8 개 (6.7%) 의 문제를 식별했습니다. 주요 원인은 '반올림 지시 사항 누락' (7 건) 과 '중복된 상수 오답' (1 건) 이었습니다.
  • 이러한 경고는 인간 검토자가 수정해야 할 구체적인 사항을 명확히 제시했습니다.
• 최종 산출물:
  • 경고가 없는 24 개의 문제 (강의당 8 개) 로 구성된 배포용 세트를 JSONL/CSV 형식으로 공개했습니다.
  • 이 파일들은 Google Apps Script 등을 통해 Google Forms 로 직접 가져와 즉시 퀴즈로 사용할 수 있습니다.

5. 의의 및 의의 (Significance)

• 블랙박스 최소화 (Black-box Minimization): LLM 은 초안 작성에만 사용되고, 최종 배포 자료는 검증 가능하고 수정 가능한 정적 텍스트가 됩니다. 이는 학습자가 LLM 에 의존하지 않고도 퀴즈를 수행할 수 있게 합니다.
• 프라이버시 및 데이터 주권: 강의 내용을 외부 서버로 전송하지 않으므로, 기밀 강의 자료나 저작권이 있는 자료를 안전하게 처리할 수 있습니다.
• 책임성 및 감사 가능성: QC 로그와 검증 규칙을 통해 생성된 문제의 정답 유무와 논리적 일관성을 인간이 검증할 수 있는 근거를 제공합니다.
• Green AI: 학습 활동 중 매번 LLM 을 호출하지 않고 정적 파일을 사용함으로써 에너지 소비를 획기적으로 줄입니다.
• 한계점 및 향후 과제: QC 는 구조적 오류와 수치적 등가성만 검증할 뿐, 교육적 타당성 (난이도, 학습 목표 부합도) 은 인간 전문가의 검토가 필요합니다. 또한, 복잡한 수식이나 그림이 포함된 PDF 에 대해서는 텍스트 추출의 한계가 존재합니다.

결론적으로, 이 논문은 생성형 AI 를 교육에 적용할 때 발생할 수 있는 프라이버시, 검증, 비용 문제를 해결하기 위해 로컬 LLM 과 엄격한 자동 검증 시스템을 결합한 실용적인 프레임워크를 제시하며, AI 를 활용한 교육 자료 제작의 새로운 표준을 제시합니다.