Elementary Math Word Problem Generation using Large Language Models

논문 요약: 대형 언어 모델 (LLM) 을 활용한 초등 수학 응용문제 생성 시스템 (MathWiz)

1. 문제 정의 (Problem Statement)

• 배경: 수학은 많은 학생들에게 어려운 과목으로 인식되어 시험 실패율이 높습니다. 이를 개선하기 위해 학생들의 문제 해결 능력을 기르기 위한 다양한 연습 문제 (수학 응용문제, MWP) 가 필요합니다.
• 현황 및 한계:
  • 기존 MWP 생성은 튜터가 직접 작성해야 하므로 시간 소모가 큽니다.
  • 초기 자동화 기법 (전통적인 시퀀스 - 시퀀스 모델 등) 은 방정식, 초기 문장 (seed), 또는 맥락 정보를 입력으로 요구하여 사용성이 제한적이었습니다.
  • 기존 LLM 기반 연구들은 생성된 문제의 다양성 부족, 특정 학년 (Grade) 이나 문제 유형 (Question Type) 준수 실패, 그리고 인간 피드백을 통한 성능 개선이 미흡하다는 한계가 있었습니다.
• 목표: 추가적인 입력 (방정식 등) 없이 오직 학년, 문제 유형, 생성 개수만 입력받아 고품질의 MWP 를 자동으로 생성하고, 생성된 문제의 다양성과 정확성을 보장하는 시스템 구축.

2. 방법론 (Methodology)

저자들은 MathWiz라는 시스템을 제안하며, 다음과 같은 단계별 실험과 기법을 적용했습니다.

• 데이터셋 구축:

  • MathWizard Dataset: 미국 공통 핵심 수학 표준 (Common Core Standards) 에 따라 1 학년에서 6 학년까지의 학년과 문제 유형 (단위, 분수, 면적 등) 을 명시적으로 태깅한 4,000 개의 MWP 를 수동으로 생성 및 검증했습니다.
  • 선호도 최적화용 데이터: 생성된 문제 중 '수용 (Accepted)'과 '거부 (Rejected)'된 쌍을 인간 평가자가 라벨링하여 1,005 개의 데이터셋을 구축했습니다.
  • 오류 주석 데이터셋: 12 가지 오류 카테고리를 정의하고 인간과 LLM 을 통해 주석 처리한 4,000 개의 데이터셋을 공개했습니다.

• 시스템 아키텍처 및 실험 과정:

  1. LLM 선정: Llama-2, Mistral, Zephyr 등 오픈소스 7B 파라미터 모델 중 제로샷 (Zero-shot) 프롬프팅을 통해 Llama-2를 선정했습니다.
  2. 프롬프트 엔지니어링: 페르소나 (Persona), 템플릿 (Template), 대화 (Dialogue) 패턴 등을 실험하여 가장 효과적인 프롬프트를 선정했습니다.
  3. 다양성 향상 (Diversity Improvement): Greedy Decoding 과 Contrastive Search 를 비교하고, top_k, penalty_alpha, no_repeat_ngram_size 등의 하이퍼파라미터를 그리드 서치 (Grid Search) 를 통해 최적화하여 문제의 다양성을 높였습니다.
  4. 파인튜닝 (Fine-tuning): QLoRA(Quantized Low-Rank Adaptation) 기법을 사용하여 MathWizard 데이터셋으로 Llama-2 를 파인튜닝했습니다.
  5. Few-shot Prompting: 파인튜닝된 모델에 1, 3, 5 개의 예시 (Shot) 를 포함시켜 성능을 비교했습니다.
  6. 인간 피드백 기반 최적화 (RLHF): DPO, KTO, CPO(Contrastive Preference Optimization) 기법을 적용하여 모델의 인간 선호도 정렬을 시도했습니다.
  7. 해결 가능성 검증 (Solvability Check): 생성된 문제가 수학적으로 해결 가능한지 확인하기 위해 이차적인 LLM(Gemini) 을 '해결 가능성 감지기'로 활용했습니다. 해결 불가능한 문제는 폐기하고 재생성하는 루프를 적용했습니다.

• 평가 지표:

  • 12 가지 오류 카테고리: 문법/철자 오류, 비논리적 문제, 해결 불가능한 문제, 학년/단위 부적합, 주제 안전성 등.
  • 가중 평균 점수 (Weighted Average): 수학 교사 2 명에게 각 오류의 심각도 (1~5 점) 를 평가받아 가중치를 부여한 점수를 사용했습니다.
  • 평가자: 인간 평가자 (참여 연구자 및 수학 교사) 와 G-Eval 기반 LLM 평가자 (Copilot 등) 를 병행하여 평가했습니다.

3. 주요 기여 (Key Contributions)

1. MathWiz 시스템: 추가 입력 없이 학년과 문제 유형만 지정하여 MWP 를 생성하는 최초의 종합적인 LLM 기반 시스템 제안.
2. 고품질 데이터셋 공개:
   • MathWizard Dataset: 학년과 문제 유형이 명시된 4,000 개 MWP.
   • Error-Annotated Corpus: 12 가지 오류 카테고리로 주석 처리된 4,000 개 MWP (인간 + LLM 평가). 이는 영어 MWP 코퍼스 중 포괄적인 오류 주석이 포함된 최초의 데이터셋입니다.
3. 종합적 실험 및 분석: 다양한 LLM, 프롬프트 전략, 다양성 향상 기법, 파인튜닝, 선호도 최적화 (RLHF), 그리고 해결 가능성 검증 모듈을 포함한 광범위한 실험 수행.
4. 새로운 오류 분류 체계: 기존 연구 (3 가지 오류) 를 넘어 12 가지 세부 오류 카테고리를 정의하고 가중치를 부여한 정량적 평가 방법론 제시.

4. 실험 결과 (Results)

• 성능 향상: 제안된 시스템 (5-shot 파인튜닝 + 해결 가능성 검증 적용) 은 Llama-2 의 제로샷 베이스라인 대비 가중 평균 정확도를 3.33% 향상시켰습니다.
• 주요 지표 개선:
  • 학년 관련성 (Grade Relevance): 베이스라인 대비 26.93% 향상.
  • 단위 관련성 (Section Relevance): 베이스라인 대비 38.46% 향상.
  • 해결 가능성: 해결 불가능한 문제 (Unsolvable) 와 비현실적인 문제 (Unrealistic) 가 크게 감소했습니다.
• 한계점:
  • 학년/유형 준수: LLM 이 여전히 특정 학년 수준이나 문제 유형을 완벽하게 준수하는 데 어려움을 겪고 있습니다.
  • RLHF 의 양면성: 선호도 최적화 (CPO 등) 는 일부 오류를 줄였으나, 다른 오류 (예: 해결 가능성) 를 증가시키는 부작용이 있었습니다.
  • 해결 가능성 감지기: 감지기의 정확도는 약 80% (정밀도 89%, 재현율 88%) 로, 완벽한 검사는 어렵지만 필터링에 유용하게 작용했습니다.
  • LLM 평가자 한계: LLM 기반 평가 (G-Eval) 는 표면적 오류 (문법, 안전성) 는 잘 파악하지만, 복잡한 수학 논리나 교육적 적절성 판단에는 인간 평가자와의 상관관계가 낮았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 교육적 가치: 튜터의 수동 작업 부담을 줄이고, 학생들에게 학년과 커리큘럼에 맞는 다양하고 고품질의 수학 문제를 대량으로 제공할 수 있는 기반을 마련했습니다.
• 기술적 통찰: LLM 을 교육용 콘텐츠 생성에 적용할 때, 단순한 프롬프팅을 넘어 파인튜닝, Few-shot 학습, 그리고 외부 검증 모듈 (Solvability Checker) 의 결합이 필수적임을 입증했습니다.
• 향후 과제:
  • 학년 및 문제 유형 준수도를 높이기 위해 검색 증강 생성 (RAG) 기술 도입 계획.
  • 학습 목표 (Learning Outcomes) 기반 문제 생성 및 다국어 MWP 생성으로 확장 계획.
  • 더 넓은 범위의 인간 선호도 데이터셋 구축을 통한 RLHF 성능 극대화.

이 논문은 LLM 을 활용한 교육용 콘텐츠 생성 분야에서 데이터셋 구축, 평가 방법론, 그리고 시스템 최적화에 있어 중요한 이정표가 될 것으로 기대됩니다.