Teaching Language Models How to Code Like Learners: Conversational Serialization for Student Simulation

1. 문제 정의 (Problem)

교육 시스템 내에서 학습자의 행동과 반응을 시뮬레이션하는 인공 모델은 대규모로 튜터링 전략과 피드백 메커니즘을 평가하는 데 유망한 도구입니다. 그러나 기존 프로그래밍 교육 분야의 접근 방식들은 다음과 같은 한계가 있었습니다:

• 비공개 대형 언어 모델 (LLM) 의존성: 많은 연구가 비용, 프라이버시, 종속성 문제가 있는 비공개 LLM 프롬프팅에 의존합니다.
• 표면적 오류 모방: 기존 방법들은 종종 실제 학생의 동적인 디버깅 과정보다는 표면적인 오류 패턴만 재현합니다.
• 환경 피드백 부재: 학생이 코드를 제출하고 자동 채점 시스템 (Autograder) 에서 피드백을 받아 수정하는 반복적인 디버깅 과정 (Iterative Debugging Process) 을 효과적으로 학습하지 못합니다.

2. 방법론 (Methodology)

저자들은 실제 학생의 프로세스 데이터 (로그) 를 활용하여 오픈 가중치 (Open-weight) 모델을 학습시키는 새로운 프레임워크를 제안합니다.

A. 대화형 직렬화 (Conversational Serialization)

학생의 문제 해결 과정을 언어 모델이 학습할 수 있는 대화 형식으로 변환합니다.

• 역할 설정:
  • 사용자 (User): 자동 채점 시스템 (피드백, 테스트 결과, 에러 메시지 제공).
  • 어시스턴트 (Assistant): 프로그래밍을 배우는 학생 (코드 제출).
• 구조: 학생의 코드 제출 (Assistant) 과 시스템의 피드백 (User) 을 번갈아 배치하여, 학생이 피드백을 받고 코드를 어떻게 수정하는지 나타내는 대화 흐름을 생성합니다.
• 장점: 기존 로그 데이터를 구조화된 시퀀스로 변환하여 모델이 반복적인 디버깅 패턴을 학습하도록 합니다.

B. 학습 파이프라인 (Training Pipeline)

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 학생의 다음 제출 코드를 예측하도록 모델에 학습시킵니다.
2. 선호도 최적화 (Preference Optimization):
   • 오프라인 (DPO - Direct Preference Optimization): 같은 학생의 궤적에서 '다음 단계의 실제 제출 코드 (선호)'와 '그다음 단계의 다른 등급을 가진 코드 (비선호)'를 쌍으로 구성하여, 모델이 학생의 실제 디버깅 경로를 따르도록 정렬합니다.
   • 온라인 (DAPO - Group Relative Preference Optimization): GRPO 기반의 온라인 알고리즘을 사용하여, 생성된 여러 후보 코드를 평가하고 상대적으로 우수한 코드를 기반으로 모델을 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 학생 - 환경 직렬화: 학생과 학습 환경 간의 상호작용을 대화 형식으로 표현하여, 언어 모델이 학생의 반복적 디버깅 과정을 학습할 수 있게 했습니다.
2. 인공 학습자 학습 방법론: 지도 미세 조정 (SFT) 과 선호도 최적화 (DPO/DAPO) 를 결합하여, 실제 학생의 코딩 궤적과 정렬된 모델을 학습하는 파이프라인을 제안했습니다.
3. 실제 데이터에 대한 실증적 평가: 대규모 Python 프로그래밍 과제 제출 데이터셋 (FalconCode) 을 사용하여 Qwen(4B, 8B) 모델을 학습 및 평가했습니다.

4. 실험 결과 (Results)

데이터셋: 미국 공군사관학교의 FalconCode 데이터셋 (Spring 2021 학습, Spring 2022 테스트).
모델: Qwen3-4B 및 Qwen3-8B.
비교 대상: 프롬프트 기반 베이스라인 (BASE), 환경 피드백 없는 학습 (PARA), GPT-5-mini.

주요 발견:

• 환경 피드백의 중요성: SFT 모델은 환경 피드백이 포함된 PARA 모델보다 모든 지표 (커버리지, 등급 근접성, CodeBLEU) 에서 더 좋은 성능을 보였습니다. 이는 추가적인 코드 히스토리보다 채점 시스템의 피드백이 학생의 다음 행동을 예측하는 데 더 유익함을 시사합니다.
• DPO 의 우월성: 오프라인 선호도 최적화 (DPO) 를 적용한 모델이 가장 높은 커버리지 (Coverage) 와 등급 근접성 (Grade Proximity) 을 기록했습니다.
  • DPO 모델은 실제 학생이 통과/실패하는 테스트 단계와 동일한 시점에 코드를 생성하여, 실제 학습자의 문제 해결 과정을 가장 잘 모방했습니다.
  • 반면, GPT-5-mini 같은 강력한 모델은 너무 빨리 정답을 찾아내어 (Coverage 낮음) 실제 학생의 디버깅 과정을 시뮬레이션하지 못했습니다.
• 온라인 vs 오프라인: 온라인 선호도 최적화 (DAPO) 는 오프라인 (DPO) 에 비해 일관된 개선을 보이지 않았습니다. 이는 계산 제약 (샘플링 수 제한) 과 사고 과정 (Chain-of-Thought) 부재 때문으로 분석됩니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 비공개 LLM 에 의존하지 않고 기관 내 데이터를 안전하게 활용하여, 실제 학생과 유사하게 행동하는 '인공 학생 (Artificial Students)'을 구축할 수 있음을 증명했습니다.
• 교육적 적용 가능성:
  • 튜터링 전략 평가: 실제 교실 배포 없이 다양한 튜터링 전략과 피드백 정책을 대규모로 시뮬레이션하여 평가할 수 있습니다.
  • 강화학습 기반 튜터 훈련: 학생의 성공/실패를 신호로 사용하여 튜터 에이전트를 훈련하는 데 활용 가능합니다.
  • 지식 추적 (Knowledge Tracing) 과의 결합: 과제 내 디버깅 단계를 모델링하는 본 프레임워크를 지식 추적 모델과 결합하여 더 정교한 학습자 모델링이 가능해집니다.
• 한계 및 향후 과제: 현재 데이터가 성적이 좋은 학생 (95% 만점) 에 치우쳐 있어, 어려움을 겪는 학생이나 포기하는 학생의 행동 모델링은 향후 과제로 남았습니다. 또한, 다양한 언어와 데이터셋으로의 확장 및 교육적 유효성 검증이 필요합니다.

결론적으로, 이 연구는 학생 - 환경 상호작용을 대화형으로 변환하고 선호도 최적화를 적용함으로써, 기존 프롬프트 기반 모델이나 단순 코드 학습 모델보다 훨씬 현실적인 학생 디버깅 행동을 시뮬레이션할 수 있음을 입증했습니다.