기술 요약: INSIDE – LLM 학생 시뮬레이터에서의 잠재적 추론 및 행동 공동 모델링

문제 정의

교육 분야의 대규모 언어 모델(LLM) 기반 시뮬레이터는 관찰 가능한 학생의 행동(예: 코드 제출)은 복제할 수 있지만, 그 이면에 있는 잠재적인 추론 과정은 포착하지 못하는 경우가 많습니다. 교육적 맥락에서 두 학생은 근본적으로 다른 이유로 동일한 코드를 생성하거나, 서로 다른 인지 경로를 통해 동일한 오답에 도출할 수 있습니다. 기존 방식은 일반적으로 학생의 행동을 블랙박스로 취급하며 결과 예측에만 집중합니다. 이러한 한계는 오개념을 진단하거나, 타겟팅된 피드백을 생성하거나, 튜터링 시스템을 효과적으로 평가하는 능력을 저해합니다. 왜냐하면 관찰 가능한 행동은 인지의 단편적인 모습만을 제공하기 때문입니다. 더욱이, LLM 추론 연구는 주로 정확도 향상에 초점을 맞추고 있지만, 인간의 학습에는 빈번한 오류, 오개념, 불완전한 전략이 포함되며 현재의 모델들은 이를 본질적으로 시뮬레이션하는 데 어려움을 겪습니다.

방법론

본 논문은 학생의 행동과 내부 추론 과정을 공동으로 모델링하는 프레임워크인 INSIDE(INTERNAL STUDENT DIALOGUE)를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 데이터 및 컨텍스트

본 연구는 UC 버클리의 입문 프로그래밍 과목에서 수집된 데이터를 활용하며, 두 학기(2024년 봄 및 2025년 봄)를 다룹니다. 데이터셋은 약 900명의 학생, 10개의 숙제 과제, 그리고 다회차 제출 스트림을 포함합니다. 각 시도는 학생의 코드, 자동 채점 결과, 그리고 AI 튜터의 자연어 피드백을 포착합니다. 데이터는 훈련 세트(2025년 봄)와 테스트 세트(2024년 봄)로 분할되며, 다시 "기존 문제(Old Problems)"(익숙한 문제, 새로운 학생)와 "새로운 문제(New Problems)"(보지 못한 문제)로 세분화됩니다.

2. 내부 대화 생성 (교사 모델)

실제 정답(ground-truth) 내부 추론은 관찰 불가능하므로, 저자들은 교사 모델(GPT-5)을 사용하여 **사후 추론(retrospective inference)**을 수행합니다. 상호작용 컨텍스트(문제, 이전 제출물, 피드백)와 관찰된 다음 제출물을 바탕으로, 교사 모델은 다음을 생성합니다:

• 구조화된 상태 요약: 블룸의 분류학(Bloom's Taxonomy)에 근거하여 학생의 인지적(이해/오개념), 정의적(감정/동기), 행동적(구체적 단계) 상태에 대한 3인칭 분석을 생성합니다.
• 1인칭 내부 대화: 제출 전 학생의 내부 독백을 시뮬레이션하는 "생각의 흔적($z_t$)"을 생성합니다. 이 대화는 불확실성, 부분적 이해, 잠재적 오류를 포함하는 초보자의 추론을 반영하도록 설계되었습니다.

3. 학생 모델링 프레임워크

핵-기여는 상호작용 이력을 조건으로 내부 대화와 그에 따른 코드 제출($c_t$)을 모두 생성하도록 훈련된 학생 모델입니다.

• 미세 조정 (INSIDE): 모델들(Qwen2.5, Qwen3, LLaMA-3)은 (컨텍스트 $\to$ 내부 대화 $\to$ 코드)의 쌍으로 구성된 시퀀스를 사용하여 LoRA로 미세 조정됩니다. 내부 대화는 중간 인지 계층 역할을 합니다.
• 베이스라인: 프레임워크는 다음 모델들과 비교됩니다:
  • SFT: 내부 대화 없이 직접적인 (컨텍스트 $\to$ 코드) 방식으로 미세 조정된 모델.
  • 프롬프팅 (CoT): 표준적인 생각의 사슬(Chain-of-Thought) 프롬프팅.
  • 프롬프팅 (BloomCoT): 블룸의 분류학에서 영감을 받은 구조화된 프롬프팅.

주요 기여

1. 교육적 근거를 갖춘 추론 흔적의 재구성: 저자들은 사후 추론을 사용하여 상호작용 데이터로부터 잠재적 추론 흔적을 재구성하는 방법을 도입하였으며, 이를 통해 정답 추론이 없는 상황에서도 해석 가능한 내부 대화를 생성할 수 있게 했습니다.
2. 공동 모델링 프레임워크 (INSIDE): 관찰 가능한 행동 이전에 발생하는 잠재적 추론 과정을 명시적으로 모델링하여, 내부 대화에 따라 코드 생성을 조건화하는 새로운 프레임워크를 제시합니다.
3. 이차원 평가: 행동 충실도(Action Fidelity)(생성된 코드 분포와 실제 학생 코드 간의 유사성)와 추론 품질(Reasoning Quality)(생성된 대화와 실제 코드 편집 간의 일치성)를 평가하는 종합적인 메트릭을 도입했습니다.

결과

평가 결과, INSIDE는 내부 추론이 없는 미세 조정 베이스라인(SFT) 및 다양한 프롬프팅 전략보다 우수한 성능을 보였습니다.

행동 충실도

생성된 코드 분포와 실제 학생 코드 사이의 분포 유사성을 측정하기 위해 와서스테인 거리(Wasserstein distance)를 사용했습니다:

• INSIDE는 "기존 문제" 테스트 세트($test\_OP$)에서 메트릭(통과율, 코드 라인 수, AST 깊이/너비, PEP 8 위반 사항) 전반에 걸쳐 일관되게 가장 낮은 와서스테인 거리를 달로했습니다.
• "새로운 문제"($test\_NP$)에서는 INSIDE가 SFT와 유사한 성능을 보였으나, 그 격차는 더 작았습니다. 저자들은 이는 $test\_NP$의 성공률이 이미 높기 때문에 SFT가 이미 목표 분포에 근접해 있기 때문이라고 설명합니다.
• 통과율 궤적: 실제 학생들은 초기 통과율이 낮다가 마지막 단계 근처에서 급격히 상승합니다. SFT 모델은 이를 잘 추적하지만, 프롬프팅 기반 모델들은 시작부터 인위적으로 높은 통과율을 유지하는 경향이 있습니다. INSIDE 모델은 실제 학생의 점진적인 발전을 밀접하게 모방하며, 통과율 궤적에서 가장 낮은 평균 절대 오차(MAE)를 기록했습니다.

추론 품질 (일치성)

일치성은 생성된 내부 대화의 원자적 주장(atomic claims) 중 실제 코드 편집에 반영된 비율을 측정합니다:

• INSIDE는 테스트된 모델 중 가장 높은 일치도 점수를 달성했습니다. 구체적으로, Qwen3-8B-INSIDE는 $test\_NP$에서 57.9%, Qwen2.5-7B-INSIDE는 $test\_OP$에서 **51.8%**에 도달하여, 두 설정 모두에서 최고의 프롬프팅 베이스라인을 능가했습니다.
• 주목할 점은, 더 크고 유능한 모델(예: GPT-5, Qwen3-32B)이 종종 더 낮은 일치도 점수를 기록했다는 것입니다. 이는 뛰어난 일반 추론 능력이 반드시 초보자다운, 오류가 잦은 추론을 시뮬레이션하는 것으로 직결되지는 않음을 시사합니다.
• 자기 일관성(Self-Consistency): 프롬프팅 모델들은 높은 자기 일관성(추론이 자신의 생성된 코드와 일치함)을 보이지만, 실제 학생의 행동과 일치하는 데는 실패하는 경우가 많습니다. INSIDE는 경쟁력 있는 자기 일관성을 유지하면서도 실제 학생의 편집과 우수한 일치도를 달성했습니다.

의의 및 주장

본 논문은 관찰 가능한 행동 이상의 추론을 모델링하는 것이 현실적인 학생 시뮬레이터를 구축하는 데 필수적이라고 주장합니다. 내부 대화를 통합함으로써, INSIDE는 설명과 행동 사이의 간극을 메워 추론이 관찰된 코드 편집과 일치하는 시뮬레이션을 생성합니다.

저자들은 두 가지 주요 시사점을 강조합니다:

1. 평가 및 최적화: 내부 대화를 가진 학생 시뮬레이터는 AI 튜터의 피드백이 오개념을 해결하는지 평가하고, 배포 전 개입에 대한 반사실적 분석(counterfactual analysis)을 지원할 수 있습니다.
2. 학습자 대상 도구: 내부 대화를 외재화하는 것은 학생의 성찰과 메타인지를 지원할 수 있으며, 표면적인 행동이 아닌 추론 패턴에 기반하여 학생을 클러스터링하는 것을 가능하게 합니다.

논문은 주요 한계점으로, 내부 대화가 관찰된 것이 아니라 재구성된 것이기에 실제 초보 학생보다 더 일관된 추론을 반영할 수 있다는 점을 인정합니다. 그러나 이러한 접근 방식이 관찰 불가능한 인지 신호에 대한 유용한 대리 지표(proxy)를 제공하여, 교육 분야의 인간 중심 AI를 발전시킨다고 주장합니다.