Chatbot-Based Assessment of Code Understanding in Automated Programming Assessment Systems

논문 제목: 자동화 프로그래밍 평가 시스템 (APAS) 을 위한 챗봇 기반 코드 이해도 평가

저자: Eduard Frankford, Erik Cikalleshi, Ruth Breu (인스브루크 대학교)

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 급속한 발전은 프로그래밍 교육과 평가 방식을 근본적으로 변화시켰습니다.

• 기능적 정합성 vs. 개념적 이해: 학생들은 LLM 을 사용하여 기능적으로 정확한 코드를 생성할 수 있게 되었지만, 이는 반드시 해당 코드의 논리, 실행 흐름, 설계 결정을 이해했음을 의미하지는 않습니다.
• 기존 평가 시스템의 한계: 현재 대부분의 자동화 프로그래밍 평가 시스템 (APAS) 은 유닛 테스트 (Unit Tests) 와 정적 코드 분석에 의존합니다. 이러한 방식은 코드가 "작동하는지"는 확인할 수 있으나, 학생이 "왜 작동하는지"를 이해하는지 (개념적 이해) 를 검증하기에는 부족합니다.
• 필요성: 단순한 결과물 (Artifact) 평가에서 벗어나, 학생이 제출한 코드의 논리와 실행 과정을 설명할 수 있는지 검증하는 새로운 평가 패러다임이 필요합니다.

2. 방법론 (Methodology)

이 논문은 두 단계의 연구로 구성되었습니다.

1. 체계적 범위 검토 (Systematic Scoping Review):

   • 프로토콜: PRISMA 가이드라인을 따르며, saturation-based(포화 기반) 스톱핑 기준을 적용했습니다.
   • 데이터 수집: 2018 년 (Transformer 시대 이후) 부터 2025 년까지의 학술 데이터베이스 (ACM, IEEE, arXiv 등) 에서 123 건의 논문을 검색하고, 31 건의 최종 연구 (15 건의 주요 연구 + 9 건의 보조 연구 + 7 건의 추가 연구) 를 선정했습니다.
   • 연구 질문 (RQ):
     • RQ1: 프로그래밍 교육에서의 대화형 평가 접근법을 기술적 구현, 교육적 전략, 평가 방법에 따라 어떻게 분류할 수 있는가?
     • RQ2: 확장성, 공정성, 학습 결과에 대한 챗봇 기반 평가의 이점, 한계, 교육적 함의는 무엇인가?

2. 프레임워크 제안:

   • 검토 결과를 바탕으로 차세대 APAS 를 위한 설계 제안 (Hybrid Socratic Framework) 을 도출했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 대화형 평가 접근법의 분류 (RQ1 결과)

검토된 문헌을 바탕으로 세 가지 주요 아키텍처 패밀리를 식별했습니다.

1. 규칙 기반/템플릿 주도 시스템 (Rule-Based/Template-Driven):
   • 특징: 정적/동적 코드 분석 (AST 등) 을 통해 결정론적으로 질문을 생성합니다.
   • 장점: 일관성, 감사 가능성, 낮은 계산 비용.
   • 단점: 유연성 부족, 반복적인 질문, 유지보수 비용 증가.
2. LLM 기반 시스템 (LLM-Based):
   • 특징: GPT, Llama 등의 모델을 사용하여 자연스러운 다중 턴 대화를 생성합니다.
   • 장점: 다양한 코드 패턴 처리, 적응형 교육 전략.
   • 단점: 할루시네이션 (Hallucination), 직접적인 정답 제공 위험, 일관성 없는 평가.
3. 하이브리드 시스템 (Hybrid Systems):
   • 특징: 규칙 기반의 구조적 안정성과 ML 의 유연성을 결합합니다. (예: ChatDAC, Sakshm AI)
   • 장점: 확장성, 투명성, 교육적 통제력을 모두 확보 가능.
   • 결과: 연구된 사례 중 하이브리드 접근법이 가장 빈번하게 나타났으며 (5/12), 가장 유망한 방향으로 평가되었습니다.

나. 이점, 한계 및 교육적 함의 (RQ2 결과)

• 이점: 대규모 학생 그룹에게 즉각적이고 개인화된 피드백 제공, 학습 성취도 향상 (Socratic Author 시스템은 43% 학습 향상), 교사의 업무 부담 감소.
• 한계: LLM 의 할루시네이션, 학생들의 시스템 악용 (Gaming), AI 에 대한 과도한 의존 (Over-reliance), 학문적 정직성 위협.
• 교육적 함의: "생산적이지 않은 성공 (Unproductive Success)" 현상 (코드는 통과하지만 이해는 안 하는 상태) 을 식별해야 함. 평가는 기능적 테스트에서 대화형 검증 (Conversational Verification) 으로 전환되어야 합니다.

다. 제안된 프레임워크: 하이브리드 소크라틱 프레임워크 (Hybrid Socratic Framework)

검토 결과를 바탕으로 APAS 에 대화형 검증을 통합하기 위한 구체적인 설계 프레임워크를 제안했습니다.

• 핵심 아키텍처 (5 개 모듈):

  1. 코드 분석 엔진: 정적 분석 (AST) 과 동적 실행을 통해 학생 코드의 결정론적 사실 (Ground Truth) 을 추출합니다.
  2. 상태 공간 및 지식 추적기 (State Space & Knowledge Tracker): 학생의 이해도, 오개념, 지식 요소를 턴별로 추적합니다.
  3. 이중 에이전트 대화 코어 (Dual-Agent Conversational Core):
     • 강사 에이전트 (Instructor Agent): 추출된 코드 사실에 기반하여 소크라틱 질문을 생성합니다. (정답 제공 금지)
     • 검증자 에이전트 (Verifier Agent): 학생의 답변을 코드 분석 기반의 참조 설명과 비교하여 평가합니다.
  4. 평가 엔진: 기능적 테스트 점수와 대화 품질 점수를 결합하여 최종 점수를 산출합니다.
  5. 소크라틱 가드레일 (Guardrails): AI 가 솔루션을 직접 제공하지 않도록 프롬프트를 제한합니다.

• LLM 생성 설명에 대한 무결성 보호 장치:

  • 프로크터링 (Proctored Deployment): 고위험 평가 시 감독 하에 실행.
  • 무작위화된 추적 질문 (Randomized Trace Questions): 제출된 프로그램의 구체적인 실행 상태 (랜덤 입력 포함) 에 기반한 질문으로, 일반화된 LLM 답변의 유용성을 낮춥니다.
  • 단계별 추론 요구: 단일 설명 대신 변수 값 예측, 루프 종료 조건 설명 등 구체적인 실행 상태에 대한 추론을 요구합니다.

• 실증 연구 (Proof of Concept):

  • Python 기반 프로토타입을 개발하여 Streamlit 인터페이스와 이중 에이전트 아키텍처를 구현했습니다.
  • 로컬 모델 (llama-cpp-python) 및 클라우드 API 를 모두 지원하여 프라이버시 문제를 고려한 배포 가능성을 시연했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 프로그래밍 평가가 단순히 "코드가 작동하는가"를 확인하는 것을 넘어, "학생이 코드를 이해하는가"를 검증하는 방향으로 진화해야 함을 강조합니다.
• 하이브리드 접근의 필요성: 순수 LLM 기반의 불확실성과 순수 규칙 기반의 경직성을 극복하기 위해, 결정론적 코드 분석에 기반한 대화형 검증이 가장 효과적인 해결책임을 입증했습니다.
• 실용적 제안: AI 를 완전히 배제하는 것이 아니라, 소크라틱 질문과 가드레일을 통해 학생의 추론 능력을 검증하는 보조 계층 (Complementary Layer) 으로 통합할 것을 제안합니다.
• 향후 과제: 프레임워크의 실증적 검증 (교실 배포), 지식 추적 메커니즘 강화, 멀티모달 평가 (코드 트레이스, 다이어그램 등) 로의 확장, 그리고 윤리적/공정성 문제 해결이 필요합니다.

이 논문은 LLM 시대에 자동화된 프로그래밍 평가 시스템이 어떻게 설계되어야 학생들의 진정한 이해도를 평가하면서도 학문적 정직성을 유지할 수 있는지에 대한 중요한 기술적 로드맵을 제시합니다.