PyMETA: A Benchmark Dataset for Hierarchical Student Code Error Classification with Python-Interpreter-Based Labels

기술 요약: PyMETA

문제 정의

코드 에러 탐지 분야, 특히 교육적 맥락에서의 연구는 전통적인 IDE 진단을 넘어 대규모 언어 모델(LLM)을 활용한 문맥 기반 디버깅으로 확장되었습니다. 그러나 이 분야는 다음과 같은 세 가지 주요 과제에 직면해 있습니다:

1. 데이터 부족: 기존의 공개 데이터셋은 문제 유형의 폭넓은 커버리지, 대규모 샘플, 그리고 다중 에러 분석 능력이 부족합니다.
2. 분류 체계의 파편화: 현재의 에러 분류는 종종 임의적이거나 파편화되어 있어, 인간의 이해와 IDE 진단을 연결하는 통합된 분류 체계를 제공하지 못합니다.
3. 벤치마크 결핍: 특히 훈련이 불가능하거나 자원이 제한된 환경에서 코드 에러 탐지를 평가하기 위한 표준화된 벤치마크가 부족합니다.

또한, 기존 데이터셋은 제한된 문제 세트(예: AOJ ITP1의 44개 문제)나 동질적인 사용자 집단에 의존하는 경우가 많으며, 일반적으로 세밀한 다중 에러 주석(annotation)이 결여되어 있습니다.

방법론

데이터셋 구축: PyMETA

저자들은 Circle Cat 온라인 학습 플랫폼의 학생 제출물로부터 도출된 대규모 Python 코드 에러 분류 데이터셋인 PyMETA를 소개합니다.

• 규모: 579명의 사용자가 제출한 155개의 서로 다른 문제에 걸친 48,646개의 학생 제출물.
• 레이블링 전략:
  • 단일 에러 레이블: 48,646개의 모든 샘플은 Online Judge(Moodle CodeRunner) 실행 신호로부터 도출된 단일 에러 레이블을 할당받았습니다.
  • 다중 에러 진단 서브셋: 97개의 특수 샘플은 모든 동시 발생 에러를 식별하기 위해 전문가에 의해 주석이 달렸습니다. 이 샘플들은 무작위가 아니라, 혼동 행렬 기반 추출(오분류된 인스턴스 샘플링) 및 엔트로피 기반 추출(높은 불확실성 예측 샘플링)이라는 두 가지 타겟팅 전략을 통해 선정되었습니다.
• 분류 체계: 이 데이터셋은 Python의 공식 예외 계층 구조에 기반한 3단계 계층적 분류 체계를 활용합니다:
  • Task A (이진 분류): 에러 없음 vs 에러 있음.
  • Task B (3클래스 분류): 에러 없음, 명시적 에러(런타임/인터프리터 실패), 논리 에러(실행은 가능하나 테스트 케이스 통과 실패).
  • Task C (다중 클래스 분류): 7개의 저빈도 유형을 병합한 후의 14가지 세밀한 에러 유형(Syntax, Name, Type, Indentation, Logic 에러 포함).

실험 설정

본 연구는 두 가지 패러다임 하에서 모델 성능을 평가합니다:

1. 파인튜닝(Finetuning): 두 개의 사전 학습된 모델인 CodeBERT와 CodeLlama-7B를 문제 레벨 분할(QuestionID 기반)을 사용하여 데이터 누수를 방지하며 데이터셋에 대해 파인튜닝했습니다. 이는 모델이 특정 문제 문장을 암기하는 것을 방지하기 위함입니다.
2. 프롬프팅(Prompting): 네 개의 LLM(DeepSeek-V3, Gemini 2.5 Pro, GPT-3.5, GPT-4o)을 제로샷 프롬프팅을 사용하여 평가했습니다.
3. 다중 에러 평가: 진단 서브셋에 대해, 모델들은 Chain-of-Thought(CoT) 프롬프팅을 사용하여 모든 동시 발생 에러를 식별하는 과제를 수행했습니다. 성능은 표준 지표(Precision, Recall, F1)와 다중 에러 탐지를 위한 커버리지 비율(Coverage Rate) 지표를 사용하여 측정되었습니다.

주요 기여

1. PyMETA 데이터셋: 실행 기반 레이블(execution-grounded)과 다중 에러 분석을 위한 진단 서브셋을 모두 갖춘 대규모의 다양한 Python 에러 데이터셋을 도입했습니다.
2. 통합 분류 체계: 명시적 에러와 논리 에러를 구분하여 IDE 정의와 단계별 분석을 위한 교육적 요구를 모두 충족하는 계층적 에러 분류 체계를 구축했습니다.
3. 포괄적 벤치마크: 파인튜닝된 소형 모델과 프롬프팅 기반의 대형 모델을 비교하는 다단계 평가 프레임워크를 제공하여, 특정 편향과 성능 격차를 밝혀냈습니다.

결과

단일 에러 분류

• 파인튜닝 vs 프롬프팅: 파인튜닝된 소형 모델들이 프롬프팅된 LLM보다 우수한 성능을 보였습니다. CodeLlama-7B는 Task C(세밀한 분류)에서 80.6%의 macro F1을 달려 최고 성능을 기록했습니다. 반면, 가장 우수한 프롬프팅 모델인 Gemini 2.5 Pro는 71.9%의 macro F1에 도달했습니다.
• 모델 간 격차: 성능은 에러 유형에 따라 크게 달랐습니다. 모델들은 일부 모델이 0% F1을 기록할 정도로 희귀한 에러 유형(예: Recursion Error, Tab Error)에 어려움을 겪었습니다.
• 논리 에러 편향: 모델이 "논리 에러"를 과잉 예측하는 체계적인 편향이 관찰되었습니다.
  • GPT-3.5는 가장 높은 논리 에러 과잉 예측률(LERover)인 **92.8%**를 보였습니다.
  • Gemini 2.5 Pro는 가장 낮은 LERover인 **17.6%**를 보였습니다.
  • 평가된 모든 모델은 논리 에러가 아닌 인스턴스에 대해 비제로(non-zero)의 논리 에러 과잉 예측을 나타냈습니다.

다중 에러 분류

• 성능: 다중 에러 진단 서브셋에서, Gemini 2.5 Pro는 "포함(contains)" 기준 하에 81.8%의 macro F1을 달성하며 가장 좋은 성능을 보였습니다.
• 커버리지: 모델들은 동시 발생 에러를 모두 포착하는 데 자주 실패했습니다. 혼동 행렬 기반 샘플에 대한 예측 중 50%만이 인간이 주석을 단 레이블 공간 내에 존재했습니다.
• 불확실성 상관관계: 예측 엔트로피 분석 결과, 일치하지 않는 예측(모델의 top-1 레이블이 인간 주석 세트에 없는 경우)은 일치하는 예측(0.25)에 비해 현저히 높은 엔트로피(0.84)와 연관되어 있었으며, 이는 복잡한 다중 에러 케이스에서 높은 엔트로피가 모델의 불확실성과 상관관계가 있음을 나타냅니다.

의의 및 주장

본 논문은 PyMETA를 코드 연구를 진전시키기 위한 기초 자원으로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

• 데이터 기반 확립: 기존 리소스의 다중 에러 분석 결여를 해결하는 대규모의 실행 기반 데이터셋을 제공합니다.
• 모델 한계 규명: 대규모 LLM의 능력에도 불구하고, 이 특정 작업에서는 파인튜닝된 소형 모델이 현재 프롬프팅 기반 접근 방식보다 우수함을 입증했습니다.
• 체계적 편향 식출: LLM이 코드를 "논리 에러"로 과다 분류하는 경향을 강조하며, 이는 의미론적 에러 탐지를 위한 더 나은 정렬(alignment)의 필요성을 시사합니다.
• 미래 방향: 본 연구는 코드 모델의 다중 에러 추론 연구와 LLM 기반 IDE 통합을 위한 미래의 연구 경로를 열어줍니다.

저자들은 현재의 데이터셋이 Python에 국한되어 있으며, 다중 에러 주석이 전체 데이터셋이 아닌 타겟팅된 서브셋에만 적용되었다는 점을 인정하며 이를 현재 범위의 내재적 한계로 겸허히 언급하였습니다.