Technische Samenvatting: PyMETA

Probleemstelling

Het vakgebied van detectie van codefouten, met name binnen educatieve contexten, is uitgebreid van traditionele IDE-diagnostiek naar contextgevoelig debuggen aangedreven door Large Language Models (LLM's). Dit gebied staat echter voor drie primaire uitdagingen:

1. Datatekort: Bestaande publieke datasets missen brede dekking van probleempetypes, grootschalige steekproeven en de capaciteit voor multi-foutanalyse.
2. Fragmentatie van Taxonomie: Huidige foutcategorisaties zijn vaak ad hoc of gefragmenteerd, en bieden geen verenigde taxonomie die menselijk begrip overbrugt met IDE-diagnostiek.
3. Tekort aan Benchmarks: Er is een gebrek aan gestandaardiseerde benchmarks voor het evalueren van LLM's bij detectie van codefouten, vooral onder training-vrije of low-resource instellingen.

Verder leunen bestaande datasets vaak op beperkte probleemsets (bijv. 44 problemen in AOJ ITP1) of homogene gebruikerspopulaties, en missen ze doorgaans fijnmazige multi-fout annotaties.

Methodologie

Dataset Constructie: PyMETA

De auteurs introduceren PyMETA, een grootschalige Python codefout classificatie dataset afgeleid van studenten-inzendingen op het Circle Cat online leerplatform.

• Schaal: 48.646 studenten-inzendingen verspreid over 155 verschillende problemen van 579 gebruikers.
• Labeling Strategie:
  • Single-Error Labels: Alle 48.646 samples krijgen single-error labels afgeleid van Online Judge (Moodle CodeRunner) executie-signalen.
  • Multi-Error Diagnostic Subset: Een gespecialiseerde subset van 97 samples werd door experts geannoteerd om alle gelijktijdige fouten te identificeren. Deze samples werden niet willekeurig gekozen, maar via twee gerichte strategieën: Confusion-Matrix-Based Extraction (het samplen van misgeclassificeerde instanties) en Entropy-Based Extraction (het samplen van voorspellingen met een hoge onzekerheid).
• Taxonomie: De dataset maakt gebruik van een drie-niveau hiërarchische taxonomie geworteld in de officiële Python exception hiërarchie:
  • Taak A (Binair): Geen Fout vs. Fout.
  • Taak B (Drie-klasse): Geen Fout, Expliciete Fout (runtime/interpreter fouten), en Logische Fout (uitvoerbaar maar falende testgevallen).
  • Taak C (Multi-klasse): 14 fijnmazige fouttypes (na het samenvoegen van 7 laag-frequente types), inclus_ief Syntax, Name, Type, Indentation, en Logica fouten.

Experimentele Opstelling

De studie evalueert modelprestaties onder twee paradigma's:

1. Finetuning: Twee pre-trained modellen, CodeBERT en CodeLlama-7B, werden gefinetuned op de dataset met een problem-level split (gebaseerd op QuestionID) om data leakage te voorkomen waarbij modellen specifieke probleemstellingen zouden memoriseren.
2. Prompting: Vier LLM's (DeepSeek-V3, Gemini 2.5 Pro, GPT-3.5, GPT-4o) werden geëvalueerd met zero-shot prompting.
3. Multi-Error Evaluatie: Voor de diagnostische subset kregen modellen de taak om alle gelijktijdige fouten te identificeren met behulp van Chain-of-Thought (CoT) prompting. Prestaties werden gemeten met standaard metrieken (Precision, Recall, F1) en een Coverage Rate metriek voor multi-error detectie.

Belangrijkste Bijdragen

1. PyMETA Dataset: De introductie van een grootschalige, diverse Python fout dataset met zowel single-error labels (gebaseerd op executie) als een diagnostische subset voor multi-error analyse.
2. Verenigde Taxonomie: Een hiërarchische fout taxonomie die onderscheid maakt tussen Expliciete Fouten en Logische Fouten, wat aansluit bij zowel IDE-definities als educatieve behoeften voor stapsgewijze analyse.
3. Uitgebreide Benchmark: Een multi-level evaluatiekader dat de prestaties van gefinetunede kleinere modellen vergelijkt met prompting-gebaseerde grote modellen, waarbij specifieke biases en prestatiekloven worden blootgelegd.

Resultaten

Single-Error Classificatie

• Finetuning vs. Prompting: Gefinetunede kleinere modellen presteerden beter dan geprompt LLM's. CodeLlama-7B behaalde de hoogste prestaties met 80,6% macro F1 op Taak C (fijnmazige classificatie). In contrast bereikte het beste geprompte model, Gemini 2.5 Pro, 71,9% macro F1.
• Model Dispariteiten: Prestaties varieerden significant per fouttype. Modellen hadden moeite met zeldzame fouttypes (bijv. Recursion Error, Tab Error) waarbij sommige modellen een 0% F1 behaalden.
• Logische Fout Bias: Er werd een systematische bias waargenomen waarbij modellen "Logische Fout" overvoorspelden.
  • GPT-3.5 vertoonde de hoogste Logic Error Overprediction Rate (LERover) van 92,8%.
  • Gemini 2.5 Pro vertoonde de laagste LERover van 17,6%.
  • Alle geëvalueerde modellen vertoonden een niet-nul overvoorspelling van Logische Fout voor instanties die geen Logische Fout waren.

Multi-Error Classificatie

• Prestaties: Op de multi-error diagnostische subset behaalde Gemini 2.5 Pro de beste prestaties met een 81,8% macro F1 onder het "contains" criterium.
• Coverage: Modellen faalden vaak om alle gelijktijdige fouten te vangen. Slechts 50% van de voorspellingen op confusion-matrix-gebaseerde samples viel binnen de door mensen geannoteerde labelruimte.
• Onzekerheid Correlatie: Analyse van voorspellingsentropie onthulde dat niet-overeenkomende voorspellingen (waar de top-1 label van het model niet in de door mensen geannoteerde set zat) geassocieerd waren met aanzienlijk hogere entropie (0,84) vergeleken met overeenkomende voorspellingen (0,25), wat aangeeft dat hoge entropie correleert met modelonzekerheid in complexe multi-error gevallen.

Betekenis en Claims

Het paper positioneert PyMETA als een fundamentele bron voor het bevorderen van onderzoek naar codefouten. De primaire betekenis ligt in:

• Het Vestigen van een Datafundament: Het bieden van een grootschalige, executie-gebaseerde dataset die het tekort aan multi-error analyse in bestaande bronnen aanpakt.
• Het Blootleggen van Modelbeperkingen: Het demonstreren dat, ondanks de capaciteiten van grote LLM's, gefinetunede kleinere modellen momenteel prompting-gebaseerde benaderingen overtreffen voor deze specifieke taak.
• Het Identificeren van Systemische Biases: Het benadrukken van de neiging van LLM's om code als "Logische Fout" te classificeren, wat wijst op een behoefte aan betere afstemming in semantische foutdetectie.
• Toekomstige Richtingen: Dit werk opent nieuwe wegen voor het bestuderen van multi-error redenering in codemodellen en biedt baselines voor toekomstig onderzoek in programmeringseducatie en LLM-geïntegreerde IDE's.

De auteurs merken bescheiden op dat hun dataset momenteel Python-specifiek is en dat multi-error annotaties slechts een gerichte subset dekken in plaats van de gehele dataset, waarmee zij de inherente beperkingen van de huidige scope erkennen.