Fine-Tuning Models for Automated Code Review Feedback

Technische Samenvatting: Fine-tunen van Modellen voor Geautomatiseerde Feedback bij Code Review

Probleemstelling
Hoewel Large Language Models (LLM's) de programmeeronderwijs hebben getransformeerd door gepersonaliseerde feedback en contentcreatie mogelijk te maken, blijven er aanzienlijke barrières bestaan. Propriëtaire modellen zijn, hoewel effectief, duur, gebrek aan transparantie en roepen ethische zorgen op met betrekking tot de privacy van studentengegevens. Daarentegen bieden open LLM's toegankelijkheid en controle, maar missen ze momenteel de prestatiecapaciteiten van hun proprietair tegenhangers. Bovendien vertrouwen bestaande tools voor geautomatiseerde feedback vaak op proprietaire black-box-modellen of slagen ze er niet in om feedback van hoge kwaliteit te genereren over "Kennis over hoe verder te gaan" (KH), wat cruciaal is om leerlingen te begeleiden bij probleemoplossing in plaats van simpelweg antwoorden te geven. Er is ook een schaarste aan publiek beschikbare, geannoteerde datasets voor het trainen van modellen om pedagogisch gestructureerde feedback te genereren (specifiek "Kennis over Fouten" of KM, en KH).

Methodologie
De studie stelt een raamwerk voor om de feedbackkwaliteit van het open-source model Code Llama-7B-Instruct te verbeteren met behulp van Parameter-Efficient Fine-Tuning (PEFT) en synthetische datageneratie.

1. Datasetcreatie: Vanwege het ontbreken van publieke datasets hebben de auteurs een nieuwe dataset gegenereerd van 425 geannoteerde tripletten bestaande uit defecte Java-code, KM-feedback (het identificeren van fouten) en KH-feedback (het begeleiden van oplossingen). Dit werd bereikt door:

   • Het analyseren van 85 verschillende bugtypes die in de literatuur van 2005–2024 zijn geïdentificeerd.
   • Het gebruik van DeepSeek-R1 (gekozen vanwege de permissieve licentie) om de tripletten te genereren via prompt engineering.
   • Het handmatig valideren van de gegenereerde feedback op juistheid.
   • De dataset dekt zowel imperatieve als objectgeoriënteerde fouttypes.

2. Modelarchitectuur en Training:

   • Basismodel: Code Llama-7B-Instruct, geselecteerd vanwege de balans tussen prestaties en resource-efficiëntie.
   • Fine-tuning-strategie: De auteurs hebben Quantized Low-Rank Adaptation (QLoRA) toegepast om het model te fine-tunen. Deze benadering bevriest de gewichten van het basismodel en update slechts een klein subset van parameters (specifiek de $q\_proj$ en $v\_proj$-lagen) met behulp van 4-bit kwantisatie. Dit verlaagde het aantal trainbare parameters van ongeveer 6,7 miljard naar ongeveer 5,2 miljoen, waardoor de rekenkundige overhead en het risico op catastrofale vergeetachtigheid worden geminimaliseerd.
   • Trainingsprotocol: Er werd een 5-voudige cross-validatie-aanpak gebruikt om generaliseerbaarheid te waarborgen.

3. Vergelijkende Baselines: Het PEFT-model werd vergeleken met:

   • Baseline: Standaard Code Llama-7B-Instruct met zero-shot prompting.
   • Prompt Engineering (PE-FewShot): In-context learning met behulp van drie voorbeelden uit de trainingsdataset.

4. Evaluatie: Er werd een veelzijdige evaluatiestrategie toegepast:

   • Docentevaluatie: Handmatige annotatie met behulp van een rubric die KM-nauwkeurigheid, KH-hulpvaardigheid, misleidende suggesties en prompt-gevolgzaamheid meet.
   • Geautomatiseerde Metrieken: BLEU, ROUGE-L en BERTScore om de gelijkenis met de ground truth te meten.
   • Studentenevaluatie: Een focusgroep met zeven CS1-studenten die feedback van het PEFT-model, ChatGPT (propriëtrair) en compilerfoutmeldingen beoordeelden op bruikbaarheid, duidelijkheid en structuur.

Belangrijkste Bijdragen

• Een Nieuw PEFT-Raamwerk: Een methode om pedagogisch gestructureerde KM- en KH-feedback te genereren voor Java-programmering met behulp van open LLM's.
• Nieuwe Publieke Dataset: Een dataset van 425 geannoteerde Java-bugtripletten (Code, KM, KH) die diverse fouttypes dekt, waarmee de schaarste aan publieke bronnen in dit domein wordt aangepakt.
• Empirisch Bewijs: Aantonen dat PEFT aanzienlijk beter presteert dan prompt engineering en basale open modellen, en prestaties bereikt die vergelijkbaar zijn met proprietair modellen in studentenevaluaties.

Resultaten

• Docentevaluatie: Het PEFT-model (CL7B-LoRA-JavaFB) presteerde beter dan zowel de baseline als de few-shot prompt engineering-aanpak over alle rubric-criteria.
  • KM-nauwkeurigheid: Verbeterd van 20% (baseline) naar 61% (PEFT).
  • KH-hulpvaardigheid: Verbeterd van 26% (baseline) naar 60% (PEFT).
  • Misleidende suggesties: Significant gereduceerd van 83% (baseline) naar 47% (PEFT).
  • Prompt-gevolgzaamheid: Verhoogd van 54% naar 95%.
• Geautomatiseerde Metrieken: Hoewel BLEU- en ROUGE-scores over het algemeen laag waren (wat wijst op lexicale divergentie ten opzichte van de ground truth), was de BERTScore hoog voor het PEFT-model, wat wijst op een sterke semantische uitlijning met de correcte feedback. De auteurs merken op dat een hoge BERTScore alleen geen pedagogische degelijkheid garandeert.
• Studentenevaluatie: Studenten beoordeelden de feedback van het PEFT-model als even effectief als ChatGPT en aanzienlijk beter dan ruwe compilerfoutmeldingen.
  • Sterke punten: De PEFT-feedback werd geprezen om zijn beknopte en precieze aard, en omdat het kritisch denken stimuleert zonder de directe oplossing te geven.
  • Zwakke punten: Sommige studenten merkten op dat het proprietair model (ChatGPT) gedetailleerdere uitleg bood, terwijl het PEFT-model soms onvoldoende uitweiding bood over technische termen.
  • Voorkeur: Studenten gaven aan dat het PEFT-model beter geschikt is voor formatieve labomgevingen waar kritisch denken prioriteit heeft.

Betekenis en Claims
Het artikel claimt dat parameter-efficiënte fine-tuning een levensvatbare en effectieve strategie is voor het aanpassen van open LLM's aan educatieve taken, en een vrij inzetbaar alternatief biedt voor dure proprietair modellen. De studie toont aan dat het distilleren van kennis van een groter model (via synthetische datageneratie) in een kleiner, gefine-tuned open model de nauwkeurigheid en hulpvaardigheid van feedback kan verdubbelen terwijl hallucinaties worden verminderd.

De auteurs concluderen bescheiden dat hoewel PEFT-modellen veelbelovend zijn voor schaalbare pedagogische systemen, ze nog niet perfect zijn. Het aanwezig zijn van misleidende suggesties, hoewel gereduceerd, vereist menselijke verificatie voordat volledige implementatie mogelijk is. Bovendien benadrukt de studie dat hoewel het PEFT-model uitblinkt in formatieve settings door kritisch denken te stimuleren, het verdere optimalisatie kan vereisen (bijvoorbeeld het toevoegen van uitleg over technische termen) om de diepgang van proprietair modellen in alle contexten te evenaren. Het werk onderstreept het belang van open modellen voor het waarborgen van transparantie en privacy in programmeeronderwijs.