🤖 AI

Beyond Summaries: Structure-Aware Labeling of Code Changes with Large Language Models

Dit artikel introduceert een tweestaps few-shot prompting-pijplijn met grote taalmodellen om structure-bewuste, op taxonomie gebaseerde labeling van codewijzigingen uit te voeren, waarbij hoge precisie en recall worden bereikt en een flexibele, taal-onafhankelijk alternatief voor traditionele statische analyse wordt geboden om de efficiëntie van codebeoordeling te verbeteren.

Oorspronkelijke auteurs: Bar Weiss, Antonio Abu-Nassar, Adi Sosnovich, Karen Yorav

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bar Weiss, Antonio Abu-Nassar, Adi Sosnovich, Karen Yorav

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoofdredacteur bent van een enorme, chaotische krant. Elke dag sturen honderden verslaggevers kleine tekstfragmenten (patches) in om aan de krant toe te voegen. Jouw taak is om elk enkel fragment te lezen, precies uit te zoeken wat voor soort wijziging het is, en het te taggen zodat je team weet hoe ermee om te gaan.

"Is dit gewoon een typefout-correctie?"
"Hebben ze een heel alinea verplaatst naar een nieuwe pagina?"
"Hebben ze een personage in het verhaal hernoemd?"
"Is dit een volledig nieuwe plotwending?"

Dit handmatig doen is uitputtend. Het doen met oude computerprogramma's is als proberen een bibliotheek te sorteren met een star, vooraf geschreven regelboek dat alleen werkt voor Engelse boeken en kapotgaat als je probeert Franse boeken te sorteren.

Dit artikel introduceert een nieuwe manier om deze sorteerklus te doen met Grote Taalmodellen (LLMs) – hetzelfde type AI dat verhalen kan schrijven of met je kan chatten. Maar in plaats van de AI te vragen om de wijzigingen gewoon "samenvatten" (wat is alsof je vraagt om een boekbespreking te schrijven), vroegen de auteurs het om te fungeren als een super-georganiseerde bibliothecaris die elke wijziging tagt met een specifiek, gestructureerd label.

Hier is hoe ze dit deden, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Samenvatting"-Val

De meeste mensen gebruiken AI voor code-reviews om een snelle samenvatting te krijgen, zoals "Deze patch repareert een bug". Dat is nuttig voor een mens om te lezen, maar het is nutteloos voor een computer die probeert een workflow te automatiseren. Je kunt een stapel vrije tekst-samenvattingen niet eenvoudig filteren of sorteren.

De auteurs wilden dat de AI iets nauwkeurigers deed: Structuurbewuste Labeling. Ze wilden dat de AI naar een codewijziging keek en zei: "Dit is een Hernoeming," en vervolgens ook zei: "Oh, en deze andere wijziging drie regels verder is dezelfde hernoeming, alleen toegepast op een ander bestand."

2. De Oplossing: Een Tweestaps Assemblagelijn

De auteurs bouwden een tweestapsproces, als een fabrieksassemblagelijn, om ervoor te zorgen dat de AI het goed doet zonder in de war te raken.

Fase 1: De "Labeler" (De Snelle Scanner)
Stel je een snelle scanner voor die kijkt naar een enkel stukje code (een "diff hunk") en vraagt: "Wat is dit?"

Het kan zeggen: "Dit lijkt op een Stijlverandering" (alleen opmaak).
Of: "Dit lijkt op een Logica-verandering" (de code doet eigenlijk iets anders).
Het doet dit door naar het fragment te kijken en een beetje naar de code ervoor en erachter (alsof je de zin voor en na een woord leest om de betekenis te begrijpen).

Fase 2: De "Refiner" (De Detective)
Soms raakt de scanner in de war omdat hij niet het hele plaatje zag. Misschien zag hij een variabele hernoemen, maar wist niet waar die variabele elders werd gebruikt.
De Refiner is de detective. Het kijkt naar de hele batch wijzigingen tegelijk.

Het verbindt de puntjes: "Ah, de scanner zei hier 'Hernoeming' en daar 'Hernoeming'. Deze twee zijn eigenlijk hetzelfde evenement!"
Het vult de ontbrekende details in: "De oude naam was user_id, en de nieuwe naam is client_id."
Het koppelt ze aan elkaar zodat de computer weet dat ze tot hetzelfde "verhaal" behoren.

3. De "Magie" versus het "Regelboek"

Het artikel vergelijkt deze nieuwe AI-methode met de oude "Statische Analyse"-methode (het starre regelboek).

Het Regelboek (Statische Analyse): Het is ongelooflijk nauwkeurig, maar het is als een slot dat alleen past bij één specifieke sleutel. Als je code wilt controleren in een nieuwe programmeertaal, moet je een ingenieur inhuren om een heel nieuw slot te bouwen. Het is duur en traag om bij te werken.
De AI (LLM): Het is als een slimme stagiair die miljoenen boeken heeft gelezen. Het heeft geen nieuw slot nodig voor elke taal; het moet alleen worden verteld: "Hier is de regel voor deze taal." Het is flexibel, snel en kan veel verschillende talen tegelijk aan. De prijs? Het is niet 100% perfect (het kan af en toe een fout maken), maar het is goed genoeg om ongelooflijk nuttig te zijn.

4. De Resultaten: Hoe goed was de stagiair?

De auteurs testten dit systeem op een mix van echte code-wijzigingen en verzonnen voorbeelden. Ze gebruikten vier verschillende "slimme stagiairs" (verschillende AI-modellen).

De Beste Presterende: Een van de AI-modellen (Gemini-3) had het ongeveer 84% van de tijd goed bij het proberen alle wijzigingen te vinden (Recall) en was 81% accuraat wanneer het beweerde dat iets een specifiek type wijziging was (Precision).
Het "Detective"-werk: Het systeem was verrassend goed in het koppelen van gerelateerde wijzigingen. Als een functie in één bestand werd hernoemd en in een ander werd gebruikt, identificeerde het systeem correct dat deze twee wijzigingen deel uitmaakten van hetzelfde "Hernoem"-evenement.
De Kosten: De AI was een beetje "spraakzaam", waarbij meer rekenkracht (tokens) werd gebruikt dan de oude op regels gebaseerde methoden, maar de flexibiliteit was het waard.

De Conclusie

Dit artikel laat zien dat we AI niet alleen kunnen gebruiken om samenvattingen van codewijzigingen te schrijven, maar om ze automatisch te categoriseren en structureren.

Denk aan het als een upgrade van een mens die gewoon een brief leest en zegt: "Dit is belangrijk," naar een robot die de brief leest, deze stempelt met "DRINGEND", "FACTURATIE" en "NIEUW ADRES", en deze vervolgens automatisch in het juiste laadje legt. Het vervangt de menselijke redacteur niet, maar doet het zware tillen van sorteren en taggen, waardoor het hele reviewproces sneller en beter georganiseerd wordt.

Technische Samenvatting: Voorbij Samenvattingen: Structureel Bewuste Labeling van Code-wijzigingen met Grootte Taalmodellen

Probleemstelling

Code-review is een kritische software-engineeringpraktijk voor het detecteren van defecten en het delen van kennis, maar staat voor knelpunten door de toenemende schaal en frequentie van code-patches. Hoewel Grootte Taalmodellen (LLM's) succesvol zijn toegepast op code-reviewtaken zoals samenvattingen en het genereren van commentaar, produceren deze benaderingen voornamelijk vrije-tekstoutput. Dergelijke ongestructureerde output is moeilijk te integreren in geautomatiseerde workflows, analysepijplijnen of dashboardsystemen.

Daarentegen bieden traditionele statische analysetools gestructureerde wijzigingsdetectie met formele garanties, maar zijn ze vaak taal-specifiek, duur om uit te breiden en vereisen ze aanzienlijke engineeringinspanning voor onderhoud. Er is een gat in de literatuur voor een methode die gestructureerde, taal-onafhankelijke labeling van code-wijzigingen (diff-hunks) biedt die niet alleen wijzigingstypes vastlegt, maar ook structurele relaties (bijv. propagatie van hernoemingen) en semantische attributen, zonder de overhead van traditionele statische analysepijplijnen.

Methodologie

De auteurs stellen een systematisch onderzoek en een twee-trapspijplijn voor voor taxonomie-gebaseerde labeling van code-wijzigingen met LLM's. Het systeem decomposeert een patch in diff-hunks en wijst labels toe uit een gedefinieerde taxonomie $T$ (bijv. hernoemen, verplaatsen, type wijzigen, logica wijzigen, stijl wijzigen).

De Twee-trapspijplijn

Labeler (Labeltoewijzing):
- Taak: Wijst nul of meer labeltypes toe aan individuele diff-hunks op basis van inhoud.
- Mecanisme: Gebruikt few-shot prompting met een taakbeschrijving, definities van labeltaxonomieën en voorbeelden.
- Contextstrategieën: De auteurs evalueren drie operationele modi om de contextafweging te bestuderen:
  - Per-hunk: Inferentie op een enkele hunk met beperkte lokale context (5 regels ervoor/erna).
  - Per-bestand: Inferentie op alle hunks binnen een enkel bestand.
  - Per-patch: Inferentie op alle hunks over de volledige patch.
- Output: Een set labeltypes voor elke hunk, geïnitieerd met standaardwaarden voor structurele velden.
Refiner (Structuurextractie):
- Taak: Verfijnt de initiële labels door structurele relaties en semantische attributen toe te wijzen.
- Mecanisme: Verwerkt de volledige patch (of relevante subset) in één inferentie om cross-hunk-relaties vast te leggen.
- Kernfuncties:
  - Relatiecodering: Identificeert ouder-kind-relaties (veld $p$ ) voor bewerkingen zoals hernoemingen (koppeling van declaratie aan gebruik) en verplaatsingen (koppeling van verwijdering aan toevoeging).
  - Attribuutextractie: Extrahert semantische attributen (veld $a$ ), zoals oude/nieuwe identificatoren voor hernoemingen of oude/nieuwe types voor type-wijzigingen.
  - Correctie: Corrigeert foutief toegewezen labeltypes uit de Labeler-fase die kunnen zijn ontstaan door onvoldoende lokale context (bijv. een "logica-wijziging" herclassificeren als een specifieke "hernoeming" wanneer globale context beschikbaar is).

Evaluatieopzet

Benchmark: Een handmatig samengestelde dataset bestaande uit 13 Pull Requests (6 natuurlijk, 7 gefabriceerd) met 95 diff-hunks en 142 labelinstanties. De dataset bevat Java en Python om taal-onafhankelijkheid te testen.
Modellen: Vier LLM's werden geëvalueerd: SWE-Agent-LM-32B, Llama-4-Maverick-17B-128E-Instruct, Claude Sonnet 4.5 en Gemini-3-Pro-Preview.
Maten:
- Labeler: Intersection over Predictor (IoP) en Intersection over Ground Truth (IoGT) om per-hunk precisie en recall te meten.
- Refiner: Precisie en recall voor ouder-veldmatching en attribuutveldextractie.

Belangrijkste Resultaten

Algemene Prestaties: De beste configuratie (Gemini-3 in per-bestand-modus) bereikte 84% recall en 81% precisie voor labeltoewijzing.
Contextafweging: De "per-bestand" inferentiemodus bood over het algemeen de beste balans tussen contextbeschikbaarheid en modelfocus, en presteerde beter dan zowel per-hunk als per-patch modi voor de meeste frontiermodellen.
Structuur en Attributen:
- De Refiner toonde hoge nauwkeurigheid in het vastleggen van structurele relaties. Voor hernoemingsoperaties bereikte oudermatchingprecisie 1.0 (perfect) in verschillende configuraties, met recall variërend van 0,69 tot 0,92.
- Attribuutextractie (bijv. oude/nieuwe namen) toonde hoge precisie (vaak >0,90), hoewel recall lager was. De auteurs merken op dat fouten vaak voortkomen uit het niet correct splitsen of enumereren van meerdere instanties binnen een enkele hunk, in plaats van onjuiste attribuutextractie.
Modelvergelijking: Frontiermodellen (Gemini-3 en Sonnet) presteerden aanzienlijk beter dan de open-sourcemodellen (SWE en Llama). Gemini-3 had echter aanzienlijk hogere tokenkosten (tot 7,5× die van Sonnet) vanwege gedetailleerdere redeneringsvelden in de output.

Betekenis en Claims

Het artikel claimt de eerste systematische evaluatie van LLM's voor taxonomie-gebaseerde labeling van diff-hunks te presenteren. De primaire bijdragen zijn:

Gestructureerde Output voor Automatisering: De benadering genereert gestructureerde, machine-interpreteerbare output (JSON met labels, relaties en attributen) in plaats van vrije tekst, wat integratie in geautomatiseerde review- en analysepijplijnen mogelijk maakt.
Taal-onafhankelijkheid en Flexibiliteit: In tegenstelling tot statische analysetools is de op LLM gebaseerde benadering grotendeels taal-onafhankelijk en eenvoudig aanpasbaar aan nieuwe taxonomieën zonder uitgebreide engineeringoverhead.
Complementariteit met Statische Analyse: De auteurs positioneren deze methode niet als vervanging voor statische analyse, maar als een complementaire aanpak. Het wisselt formele garanties in voor snellere adoptie, meertalige ondersteuning en het vermogen om complexe semantische relaties (zoals hernoemingspropagatie) te verwerken die moeilijk te coderen zijn in regelgebaseerde systemen.
Haalbaarheid van Structureel Bewuste Labeling: De resultaten tonen aan dat LLM's effectief structurele relaties (hernoemingen, verplaatsingen) en semantische attributen over diff-hunks kunnen vastleggen, een capaciteit die eerder onderbelicht was in de literatuur over code-review.

De auteurs concluderen dat hoewel de benadering niet foutloos is, het bereikte nauwkeurigheidsniveau voldoende is om menselijke review aan te vullen en flexibele, automatiseringsvriendelijke workflows mogelijk te maken. Zij identificeren toekomstig werk in het uitbreiden van de taxonomie naar semantische/intent-niveau wijzigingen (bijv. bugfixes, prestatieoptimalisaties) en het integreren van deze gestructureerde output in hybride frameworks die LLM's combineren met klassieke statische analyse.