Context-Augmented Code Generation: How Product Context Improves AI Coding Agent Decision Compliance by 49%
Dit artikel introduceert een gecontroleerde benchmark die aantoont dat het aanvullen van AI-coderingsagenten met een productcontextherstelsysteem (Brief) hun naleving van teamspecifieke productbeslissingen met 49 procentpunten verbetert ten opzichte van alleen toegang tot de codebasis, waarmee 95% naleving wordt bereikt op realistische software-engineeringtaken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante, supersnelle leerling-programmeur inhuurt om een nieuwe functie voor de website van je bedrijf te bouwen. Deze leerling (de AI) kan elke regel code die je ooit hebt geschreven lezen, begrijpen hoe je computer werkt, en nieuwe code schrijven die daadwerkelijk werkt zonder vast te lopen.
Maar hier zit het probleem: De leerling kent de ongeschreven regels van je bedrijf niet.
In een echt kantoor hebben teams "geheime handdrukken" voor het coderen. Misschien is er een regel die zegt: "We gebruiken die specifieke kalenderwidget niet meer," of "Elke keer als we data exporteren, moeten we dit loggen voor veiligheidsaudits," of "We plaatsen onze tests altijd direct naast de code die we testen." Deze regels staan niet in de code zelf; ze leven in vergadernotities, ontwerpdocumenten of het collectieve geheugen van het team.
Zonder deze context kan de briljante leerling een werkende functie bouwen die technisch compileert, maar schendt de belangrijkste regels van je team. Het is alsof je een prachtig huis bouwt met het verkeerde type bakstenen, omdat de architect niet wist dat de stad een specifieke bestemmingsplaatregel had.
Het Experiment: Twee Benaderingen
De auteurs van dit artikel hebben een test opgezet om te zien of het geven van toegang aan de AI tot deze "ongeschreven regels" helpt. Ze creëerden een gesimuleerde kantooromgeving (een code-repository) met 8 verschillende taken, zoals "voeg een toggle voor donkere modus toe" of "maak een zoekbalk". Verborgen in deze taken zaten 41 specifieke "valkuilen" of regels die de AI moest volgen om een perfecte score te behalen.
Ze testten twee versies van de AI:
- De "Alleen-code" Leerling (Basislijn): Deze AI kreeg de codebestanden en de opdracht: "Bouw dit." Het moest de regels raden door te kijken naar bestaande codepatronen.
- De "Contextbewuste" Leerling (Aangewerkt): Deze AI had dezelfde codebestanden, maar had ook een "Bedrijfshandleiding" (genaamd Brief). Voordat deze AI een enkele regel code schreef, kon het vragen stellen zoals: "Wat zijn onze ontwerpregels?" of "Waarover klagen onze klanten?" Het had ook een stap-voor-stap plan (een specificatie) uitgeschreven voordat het begon met bouwen.
De Resultaten: Een Enorme Sprong
Het verschil was dramatisch.
- De "Alleen-code" Leerling volgde de regels slechts 46% van de tijd. Het miste vaak de onzichtbare regels. Bijvoorbeeld, in één taak keek het naar de code, zag een hulpfunctie voor paginatie, en besloot: "Oh, dit is al gedaan!" en schreef nul code. Het miste het feit dat de huidige paginatie kapot was en een specifieke correctie nodig had.
- De "Contextbewuste" Leerling volgde de regels 95% van de tijd. Door de "handleiding" te raadplegen, wist het precies welke widgets te gebruiken, welke veiligheidslogs toe te voegen en hoe de code te structureren.
De Grote Winst: De contextbewuste versie verbeterde de naleving met 49 procentpunten.
Waarom Dit Gebeurde: De "Onzichtbare" versus "Zichtbare" Regels
Het artikel vond een duidelijk patroon:
- Zichtbare Regels: Als een regel in een commentaar in de code was geschreven (bijvoorbeeld: "Gebruik deze functie voor beveiliging"), vonden beide leerlingen het en volgden ze het 100% van de tijd.
- Onzichtbare Regels: Als een regel alleen in een productdocument stond (bijvoorbeeld: "We gebruiken PostHog voor feature flags, maar het staat niet in de code"), kreeg de "Alleen-code" leerling het 0% van de tijd goed. De "Contextbewuste" leerling kreeg het 100% van de tijd goed omdat het de regel opzocht voordat het begon.
Het Gaat Niet Alleen om het "Kennen" van de Regels
Het artikel merkt ook op dat de "Contextbewuste" AI niet alleen de regels "opzocht"; het werkte ook anders. Het maakte een gedetailleerd plan (een specificatie) met een checklist van vereisten voordat het codeerde. Het had ook een "consultatie halverwege de bouw", wat betekende dat het kon pauzeren en vragen: "Doen ik dit goed?" terwijl het werkte.
De auteurs geven toe dat ze niet perfect kunnen scheiden hoeveel van het succes kwam van het hebben van de informatie versus het hebben van een betere workflow. De data suggereert echter sterk dat het hebben van de juiste informatie (productcontext) de sleutel is tot het oplossen van de problemen die de andere AI niet kon zien.
De Kosten van "Goed" Zijn
Interessant genoeg kostte het uitvoeren van de "Contextbewuste" AI iets meer (ongeveer 28% meer in API-kosten) omdat het tijd besteedde aan het lezen van de handleiding en het schrijven van plannen. Omdat het echter code produceerde die direct klaar was om in het hoofdproject te worden gemergd, daalde de kosten per succesvolle taak met 68%.
De "Alleen-code" AI was goedkoper per poging, maar het produceerde code die mensen moesten repareren en herschrijven, waardoor het op de lange duur duurder was. De "Contextbewuste" AI schreef meer code, schreef tests en vermijdt verouderde patronen, wat betekende dat het 100% van de tijd "merge-ready" was.
De Conclusie
Dit artikel is een proof-of-concept. Het laat zien dat AI-coderingsagenten om echt nuttig te zijn in een professioneel team, niet alleen de code kunnen lezen. Ze hebben toegang nodig tot de organisatorische kennis – de beslissingen, de klantenklachten, de ontwerppreferenties en de veiligheidsregels die buiten de codebestanden om leven.
Wanneer je de AI het "hele plaatje" geeft, stopt het met gokken en begint het precies te bouwen wat het team eigenlijk nodig heeft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.