ContextCov: Deriving and Enforcing Executable Constraints from Agent Instruction Files
Dit artikel introduceert ContextCov, een raamwerk dat passieve agent-instructies omzet in actieve, uitvoerbare controles via statische analyse, runtime-shims en architecturale validatie om contextuele afwijkingen en technische schuld bij autonome LLM-agenten te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
ContextCov: De "Onzichtbare Regisseur" voor AI-Programmeurs
Stel je voor dat je een zeer slimme, maar soms wat ongeduldige assistent hebt die voor jou software schrijft. Je geeft hem een instructie: "Schrijf deze code, maar gebruik altijd de blauwe potloden en werk nooit met de rode."
In het verleden keek je als mens elke zin na die hij schreef. Maar nu werken deze AI-agenten (zoals GitHub Copilot of Devin) zelfstandig. Ze werken urenlang zonder dat jij erbij zit. Het probleem? Ze vergeten vaak je instructies. Ze zien een oude code in het project waar iemand rood heeft gebruikt, en denken: "Ah, zo hoort het!" en gebruiken ook rood. Of ze gebruiken de verkeerde gereedschappen.
Dit noemen de auteurs Context Drift (Context-Afdrijven). De AI drijft weg van wat jij eigenlijk wilde, en omdat niemand erbij zit om het te stoppen, hoopt er zich een berg aan fouten op.
De Oplossing: ContextCov
De auteurs van dit paper hebben ContextCov bedacht. Het is een slim systeem dat jouw passieve instructies (zoals een tekstbestand genaamd AGENTS.md) omtovert in actieve, onmiskenbare regels.
Hier is hoe het werkt, vertaald in alledaagse metaforen:
1. Van "Stille Tekst" naar "Actieve Regisseur"
Stel je voor dat je instructies een recept zijn.
- Vroeger: Je gaf het recept aan de kok (de AI). De kok las het, maar als hij hongerig was of haast had, deed hij toch iets anders. Het recept lag daar maar te stof verzamelen.
- Nu met ContextCov: Het recept wordt omgezet in een automatische chef-kok die de deur bewaakt. Als de kok probeert een ingrediënt te gebruiken dat niet in het recept staat, blokkeert de deur automatisch en zegt: "Hé, dat mag niet! Gebruik de blauwe potloden!"
2. De Drie Soorten "Politieagenten"
ContextCov heeft drie soorten agenten die verschillende dingen controleren, afhankelijk van wat je hebt opgeschreven:
- De Proces-Agent (De Portier):
- Wat doet hij? Hij controleert of de AI de juiste gereedschappen gebruikt.
- Voorbeeld: Als je schrijft "Gebruik nooit
npm, alleenpnpm", dan staat deze agent bij de deur. Als de AI probeertnpmte draaien, blokkeert de agent de deur en zegt: "Stop! Je hebt de verkeerde sleutel."
- De Bron-Agent (De Taalmeester):
- Wat doet hij? Hij kijkt naar de code zelf, woord voor woord.
- Voorbeeld: Als je schrijft "Gebruik pijlpunten in je code, geen gewone functies", dan scant deze agent elke zin. Ziet hij een foutje? Hij roept direct: "Fout! Hier moet een pijlpunt staan, niet een gewone punt."
- De Architectuur-Agent (De Stedenbouwkundige):
- Wat doet hij? Hij kijkt naar de grote structuur van het gebouw.
- Voorbeeld: Als je schrijft "De woonkamer mag niet direct de kelder binnenlopen", dan controleert deze agent of de AI geen code schrijft die twee lagen van elkaar doorbreekt. Soms moet hij zelfs een slimme AI (een "rechter") inschakelen om te beslissen of een stukje code logisch past of niet.
3. Waarom is dit zo belangrijk?
Zonder ContextCov is het alsof je een huis bouwt met een AI die geen regels kent. Uiteindelijk krijg je een huis waar de toiletten op het dak staan en de keuken in de kelder.
Met ContextCov:
- Je instructies worden "levend": Ze zijn niet meer alleen tekst, maar worden echte code die de AI moet gehoorzamen.
- Geen stilte meer: Fouten worden direct gestopt, voordat ze een probleem worden.
- Leren van fouten: Als de AI een fout maakt en wordt gestopt, kan hij direct leren en het goedmaken, in plaats van dat je het later moet oplossen.
Het Resultaat
De auteurs hebben dit getest op 723 grote software-projecten. Het systeem slaagde erin om meer dan 46.000 nieuwe regels te maken die perfect werkten. Ze vonden in die projecten al meer dan 500.000 fouten die de AI waarschijnlijk had gemaakt als ze deze regels niet hadden gehad.
Kortom: ContextCov zorgt ervoor dat je AI-assistent niet alleen slim is, maar ook disciplineerd. Het zet jouw wensen om in onmiskenbare wetten, zodat je software veilig, netjes en precies zoals jij het wilt blijft, zelfs als je zelf even weg bent.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.