💻 computer science

SCAFFOLD-CEGIS: Preventing Latent Security Degradation in LLM-Driven Iterative Code Refinement

Dit artikel identificeert een paradox van "latente beveiligingsdegradatie" waarbij iteratieve LLM-codeverfijning kwetsbaarheden verhoogt als gevolg van specificatiedrift en inefficiënte statische analyse, en stelt het SCAFFOLD-CEGIS-raamwerk voor—een multi-agent systeem dat gebruikmaakt van door tegenvoorbeelden geleide inductieve synthese en expliciet verifieerbare beperkingen—om 100% monotonie van veiligheid te bereiken en degradatiepercentages te verlagen tot 2,1%.

Oorspronkelijke auteurs: Yi Chen, Yun Bian, Haiquan Wang, Shihao Li, Zhe Cui

Gepubliceerd 2026-03-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yi Chen, Yun Bian, Haiquan Wang, Shihao Li, Zhe Cui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar licht vergeetachtige assistent hebt met de naam "De AI". Je vraagt deze assistent om een stuk softwarecode te schrijven. Aanvankelijk is de code veilig en beveiligd, zoals een huis met sterke sloten, alarmen en een bewaker bij de deur.

Maar je wilt de code niet slechts één keer; je wilt blijven vragen aan de AI om deze te verbeteren. "Maak het sneller," zeg je. "Maak het makkelijker te lezen," vraag je. "Voeg deze nieuwe functie toe," verzoek je.

Het Probleem: De "Renovatieparadox"
Het artikel ontdekt een vreemd probleem: elke keer dat de AI probeert de code op één manier beter te maken (zoals sneller of schoner), maakt het per ongeluk de code op een andere manier slechter (minder veilig).

Denk eraan als het renoveren van een huis. Je zegt tegen de aannemer: "Maak de keuken groter en de gang breder." De aannemer doet een uitstekend werk, maar in het proces slaat hij per ongeluk de voordeur in, verwijdert de rookmelders en laat de achterpoort onvergrendeld. Ze hadden niet de bedoeling de beveiliging te breken; ze waren gewoon gefocust op de "verbeteringen" die je had gevraagd.

De onderzoekers ontdekten dat na ongeveer 10 rondes van deze "renovaties", bijna de helft van de codeketens eindigde met meer beveiligingsgaten dan toen ze begonnen. De AI was zo druk bezig met het optimaliseren voor snelheid of eenvoud dat het vergat de "sloten" op te houden.

De Gefaalde Oplossing: De "Metaaldetector" Poort
Je zou kunnen denken: "Oké, laten we gewoon een metaaldetector bij de uitgang plaatsen. Als de code een bekende virus (een specifiek beveiligingsbug) bevat, stoppen we het." Dit heet Statische Analyse (SAST).

Het artikel toont aan dat dit niet goed werkt. Waarom? Omdat de AI niet alleen "virussen" toevoegt; het verwijdert ook de verdedigingsmiddelen.

De Analogie: Stel je voor dat de metaaldetector alleen controleert of je een wapen draagt. Maar de aannemer bracht geen wapen mee; hij nam gewoon het geweer van de bewaker weg en slot de bewaker in de kelder op. De metaaldetector ziet niets mis, omdat er geen nieuw wapen is toegevoegd. Het huis is nu weerloos, maar de detector zegt: "Alles in orde!"

Dit creëert een "nep-veiligheid" effect. De code slaagt de test, maar is eigenlijk gevaarlijker dan daarvoor.

De Oplossing: SCAFFOLD-CEGIS (Het "Slimme Blauwdruk" Systeem)
Om dit op te lossen, bouwden de auteurs een nieuw systeem genaamd SCAFFOLD-CEGIS. Het werkt als een team van gespecialiseerde architecten en inspecteurs die niet alleen zoeken naar "slechte dingen", maar actief de "goede dingen" beschermen.

Hier is hoe het team werkt, met behulp van een constructiemetafoor:

De Beveiligingsarchitect (De "Anker" Maker):
Voordat de AI aan het werk gaat, kijkt deze agent naar de originele code en zegt: "Dit zijn de Ankers."
- Analogie: Dit zijn de stalen balken, de firewalls en de hoofdsloten. De Architect markeert ze met felrode tape en zegt: "Raak deze niet aan. Als je ze verplaatst, valt het hele gebouw."
- Het systeem zet vage instructies zoals "wees veilig" om in harde, onbreekbare regels: "De functie genaamd validate_user moet bestaan," of "Elke databasequery moet een parameter gebruiken."
De Bouwer (De AI):
De AI probeert de gevraagde verbeteringen te maken (sneller, schoner), maar heeft strikt verbod om de "Ankers" te verwijderen of te verzwakken.
De Poortwachter (De 4-Laags Inspecteur):
Voordat een wijziging wordt geaccepteerd, controleert een Poortwachter deze via vier lagen:
- Werkt het? (Correctheid)
- Hebben we beveiliging verloren? (Veiligheidsmonotonie)
- Is de wijziging te groot? (Diff Budget - om enorme, risicovolle overhaasten te voorkomen)
- Hebben we de Ankers gebroken? (Anker-integriteit)
- Analogie: Als de bouwer probeert een stalen balk te verwijderen om de kamer groter te maken, slaat de Poortwachter de deur direct dicht.
De Leraar (De "Ervaring" Verzamelaar):
Als de bouwer faalt en wordt afgewezen, zegt deze agent niet zomaar "Nee". Het schrijft op waarom het faalde.
- Analogie: "Oh, de bouwer heeft weer geprobeerd de validate-functie te verwijderen. De volgende keer zeg je tegen de bouwer: 'Wis nooit functies met 'validate' in de naam.'"
- Dit helpt de AI om te leren van zijn fouten zodat het niet dezelfde beveiligingsfout twee keer maakt.

De Resultaten
Toen de onderzoekers dit nieuwe systeem testten:

Oude Manier (Alleen de AI vragen): De beveiliging werd na verloop van tijd slechter.
Middelste Manier (Alleen een metaaldetector gebruiken): De beveiliging leek prima, maar werd eigenlijk slechter omdat de detector de "verwijderde verdedigingsmiddelen" miste.
Nieuwe Manier (SCAFFOLD-CEGIS): Het systeem stopte succesvol de beveiligingsdegradatie. Het verminderde de rate van "verborgen beveiligingsschade" van ongeveer 20% naar slechts 2%.

De Conclusie
Het artikel concludeert dat wanneer we de AI vragen om code keer op keer te blijven verbeteren, het van nature afwijkt van beveiliging, tenzij we het expliciete, harde regels (Ankers) en een strenge inspecteur (Poortwachter) geven die begrijpt dat het verwijderen van een verdediging net zo gevaarlijk is als het toevoegen van een bug. Je kunt niet zomaar vertrouwen op de AI om te "onthouden" veilig te zijn; je moet een systeem bouwen dat het dwingt veilig te blijven.

Technische Samenvatting: SCAFFOLD-CEGIS

1. Probleemstelling: Het Paradox van Iteratieve Verfijning

Het artikel identificeert een kritiek, onderbelicht risico in softwareontwikkeling gedreven door Large Language Models (LLM): latente veiligheidsdegradatie tijdens iteratieve codeverfijning. Hoewel tools zoals GitHub Copilot multi-turn interacties faciliteren om functionaliteit en prestaties te verbeteren, betogen de auteurs dat dit proces de veiligheid vaak onbedoeld verslechtert.

Het kernprobleem is specificatie-drift in multi-objectieve optimalisatie. Wanneer LLM's concurrerende doelen (functionaliteit, prestaties, onderhoudbaarheid) optimaliseren naast veiligheid, en veiligheidsbeperkingen slechts als "zachte prompts" worden verstrekt, wijkt de optimalisatietrajectie geleidelijk af van de beoogde veiligheidspecificatie. Dit leidt tot het verwijderen van defensieve logica, het verzwakken van uitzonderingsbehandeling, of het omzeilen van machtigingscontroles.

Cruciaal toont het artikel aan dat SAST-gating (Static Application Security Testing) onvoldoende is om dit te voorkomen. SAST-tools vertrouwen op bekende kwetsbaarheidspatronen en detecteren vaak geen structurele degradaties waarbij veiligheidskritieke elementen simpelweg worden verwijderd of verzwakt zonder nieuwe, regel-geactiveerde patronen in te voeren. De auteurs observeren zelfs een "pseudo-veiligheidseffect": het uitsluitend vertrouwen op SAST kan de rate van latente veiligheidsdegradatie verhogen (van 12,5% naar 20,8% in hun experimenten), omdat modellen "het passeren van SAST" kunnen interpreteren als een signaal om grotere, riskantere refactoren uit te voeren die buiten de SAST-dekking vallen.

2. Methodologie: Het SCAFFOLD-CEGIS Kader

Om deze beperkingen aan te pakken, stellen de auteurs SCAFFOLD-CEGIS voor, een multi-agent kader geïspireerd door het Counterexample-Guided Inductive Synthesis (CEGIS)-paradigma. Het kader transformeert veiligheidsbeperkingen van impliciete instructies naar expliciete, verifieerbare harde beperkingen.

Core Architectuur

Het systeem werkt via een gesloten lus die vier samenwerkende agenten omvat:

SecurityArchitectAgent: Ontgint Semantische Ankers uit de codebase. Deze ankers vertegenwoordigen veiligheidskritieke elementen (functies, patronen, invarianten) en worden geformaliseerd tot een specificatieset $\Phi$ $Φ$ .
- Functieniveau: Identificeert validatie-, sanerings- en authenticatiefuncties via regex en AST-parsing.
- Patroonniveau: Matcht defensieve logische patronen (bijv. geparametriseerde queries, specifieke uitzonderingsbehandeling).
- Invariantniveau: Handhaaft globale regels (bijv. "alle SQL-query's moeten geparametriseerd zijn").
ImplementerAgent: Genereert kandidaatcode ( $P'$ ) om de verfijningstaak te vervullen, terwijl wordt voldaan aan de harde beperkingen gedefinieerd door de semantische ankers.
GatekeeperAgent: Voert een vierlaagse gated verificatie uit op elke kandidaat voordat deze wordt geaccepteerd:
- Correctheid: Zorgt ervoor dat de code de testset haalt.
- Veiligheidsmonotonie: Verifieert dat het aantal kwetsbaarheden (via SAST) niet toeneemt ( $\Delta V \le 0$ ).
- Diff-budget: Beperkt de schaal van wijzigingen om massale, riskante refactoren te voorkomen.
- Anker-integriteit: Zorgt ervoor dat geen harde semantische ankers (bijv. kritieke validatiefuncties) zijn verwijderd of gewijzigd.
AssimilatorAgent: Analyseert afgewezen kandidaten om gestructureerde lessen (tegenvoorbeelden) te extraheren. Het werkt een kennisbank van fouten bij om toekomstige generaties te sturen, waardoor het herhalen van specifieke structurele fouten wordt voorkomen.

Theoretische Garantie

Het kader handhaaft Veiligheidsmonotonie, gedefinieerd als $V(P_{i+1}) \le V(P_i)$ voor alle iteraties $i$ , waarbij $V$ het aantal kwetsbaarheden is. Door de tolerantiedrempel $\delta_{max} = 0$ in te stellen, garandeert het systeem dat geen enkele iteratie nieuwe SAST-detecteerbare kwetsbaarheden introduceert of verankerde veiligheidselementen verwijdert.

3. Belangrijkste Bijdragen

Empirische Validatie van het Paradox: Via gecontroleerde experimenten met 96 iteratieketens met GPT-4o, onthullen de auteurs dat 43,7% van de ketens na tien iteraties meer kwetsbaarheden vertoont dan de baseline. Experimenten over verschillende modellen en talen bevestigen dat dit fenomeen wijdverbreid is en niet geïsoleerd tot één model.
Identificatie van SAST-blindvlekken: Het artikel documenteert specifieke "latente" degradatiegevallen (bijv. het verwijderen van inputvalidatiefuncties, het inslikken van uitzonderingen, het omzeilen van machtigingscontroles) die SAST-controles passeren maar de veiligheid compromitteren.
Het SCAFFOLD-CEGIS Kader: Een nieuwe architectuur die semantische ankering, multi-layer gating en foutenassimilatie integreert om veiligheidsmonotonie af te dwingen.
Kwantitatieve Verbetering: Het kader verlaagt de rate van latente veiligheidsdegradatie (gemeten door LLM semantische review) van 20,8% (in onbeschermde baselines) naar 2,1%, terwijl het 100% veiligheidsmonotonie bereikt.

4. Experimentele Resultaten

De auteurs evalueerden het kader over drie onderzoeksvragen (RQ's) met 24 programmeertaken in Python en Java, die zes veiligheidsscenario's bestrijken (SQL-injectie, inputbehandeling, authenticatie, enz.).

RQ1 (Externe Validiteit): Experimenten met GPT-5-Nano, Claude Sonnet 4.5 en DeepSeek-V3 bevestigden dat iteratieve verfijning de veiligheid verslechtert over verschillende modellen en talen. Opmerkelijk genoeg toonden statische analyse (SAST)-metrieken vaak lage degradatierates (bijv. 4,2%–10,5%), terwijl LLM-gebaseerde semantische review veel hogere betrouwbaarheid en latente veiligheidsdegradatie onthulde (42,5%–52,5%), wat de kloof in detectiedekking benadrukt.
RQ2 (Defensie Vergelijking): In vergelijking met zes baselines (waaronder Prompt-based Security, Self-Refine, Post-hoc SAST en Hybrid Guard), was SCAFFOLD-CEGIS de enige methode die zowel een 0% SAST-degradatierate als een 2,1% latente veiligheidsdegradatierate bereikte.
- Belangrijkste bevinding: Post-hoc SAST alleen resulteerde in een hogere latente degradatierate (20,8%) dan de onbeschermde baseline (12,5%), wat het risico van "pseudo-veiligheid" bevestigt.
RQ3 (Ablatiestudie):
- Gated Verificatie werd geïdentificeerd als de primaire drijver voor het bereiken van 100% veiligheidsmonotonie.
- Semantische Ankering was essentieel om de dekking uit te breiden buiten SAST-regels om structurele verwijderingen op te vangen.
- Foutenassimilatie verbeterde de Task Completion Rate (TCR) significant van ~66% (zonder assimilatie) naar 77,14%, wat aantoont dat leren van fouten het systeem in staat stelt code-evolutiecapaciteiten te behouden, zelfs onder strikte veiligheidsbeperkingen.

5. Betekenis en Claims

Het artikel claimt dat LLM-gedreven iteratieve codeverfijning een inherent risico op veiligheidsdegradatie met zich meebrengt dat niet wordt gemitigeerd door huidige standaardpraktijken zoals zachte prompting of SAST-gating.

De betekenis van het werk ligt in:

Paradigmaverschuiving: Van "genereer-detecteer"-lussen naar "genereer-verifieer-beperk"-lussen waarbij veiligheidsbeperkingen expliciet en hard worden afgedwongen.
Aanpakken van Structurele Blindvlekken: Aantonen dat veiligheid niet alleen gaat over het voorkomen van nieuwe kwetsbaarheden, maar ook over het behoud van bestaande defensieve structuren, wat semantisch begrip vereist dat verder gaat dan patroonmatching.
Praktische Engineering: Het bieden van een kader dat 100% veiligheidsmonotonie bereikt zonder code-evolutie volledig te stoppen, en zo een levensvatbaar pad biedt voor veilig AI-ondersteunde ontwikkeling.

De auteurs houden een bescheiden toon wat betreft beperkingen, en erkennen dat hun resultaten gebaseerd zijn op single-file modules en specifieke talen (Python/Java). Zij merken op dat schaalbaarheid naar industriële codebases, de ruis inherent aan LLM-gebaseerde semantische review, en de computerkosten van de verificatielagen gebieden zijn die verder onderzoek vereisen. Zij claimen niet alle veiligheidsproblemen op te lossen, maar eerder een mechanisme te bieden om de degradatie van bestaande veiligheidszekerheden tijdens iteratieve verfijning te voorkomen.