🤖 AI

AIChilles: Automatically Uncovering Hidden Weaknesses in AI-Evolved Systems

Dit artikel introduceert AIChilles, een geautomatiseerd framework dat verborgen zwakheden in door AI geëvolueerde systemen identificeert door te zoeken naar workloads waarbij door AI gegenereerde code achteruitgaat in correctheid, prestaties of kwaliteit vergeleken met door mensen ontworigde baselines, waardoor het mogelijk wordt om deze gebreken in de ontwikkelingscyclus te mitigeren.

Oorspronkelijke auteurs: Yajie Zhou, Ao Li, Ashwin Silla, Zaoxing Liu, Vyas Sekar

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yajie Zhou, Ao Li, Ashwin Silla, Zaoxing Liu, Vyas Sekar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar ietwat roekeloze leerling-kok hebt. Je geeft ze een eenvoudig, betrouwbaar recept voor een stoofpot (het Menselijk Ontworpen Programma) dat je familie al jarenlang voedt. Het is niet het meest chique gerecht, maar het brandt nooit het huis af en het smaakt altijd goed genoeg.

Daarna huur je een AI-kok in (het AI-Geëvolueerde Systeem) om de receptuur te "optimaliseren". De AI-kok bekijkt het recept, proeft de stoofpot en zegt: "Ik kan dit 60% beter maken!" De AI schrijft de instructies over, voegt complexe technieken toe, exotische specerijen en een 20-stappenproces voor het snijden van uien. Wanneer je dit nieuwe recept test met de specifieke ingrediënten die je eraan gaf, wint de AI-kok. De stoofpot is heerlijk en de jury geeft een perfecte score.

Maar hier is de crux: De AI-kok kan mogelijk overfit zijn op jouw specifieke ingrediënten. Als je probeelt hetzelfde "perfecte" recept te maken met iets andere groenten, of als je probeert een grotere groep mensen te voeden, kan de complexe nieuwe methode van de AI ervoor zorgen dat de pan overkookt, de keuken in brand vliegt, of dat de stoofpot verschrikkelijk smaakt. De AI heeft het recept niet alleen verbeterd; het heeft de robuustheid van het origineel gebroken.

Dit artikel introduceert AICHILLES, een tool die is ontworpen om te fungeren als een "strenge maar rechtvaardige" voedselcriticus. Het doel is om de verborgen zwakheden in deze door AI-geoptimaliseerde recepten te vinden voordat ze aan het publiek worden geserveerd.

Het Probleem: De "Achilleshiel"

De auteurs noemen deze verborgen gebreken de "Achilleshiel" van het systeem. Hoewel de AI het programma hoger laat scoren op een specifieke test, introduceert het vaak vier soorten verborgen gevaren:

Crashes: Het programma stopt volledig met werken (zoals de pan die ontploft).
Traagheid: Het programma duurt veel te lang om klaar te zijn (zoals de kok die 10 uur bezig is met het snijden van één ui).
Geheugenlekken: Het programma vreet al het geheugen van de computer op (zoals een keuken die zo vol staat met rommel dat je niet meer kunt bewegen).
Slechtere Kwaliteit: Het programma doet het eigenlijk slechter dan de oorspronkelijke menselijke versie wanneer de omstandigheden veranderen (zoals de stoofpot die zout smaakt zodra je een specifiek type tomaat toevoegt).

Hoe AICHILLES Werkt

In plaats van de AI alleen te vragen: "Heb je het goed gedaan?", speelt AICHILLES een spel van "Zoek de Verschillen" tussen het Oorspronkelijke Menselijke Recept en het Nieuwe AI-Recept.

Hier is hoe het de gebreken vindt, met behulp van eenvoudige analogieën:

1. De Detective en de Kaart (Workload Inference)
De nieuwe code van de AI heeft vaak verborgen regels over welke inputs het kan verwerken. Een eenvoudige computertest zou er gewoon willekeurige getallen tegenaan gooien, wat is alsoam met het gooien van willekeurige ingrediënten naar een kok. AICHILLES gebruikt een slimme agent om de code te lezen en de werkelijke regels te achterhalen (bijv. "Je mag niet meer uien hebben dan de grootte van de pan toelaat"). Het bouwt een kaart van alle geldige ingrediënten die het kan testen.

2. Gespecialiseerde Inspecteurs (Zwaktespecifieke Agents)
Als je één persoon vraat om tegelijkertijd te controleren op brand, snelheid, smaak en kosten, kan diegene in de war raken. AICHILLES verdeelt het werk. Het stuurt één inspecteur om alleen naar crashes te kijken, een andere om alleen naar traagheid te kijken, een andere naar geheugenlekken en een andere naar een slechte smaak. Dit zorgt ervoor dat geen enkel type gebrek wordt gemist.

3. De "Nieuwe Route" Radar (Diversity Search)
Als de inspecteurs steeds dezelfde problemen vinden (bijv. de pan ontploft elke keer als je zout toevoegt), stoppen ze met leren. AICHILLES gebruikt een speciale radar die bijhoudt hoe de code draait. Als de code van de AI een iets andere route door de keuken neemt (zelfs als de ingrediënten vergelijkbaar zijn), focussen de inspecteurs zich op dat pad. Dit helpt hen om nieuwe en andere manieren te vinden waarop het recept kan falen, in plaats van telkens weer dezelfde crash te vinden.

Wat Ze Vonden

De onderzoekers hebben AICHILLES getest op 30 verschillende door AI-geoptimaliseerde computerprogramma's (zoals het plannen van taken in de cloud of het plaatsen van AI-modellen op grafische kaarten).

Het resultaat: Ze vonden 49 verschillende verborgen zwakheden.
De verrassing: De AI maakte dingen niet alleen trager; het zorgde ervoor dat ze crashten, geheugen tekortkwamen, of slechtere beslissingen namen in situaties waarin het oorspronkelijke menselijke programma het gemakkelijk af had.
Het belang van het framework: Sommige AI-systemen (zoals "Engram") waren voorzichtiger en maakten minder fouten, terwijl andere (zo zoals "AdaEvolve") agressiever waren en meer complexe, fragiele code creëerden.

De Oplossing: Een "Veiligheidsnet"

De paper testte ook of AICHILLES gebruikt kon worden tijdens het kookproces van de AI om te voorkomen dat het slechte recepten maakt.

Alleen de AI waarschuwen: De AI vertellen "Crash niet!" in een prompt werkte niet. De AI maakte nog steeds risicovolle recepten.
Het Veiligheidsnet: Wanneer AICHILLES werd toegevoegd als een verplichte controlepost, moest de AI de "zwaktetest" doorstaan om zijn score te behouden.
- De afweging: Dit maakte de uiteindelijke programma's veel veiliger en robuuster. Echter, de "perfecte scores" die de AI claimde te behalen, daalden. In sommige gevallen was het veiligste programma simpelweg het oorspronkelijke menselijke recept weer!

De Belangrijkste Les

AI kan code schrijven die geweldig lijkt op een specifieke test, maar het kan fragiel zijn in de echte wereld. We kunnen de score van de AI niet blind vertrouwen. We hebben geautomatiseerde tools zoals AICHILLES nodig om deze nieuwe systemen onder druk te zetten, de verborgen scheuren te vinden en ervoor te zorgen dat wanneer we ze inzetten, ze niet de keuken laten ontploffen.

Kortom: AI-evolutie is krachtig, maar zonder een rigoureuze "strenge maar rechtvaardige" tester zoals AICHILLES, riskeren we het inzetten van systemen die in theorie briljant zijn, maar in de praktijk rampzalig.

Technische Samenvatting: AICHILLES

Probleemstelling

De computer systems community adopteert steeds vaker AI-gestuurde systeemoptimalisatie (ADSO), waarbij AI-agenten iteratief algoritmen herschrijven en evolueren om menselijk ontworpen heuristieken te overtreffen. Frameworks zoals AdaEvolve en Engram rapporteren significante scoreverbeteringen (12–60%) op vaste benchmark-workloads. Echter, dit paradigma introduceert een kritiek beveiligings- en betrouwbaarheidsrisico: verborgen zwakheden.

Door AI geëvolueerde programma's vertonen vaak overfitting op de specifieke workloads die tijdens de evolutionaire loop worden gebruikt. Ze kunnen complexe heuristieken introduceren die de benchmarkscores verbeteren, maar falen op ongeziene adversariële workloads, wat leidt tot:

Correctheidssituaties: Crashes of ongeldige outputs waar het originele programma slaagt.
Schaalbaarheidsregressies: Exponentiële toename van executietijd of geheugengebruik (bijv. $O(MG)$ wordt $O(MG^2)$ ) onder specifieke belastingscondities.
Optimaliteitsregressies: Gedegradeerde oplossingskwaliteit op nieuwe workload-distributies, ondanks hogere benchmarkscores.

Bestaande testtechnieken (fuzzing, symbolische executie) worstelen in deze context omdat ze handmatige configuratie vereisen voor diverse applicaties, vaak niet in staat zijn om onderscheid te maken tussen "moeilijke" inputs en "regressieve" inputs, en geen mechanismen missen om divergentie te detecteren tussen een basisprogramma $P$ en een geëvolueerd programma $P'$ .

Methodologie: AICHILLES

AICHILLES is een agentisch systeem dat is ontworpen om deze verborgen zwakheden automatisch te ontdekken door het originele, door mensen geschreven programma $P$ te behandelen als een differentieel orakel voor het door AI geëvolueerde programma $P'$ . Het zoekt naar geldige workloads waar $P'$ regresseert ten opzichte van $P$ in correctheid, runtime, geheugen of outputkwaliteit.

Kernkeuzes in het ontwerp

Om de diversiteit van systeemapplicaties en de complexiteit van AI-gegenereerde code aan te pakken, hanteert AICHILLES vier belangrijke ontwerpstrategieën:

Semantisch Bewuste Workloadruimte-inferentie:
- In plaats van uitsluitend op prompts te vertrouwen, gebruikt AICHILLES een tweestaps-proces. Eerst extraheert een deterministische parser workload-parameters (constanten, standaardargumenten) uit de evaluator en de programmacode.
- Ten tweede extraheert een LLM-agent applicatiespecifieke restricties en geldige bereiken om een workload-grammatica te construeren. Dit voorkomt de generatie van ongeldige inputs die beide programma's zouden laten crashen of valse positieven zouden produceren.
Type-specifieke Zoekagenten voor Zwakheden:
- Een monolithische agent heeft de neiging vast te lopen op het vinden van één type fout (bijv. crashes) en negeert andere.
- AICHILLES zet aparte sub-agenten in voor elk type zwakheid: Correctheid, Schaalbaarheid-Tijd, Schaalbaarheid-Geheugen en Optimaliteit. Elke agent focust op het muteren van workloads om de specifieke divergentie-metriek voor zijn doel te maximaliseren.
Divergentie-gestuurde Optimalisatie:
- De zoektocht geeft prioriteit aan workloads waar $P'$ significant slechter presteert dan $P$ .
- Om diversiteit te waarborgen en redundante testen van dezelfde foutmodus te voorkomen, gebruikt AICHILLES code-frequentie dekking (executietraject) als een proxy voor gedragsdiversiteit. Het houdt bij hoe vaak specifieke regels van $P'$ worden uitgevoerd, waarbij workloads worden gegroepeerd op basis van hun executievectoren in plaats van enkel op de afstand van de inputparameters.
Oorzaakanalyse en Deduplicatie:
- Ontdekte adversariële workloads worden gededupliceerd op basis van de "triggerfunctie" (de binnenste functie met het hoogste executiegewicht).
- Een agent genereert beknopte verklaringen van de oorzaak voor elke afzonderlijke groep zwakheden, waarbij het gedrag van $P$ en $P'$ wordt vergeleken.

Workflow

Inferentie: Parse $P$ en de evaluator om een geldige workload-sampler te bouwen.
Zoektocht: Voer parallelle zoektochten uit met type-specifieke agenten. Voor elke kandidaat-workload:
- Voer $P'$ uit en leg het executietraject vast.
- Controleer op gedragsdiversiteit tegen een archief (met behulp van MAP-Elites).
- Indien divers, voer $P$ uit en vergelijk metrieken ( $q, t, m$ ).
- Indien $P'$ regresseert, leg de zwakheid vast.
Samenvatting: Groepeer workloads op basis van de triggerfunctie en genereer rapporten over de oorzaak.
Warm-start: Sla adversariële workloads en high-divergence seeds op om het testen van toekomstige geëvolueerde versies van dezelfde applicatie te versnellen.

Belangrijkste Bijdragen

Probleemidentificatie: Het artikel identificeert verborgen regressies in AI-geëvolueerde systemen als een kritiek beveiligingsrisico, waarbij verbeterde benchmarkscores een verminderde robuustheid op ongeziene workloads maskeren.
Taxonomie van Zwakheden: Het definieert een formele taxonomie voor het vergelijken van AI-geëvolueerde programma's met baselines, dekkend correctheid, schaalbaarheid (tijd/geheugen) en optimaliteit.
Systeemontwerp: AICHILLES wordt voorgesteld als een agentische workflow die traditioneel testen (random fuzzing, mutational fuzzing, property-based testing) overtreft door deterministische parameterextractie te combineren met agent-gebaseerde restrictie-inferentie en divergentie-gestuurde zoektocht.
Empirische Evaluatie: Het systeem wordt geëvalueerd over 5 systeemapplicaties (Transaction Scheduling, Expert Parallelism, Multi-cloud Scheduling, LLM Prefix-Cache, Model Placement), 3 AI-evolutie frameworks (OpenEvolve, AdaEvolve, Engram) en 2 frontier LLM's (GPT-5, Claude-Opus-4.6).
Mitigatiestrategie: Het artikel demonstreert dat het integreren van AICHILLES in de AI-evolutieloop (door kandidaten die zwakheden triggeren te straffen) deze risico's kan mitigeren, hoewel dit vaak de geclaimde benchmarkverbeteringen vermindert.

Resultaten

Over 30 AI-geëvolueerde programmasettings heen, ontdekte AICHILLES 49 verschillende verborgen zwakheden:

Schaalbaarheid-Tijd: 25 instanties (meest voorkomend).
Schaalbaarheid-Geheugen: 11 instanties.
Correctheid: 7 instanties.
Optimaliteit: 6 instanties.

Belangrijkste Bevindingen:

Framework-gevoeligheid: Engram-gegenereerde programma's vertoonden minder zwakheden dan AdaEvolve of OpenEvolve, waarschijnlijk door minder agressieve herschrijvingen.
Applicatie-gevoeligheid: Verschillende applicaties vertoonden verschillende faalmodi (bijv. TXN-Sched vertoonde resource-explosies; Prism vertoonde stille kwaliteitsregressies).
Baseline Vergelijking: Onder een vast budget van 6 uur vond AICHILLES aanzienlijk meer onderscheidende zwakheden dan random fuzzing, mutational fuzzing, property-based testing of een naïeve single-agent benadering. Opvallend genoeg hadden de baselines moeite met het vinden van optimaliteits- en schaalbaarheidsregressies, die specifieke parametercombinaties vereisen.
Mitigatie Trade-off: Wanneer AICHILLES werd geïntegreerd in de AdaEvolve-loop om zwakke kandidaten te straffen, werden de uiteindelijke programma's robuust (geen zwakheden gevonden). Echter, de benchmarkscore-verbeteringen krompen aanzienlijk (bijv. van 49% naar 3,9% op TXN-Sched), wat suggereert dat de oorspronkelijke "verbeteringen" vaak artefacten waren van overfitting op de evaluator.

Betekenis en Claims

Het artikel positioneert AICHILLES niet louter als een bug-zoektool, maar als een noodzakelijk onderdeel voor de CI/CD-pipeline van AI-gestuurde systeemoptimalisatie.

Waarschuwing: De auteurs stellen dat het enthousiasme voor ADSO getemperd moet worden. AI kan eenvoudige, robuuste heuristieken vervangen door complexe procedures die benchmarks "hacken" terwijl ze verborgen DoS-vectoren of schaalbaarheidsfouten introduceren.
Robuustheid vs. Optimaliteit: De resultaten suggereren een trade-off: het expliciet optimaliseren voor robuustheid (via AICHILLES-feedback) vermindert vaak de ruwe prestatiewinsten die door AI-evolutie worden geclaimd. Dit impliceert dat huidige evaluatoren onvoldoende kunnen zijn om werkelijk robuust systeemontwerp te sturen.
Toekomstige Richting: Het artikel pleit voor "veiligere evolutielussen" waarbij wijzigingen incrementeel, controleerbaar en getest zijn tegen adversariële workloads voordat ze worden geaccepteerd, in plaats van te vertrouwen op grootschalige, ongeverifieerde herschrijvingen.

De auteurs concluderen dat geautomatiseerde ontdekking van zwakheden een vereiste is voor de veilige implementatie van AI-gegenereerde systeemcode in productieomgevingen.