Stel je voor dat je een chef bent die een enorm, complex receptenboek probeert te verkleinen zodat het in een klein notitieboekje past. Je wilt dat het boek klein genoeg is om overal mee naartoe te kunnen nemen, maar je wilt nog steeds exact dezelfde heerlijke maaltijden bereiden. In de wereld van kunstmatige intelligentie wordt dit "verkleinen" compressie genoemd. Large language models (de superintelligente AI-hersenen die code schrijven, verhalen vertellen en met ons chatten) zijn enorm groot, dus gebruiken ingenieurs trucjes zoals kwantisatie (het vereenvoudigen van de getallen binnenin), pruning (het wegknippen van ongebruikte verbindingen) en low-rank factorisatie (het vinden van een eenvoudiger wiskundig skelet) om ze kleiner en sneller te maken.

Maar hoe weet je of het verkleinde boek nog wel werkt? Je kunt immers niet elke maaltijd proeven die het kookt. In plaats daarvan gebruik je "kwaliteitsbewakers". Je controleert of de AI nog steeds de basisgrammatica begrijpt (perplexity), of het trivia vragen correct kan beantwoorden (zoals MMLU), en of de interne "gedachten" van de AI nog steeds lijken op die van de oorspronkelijke, gigantische hersenen wanneer je het met willekeurige vragen prikkelt. Deze controles zijn snel en vereisen geen nieuwe data. De grote vraag is: Zijn deze bewakers genoeg om te bewijzen dat de AI veilig is om de echte wereld in te sturen om taken uit te voeren? Dit artikel duikt in een angstaanjagende mogelijkheid: wat als de AI alle tests doorstaat, maar toch begint met het verzinnen van regels wanneer het probeert een procedure te volgen?

---

De Grote "Uitvinding"-overval

De auteurs van dit artikel ontdekten een verborgen blinde vlek in hoe we gecomprimeerde AI testen. Ze ontdekten dat een AI-model elke standaard veiligheidstest kan doorstaan, er op papier perfect uit kan zien, en vervolgens, wanneer het wordt gevraagd om als een agent te fungeren (een digitale werker die een strikte reeks instructies volgt), begint stappen te verzinnen die nooit in de instructies stonden.

Denk hierbij aan een student die een wiskundetoets met vlag en wimpel slaagt, maar wanneer diegene gevraagd wordt een recept voor het bakken van een cake te volgen, besluit om "een snufje glitter" toe te voegen omdat het zo leuk klinkt. De student is niet gezakt voor de wiskundetoets; de student is alleen gezakt voor de specifieke taak van het exact volgen van bevelen.

De onderzoekers testten dit op drie verschillende families van AI-modellen (Mistral, Qwen en Llama). Ze namen modellen die "voorzichtig gecomprimeerd" waren met een methode genaamd SVD (een vorm van low-rank factorisatie). Deze modellen waren zo goed gecomprimeerd dat ze de "perplexity-bewaker" doorstonden (hun verwarringsniveau was slechts 1,069 tot 1,17 keer hoger dan het origineel, ruim binnen de veilige limiet van 1,15) en de "fidelity-bewaker" (hun interne gedachten kwamen overeen met het origineel).

Maar toen ze deze modellen vroegen om als agenten te fungeren en een Standard Operating Procedure (SOP) te volgen — zoals een checklist voor het repareren van een server of het verwerken van een bestelling — begonnen de modellen te confabuleren. Ze voegden extra stappen toe die niet bestonden.

• Bij het Mistral-7B model verzon de gecomprimeerde versie gemiddeld +1,729 extra stappen per query.
• Bij het Qwen3-8B model verzon het +0,208 extra stappen.
• Bij het Llama-3.1-8B model bleef de "voorzichtig gecomprimeerde" versie op de ruisvloer (het verzon slechts +0,056 extra stappen), wat betekende dat de test niet-diagnostisch was voor deze specifieke build. Het interne spectrum van het model had simpelweg niet genoeg "low-rank headroom" om het uitvindingseffect te triggeren terwijl het binnen de veiligheidsbewaker bleef. De fout trad pas op toen het Llama-model agressiever werd gecomprimeerd, waardoor het buiten de standaard veiligheidsbewaker viel.

Het enge deel? De modellen die dit deden, waren de modellen die de "fidelity"-test doorstonden. De test zei: "Hé, je hersenen zien er precies hetzelfde uit als het origineel!" Maar de realiteit was: "Eigenlijk zijn je hersenen nu aan het hallucineren over nieuwe regels."

De Dader: Coherentie, Geen Schade

Waarom gebeurde dit? De auteurs ontdekten dat het niet ging om hoeveel de AI beschadigd was (de "magnitude" van de fout). Ze vergeleken de "SVD"-compressie met magnitude pruning (het wegknippen van de kleinste getallen).

Toen ze de twee methoden zo matchten dat ze exact dezelfde hoeveelheid verwarring veroorzaakten (perplexity), waren de resultaten volkomen verschillend:

• Het SVD-model (dat een "coherente" fout creëert, zoals een gladde, gestructureerde vervorming) faalde voor de test en verzon stappen.
• Het Pruning-model (dat een "rommelige", incoherente fout creëert, zoals willekeurige statische ruis) slaagde voor de test en verzon bijna niets (ongeveer -0,146 stappen, wat effectief nul is).

De auteurs realiseerden zich dat het probleem niet de omvang van de fout is, maar de vorm ervan. Ze noemen dit het "Coherence × Rate"-mechanisme.

• Coherence (Coherentie): De fout is gestructureerd en vloeiend (zoals een low-rank SVD).
• Rate (Snelheid/Mate): Hoeveel van het model wordt beïnvloed.

Als je een gladde, gestructureerde fout hebt die net groot genoeg is om onder de radar van de standaard tests door te glippen, begint de AI nieuwe procedurestappen te "hallucineren". Het is also af de gladde vervorming de AI wijsmakt dat er een snelkoppeling bestaat die er in werkelijkheid niet is. De "schade" (perplexity) voorspelde dit niet; de "gladheid" van de schade deed dat wel.

De "Kanarie" en de Nieuwe Detector

Om dit te bewijzen, bouwden de onderzoekers een speciale test die ze een "kanarie" noemen. Het is als een kanarie in een kolenmijn. Ze gaven de AI een nep-SOP met 10 stappen en een voorwaardelijke 11e stap, en vroegen de AI vervolgens de stappen op te sommen. Als de AI een stap opsomde die niet in de instructies stond, faalde het.

Ze ontdekten dat dezelfde AI-gewichten die wonnen in de standaard "fidelity test" (bewijsend dat ze leken op het origineel), verloren in de "kanarie test" (bewijsend dat ze stappen verzinden). Dit is een "dissociatie": de standaard tests zijn blind voor dit specifieke type falen.

Maar de auteurs stopten niet bij het vinden van het probleem; ze bouwden een data-vrije detector om dit te vangen vóór implementatie. Ze realiseerden zich dat ze twee dingen konden meten zonder nieuwe data nodig te hebben:

1. Coherent Fraction (Coherente Fractie): Hoeveel van de fout is "glad" en gestructureerd?
2. Error Rate (Foutpercentage): Hoe groot is de fout in totaal?

Ze creëerden een simpele "poort" (een pass/fail check):

• Als Coherent Fraction > 0,007 EN Error Rate > 0,01, dan is het model een FAIL.
• Als het niet aan beide voldoet, is het een PASS.

Deze poort identificeerde correct alle falende modellen in hun tests. Zo had het Mistral-model dat stappen verzon een coherente fractie van 0,0080 en een foutpercentage van 0,0159, waardoor het alarm afging. Het pruning-model dat veilig was, had een coherente fractie van 0,0054, waardoor het onder de radar van de "coherence" check bleef en de test doorstond.

De Conclusie

De conclusie van het artikel is dat perplexity, MMLU en data-vrije fidelity-checks niet voldoende zijn om te certificeren dat een AI veilig is voor agentic werk (werk waarbij een AI handelt). Alleen omdat een AI de standaard "schoolexamens" haalt, betekent niet dat hij geen regels gaat verzinnen wanneer hij aan het werk is.

De auteurs suggereren dat voordat we een gecomprimeerde AI inzetten om als agent te fungeren (taken uitvoeren, procedures volgen), we deze nieuwe "coherence screen" moeten draaien. Als een model "voorzichtig gecomprimeerd" is met low-rank methoden (SVD) en het triggert deze nieuwe poort, is het waarschijnlijk dat het stappen verzint en instructies niet goed opvolgt, zelfs als het op elk ander gebied perfect lijkt te presteren.

Kortom: Vertrouw de AI niet alleen omdat hij de test heeft gehaald. Controleer of hij "glad" gebroken is, want dat is wanneer hij begint met het verzinnen van zaken.