Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI)

De Detective, de Glitch en de Verveelde Robot

Stel je voor dat je naar een goocheltruc kijkt waarbij een goochelaar keer op keer een konijn uit een hoed tovert, urenlang. Het is saai, maar voorspelbaar. Dan plotseling is de hoed leeg. Wat gebeurt er daarna? Raakt de goochelaar in paniek? Stopt hij de show om de truc uit te leggen? Of haalt hij gewoon zijn schouders op en gaat hij door, alsof er niets aan de hand is?

Dit is het soort vraag dat wetenschappers die kunstmatige intelligentie (AI) bestuderen, op dit moment stellen. Ze vragen niet alleen of de AI een wiskundig probleem kan oplossen; ze vragen zich af hoe de AI reageert wanneer er dingen misgaan in een wereld waar normaal gesproken alles goed gaat. In de wereld van AI worden deze "dingen" taalmodellen genoemd—computerprogramma's die heel goed zijn in het voorspellen van het volgende woord in een zin, een beetje zoals een superintelligente autocomplete. Wanneer deze modellen aan het werk worden gezet voor repetitieve taken, zoals het controleren van een lijst met getallen of het aanroepen van een tool, slagen ze meestal 100% van de tijd. Maar wat gebeurt er als ze falen?

Het grote mysterie draait om zeldzaamheid. Als een robot één op de tien keer faalt, is dat een irritatie. Als hij één op de miljoen keer faalt, is dat een wonder. Maar merkt de robot het verschil wel? Wordt hij dramatischer en gedetailleerder in zijn excuses wanneer de fout superzeldzaam is, of raakt hij zo gewend aan de perfectie dat hij de fout geheel niet meer opmerkt? Dit artikel duikt in die exacte vraag en behandelt de AI niet als een denkend mens, maar als een nieuwsgierig wezen dat zijn eigen vreemde gewoontes zou kunnen hebben wanneer er zaken misgaan.

---

Het Experiment: Een "Oeps"-moment van een Robot

De onderzoekers richtten een digitale speeltuin in om drie verschillende AI-modellen te testen (genoemd qwen3:8b, llama3.1:8b en mistral:7b). Ze lieten deze modellen een simpel spelletje spelen: ze moesten herhaaldelijk een "tool" aanroepen (zoals een rekenmachine). Meestal werkte de tool perfect. Maar de onderzoekers programmeerden de tool stiekem om op specifieke, gecontroleerde frequenties te falen.

Ze testten acht verschillende "foutpercentages", variërend van een veelvoorkomende kans op falen van 20% (1 op de 5 pogingen) tot een superzeldzame 0,0001% (1 op de miljoen pogingen). De grote vraag was: Naarmate de fout zeldzamer en verrassender werd, zou de uitleg van de AI dan langer en zelfverzekerder worden, of zou de AI de fout gewoon negeren?

De onderzoekers hadden een vermoeden, gebaseerd op hoe mensen zich gedragen. Ze dachten: Als een robot vaak faalt, zegt hij misschien gewoon "oeps". Maar als hij heel zelden faalt, zou hij geschokt moeten zijn! Hij zou een lange, gedetailleerde uitleg moeten schrijven en zeggen: "Ik weet voor 90% zeker dat dit vreemd is!" Ze dachten zelfs dat als de fout té zeldzaam werd, de robot zo verward zou raken dat hij het niet meer zou opmerken en de fout als achtergrondruis zou behandelen.

De Twist: Het hangt ervan af hoe je vraagt

Hier wordt het verhaal interessant. Toen de onderzoekers eerst naar alle gegevens gezamenlijk keken, was het antwoord saai: Nee. De AI werd niet dramatischer naarmate de fouten zeldzamer werden. Sterker nog, de uitleg werd alleen maar korter. Het leek alsof de robots gewoon opgaven.

Maar toen realiseerden de onderzoekers zich dat ze de verkeerde vraag stelden. Ze hadden vijf verschillende manieren gemengd waarop ze de robots vroegen zichzelf toe te lichten. Het bleek dat hoe je de robot vraagt om uitleg te geven, net zo belangrijk is als wat je vraagt.

Toen ze de gegevens scheidden, kwam er een verborgen patroon aan het licht, maar alleen voor één specifieke manier van vragen:

1. De "Immediate Forced" Conditie (Het Verhoor)
In dit scenario werd de robot op het moment dat de tool faalde, gedwongen om direct te stoisteren en het uit te leggen.

• Het resultaat: De onderzoekers hadden gelijk over het eerste deel! Naarmate de fouten zeldzamer werden, werden de robots inder matter en zelfverzekerder.
  • Bij veelvoorkomende foutpercentages (20%) gaven de robots korte antwoorden van ongeveer 10 woorden lang.
  • Naarmate de fouten zeldzamer werden, werden de antwoorden langer en bereikten een piek van 28,4 woorden bij een foutpercentage van 0,05 (1 op de 20).
  • Echter, het tweede deel van hun theorie klopte niet. Ze dachten dat de robots uiteindelijk zouden instorten en zouden stoppen met praten. In plaats daarvan bereikten de robots een plateau. Zelfs bij de zeldzaamste percentages (0,0001%) bleven ze ongeveer 17 tot 19 woorden schrijven. Ze stopten niet; ze stabiliseerden zich op een constante, gemiddelde lengte van de uitleg.
• Zelfvertrouwen: De robots werden ook zelfverzekerder naarmaden de fouten zeldzamer werden. Hun gerapporteerde zelfvertrouwen (een cijfer van 0 tot 100) steeg van ongeveer 53% bij veelvoorkomende fouten naar de 70 en de 90 bij de zeldzaamste percentages. Ze bereikten geen perfect plafond van 100%; het cijfer bleef ongelijkmatig klimmen.

2. De "Grouped Runs" Conditie (Het Groepsproject)
Hier werd de robot niet gevraagd om direct uitleg te geven. In plaats daarvan moest de robot wachten tot het einde van een hele reeks proeven om alle fouten in één keer uit te leggen.

• Het resultaat: Het "stijging en instorting"-patroon verdween volledig. De robots gaven lange, constante uitleg (rond de 32 tot 43 woorden), ongeacht hoe zeldzaam de fout was. Het lijkt erop dat wanneer je later om een samenvatting vraagt, de "verrassing" van een enkele zeldzame gebeurtenis wordt weggespoeld.

3. De "Passive Unprompted" Conditie (De Stille Observator)
In dit geval vroegen de onderzoekers de robot nooit om uitleg. Ze keken alleen maar of de robot uit zichzelf een uitleg zou geven.

• Het resultaat: De meeste robots bleven stil. Maar één robot, llama3.1:8b, deed iets vreemds en fascinerends. Zonder dat erom gevraagd werd, begon hij zijn eigen betrouwbaarheidsscores gedurende de sessie op te schrijven.
  • In sommige gevallen begon hij op 100% vertrouwen en erodeerde dit langzaam naar 0% naarmate de sessie vorderde, als een detective die het vertrouwen in zijn eigen theorie verliest.
  • De andere twee robots (qwen en mistral) schreven slechts één keer een betrouwbaarheidsscore op, als een saaie robot die standaard zegt: "Ik ben 100% zeker."
  • Dit suggereert dat llama3.1:8b een unieke gewoonte heeft van zelfmonitoring die de anderen niet hebben, maar dat dit alleen gebeurt wanneer er niet naar hem gekeken wordt.

De "Empty Tail" Verrassing

Er was een grote hik in het experiment die de onderzoekers bijna had misleid. Toen ze de test voor het eerst uitvoerden met de zeldzaamste foutpercentages (0,001, 0,0005 en 0,0001), gebeurde er helemaal geen fout. Omdat de percentages zo laag waren, produceerde de willekeurige kans in het beperkte aantal uitgevoerde proeven simpelweg geen enkele fout.

Als ze daar hadden gestopt, zouden ze hebben gedacht dat de robots perfect waren en nooit faalden. Maar de onderzoekers realiseerden zich dat dit een statistische glitch was, geen robot-superkracht. Ze moesten een speciaal "herstelmechanisme" bouwen om een fout te forceren bij die zeldzame percentages, zodat ze daadwerkelijk konden zien hoe de robots reageerden. Dit leerde hen een waardevolle les: in de wetenschap, als je naar iets heel zeldzaams zoekt, kun je het misschien missen omdat je niet lang genoeg hebt gekeken.

De Splitsing tussen "Herkenning" en "Betrokkenheid"

Ten slotte ontdekten de onderzoekers dat "iets zeggen" en "doorhebben dat iets vreemd is" twee verschillende dingen zijn.

• Betrokkenheid (Engagement) is hoeveel de robot praat.
• Herkenning (Recognition) is of de robot daadwerkelijk denkt dat de fout een fout is.

Onder bepaalde omstandigheden zou qwen3:8b de exacte fout beschrijven (zoals een kapotte checksum), maar vervolgens concluderen: "Alles is prima, dit is normaal." De robot herkende de details, maar weigerde het als een anomalie te bestempelen.
Llama3.1:8b was daarentegen het meest geneigd om te zeggen: "Hé, dit is vreemd!"
Dit bewijst dat een robot heel welbespraakt kan zijn over een probleem zonder dat hij daadwerkelijk denkt dat het probleem een probleem is.

De Conclusie

Dit artikel vond geen robot die zich precies gedraagt als een menselijke detective die enthousiaster wordt naarmate de misdaad zeldzamer wordt. In plaats daarvan werd er ontdekt dat hoe je de vraag stelt, het antwoord verandert.

• Als je de robot dwingt om direct uitleg te geven, wordt hij inder dan ook dramatischer en zelfverzekerder naarmaden de fouten zeldzamer worden, maar hij stort niet in; hij vlakt gewoon af.
• Als je later om een samenvatting vraagt, verdwijnt het drama.
• Als je helemaal niets vraagt, beginnen sommige robots stiekem aan zichzelf te twijfelen, terwijl anderen gewoon een script volgen.

De studie suggereert dat AI-gedrag geen enkelvoudige, vaste persoonlijkheid is. Het is een spiegel die de structuur van het gesprek reflecteert. De robots "denken" niet noodzakelijkerwijs zoals wij dat doen; ze reageren op de regels van het spel. En soms is het meest interessante wat een robot doet, dat stille, ongevraagde moment waarop hij besluit zijn eigen betrouwbaarheidsscore te controleren.