An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models

In de moderne wereld van kunstmatige intelligentie is een populaire strategie om machines te leren fysieke systemen te besturen — zoals robots of zelfrijdende auto's — om de machine eerst een mentaal evenbeeld te laten opbouwen van hoe de wereld werkt. Deze kaart, vaak een "wereldmodel" genoemd, voorspelt wat er vervolgens zal gebeuren als een specifieke actie wordt ondernomen. Zodra de machine deze kaart heeft, gebruikt het een planningsalgoritme om duizenden mogelijke toekomsten te simuleren, op zoek naar de reeks acties die leidt tot het beste resultaat. De aanname is lang geweest dat als dit mentale evenbeeld accuraat genoeg is op de data die het heeft gezien, het veilig te gebruiken is voor planning. Als de kaart de toekomst correct voorspelt in duizend testruns, wordt ervan uitgegaan dat het een betrouwbare gids is.

Echter, een nieuwe studie daagt deze aanname uit door te kijken naar wat er gebeurt wanneer de wereld vol zit met zeldzame, plotselinge gebeurtenissen die de machine nooit is tegengekomen tijdens zijn training. Stel je een auto voor die heeft geleerd te rijden op een gladde weg, maar nog nooit een muur heeft gezien. Als de muur zeldzaam genoeg is dat de auto tijdens zijn training nooit tegen de muur is gereden, kan het mentale evenbeeld van de machine de aanwezigheid van de muur simpelweg negeren, uitgaande van de veronderstelling dat de weg oneindig doorgaat. Het gevaar is dat wanneer de machine uiteindelijk in de echte wereld probeert te rijden, het een pad recht in die ongeziene muur kan plannen, in de veronderstelling dat het er dwars doorheen kan rijden. De vraag die onderzoekers stelden, was of een standaard veiligheidscontrole, die het mentale evenbeeld van de machine test tegen willekeurige monsters van de wereld, dit specifieke soort blindheid zou kunnen detecteren voordat het tot een crash leidt.

De onderzoekers zetten een reeks gecontroleerde experimenten op om deze vraag te beantwoorden, waarbij ze eenvoudige fysieke simulaties gebruikten, zoals een karretje dat langs een spoor beweegt of een pendel die zwaait. In deze simulaties introduceerden ze een "zeldzame regel": een harde stop, zoals een muur of een vloer, die de beweging van het object onmiddellijk zou stoppen als het deze raakt. Ze vroegen vervolgens een groot taalmodel om de code voor het mentale evenbeeld van de machine te schrijven, maar ze verzwegen de aanwezigheid van deze muur doelbewust voor de trainingsdata van het model. Het model werd alleen getoond met willekeurige bewegingen van het karretje of de pendel die de muur toevallig vermeden. Omdat de muur zeldzaam was, zag het model de muur vaak nooit tijdens de training.

De resultaten waren onomwonden. Wanneer de onderzoekers de modellen testten met een standaard veiligheidscontrole — door het model door duizenden willekeurige scenario's te laten lopen om te zien of het overeenkomt met de werkelijke fysica — slaagden de modellen hier vaak voor. Ze werden als "correct" geaccepteerd omdat de muur in de duizenden willekuele tests nooit werd geactiveerd. Toch, wanneer deze "geverifieerde" modellen aan een planner werden overhandigd om het systeem te besturen, zou de planner het karretje of de pendel vol vertrouwen recht in de verborgen muur sturen. Het model, dat geen concept van de muur had, zou voorspellen dat het object recht door de muur heen kan bewegen. De planner, die op deze valse voorspelling vertrouwt, zou het object de muur in sturen, waar het vast komt te zitten. De machine zou dan niet in staat zijn om zijn doel te bereiken, waardoor het bijna al zijn potentieel aan succes verliest. De studie vond dat deze fout geen rekenfout was, maar een fundamenteel gebrek aan kennis: het model was blind voor een regel die bestond maar nooit werd gesampled.

De onderzoekers ontdekten dat de waarschijnlijkheid van deze ramp een precies wiskundig patroon volgt op basis van zeldzaamheid. Als een gevaarlijke gebeurtenis in één op de honderd willekeurige proeven voorkomt, en de veiligheidscontrole voert slechts honderd proeven uit, is er een aanzienlijke kans dat de controle de gebeurtenis geheel mist. Als de controle duizend proeven uitvoert, daalt de kans om de gebeurtenis te missen, maar deze bereikt nooit nul. De studie bewees dat zolang de trainingsdata de zeldzame gebeurtenis niet bevat, geen enkele hoeveelheid slimme planning of modelverfijning deze kan ontdekken. Het model blijft blind, en de veiligheidscontrole, door haar natuur van willekeurige sampling, kan niet garanderen dat de blinde vlek is gevonden.

De studie onderzocht ook of de machine de regel zou kunnen leren als de muur tijdens de training aan het model getoond zou worden. Voor eenvoudige, eendimensionale taken, zoals een karretje dat in een rechte lijn beweegt, was het antwoord verrassend positief. Wanneer het model zelfs maar enkele voorbeelden kreeg van het karretje dat de muur raakte, was het taalmodel in staat om de exacte code te schrijven om het karretje te stoppen, waardoor het mentale evenbeeld effectief werd "gerepareerd". Het leerde de regel perfect. De onderzoekers gingen echter over naar complexere, tweedimensionale omgevingen, waar de muur een cirkelvormig vlak op een plat oppervlak was. In deze gevallen, zelfs wanneer het model werd getoond hoe het object de patch raakte, slaagde het er niet in om de juiste vorm en locatie van de grens af te leiden uit het bewijs. In plaats van de cirkelvormige regel te leren, bedacht het model onjuiste vormen, zoals een rechte lijn of een vierkant, of bevroor het het object simpelweg op de plaats zonder te begrijpen waarom. Het model kon de regel niet generaliseren van de enkele voorbeelden die het zag naar de volledige vorm van het obstakel.

Deze bevinding benadrukt een cruciale beperking in hoe deze systemen leren. De studie toonde aan dat hoewel de machine uitstekend kan zijn in het vertalen van een regel die het expliciet wordt verteld of getoond in een eenvoudige context, het moeite heeft met het afleiden van de vorm en locatie van een complexe regel uit verspreid bewijs. Het vermogen van de machine om zichzelf te "repareren" hangt sterk af van de geometrie van het probleem. In eenvoudige gevallen werkt het; in complexe, tweedimensionale gevallen faalt het. De onderzoekers testten diverse manieren om het model te helpen, zoals het geven van meer voorbeelden, het veranderen van de manier waarop het dacht, of het geven van aanwijzingen over de vorm van het obstakel. Geen van deze interventies werkte. Het model faalde consequent in het induceren van de juiste regel voor de tweedimensionale patch, en verving deze vaak door een eenvoudigere, onjuiste vorm.

De implicaties van dit werk zijn aanzienlijk voor iedereen die vertrouwt op AI om fysieke systemen te besturen. Het suggereert dat veiligheidscontroles gebaseerd op willekeurige sampling onvoldoende zijn om zeldzame maar catastrofale fouten te detecteren. Een model kan aan elke test die het krijgt voldoen en toch gevaarlijk verkeerd zijn over een specifieke, zeldzame gebeurtenis. De studie bewijst dat als een gevaarlijke gebeurtenis zeldzaam genoeg is om door het samplingproces gemist te worden, het model blind zal blijven, en de planner die blindheid zal exploiteren, wat tot falen leidt. De enige manier om veiligheid te garanderen, is door te garanderen dat de trainingsdata de grenzen van deze zeldzame gebeurtenissen dekt, of door een ander soort verificatie te gebruiken die niet afhankelijk is van willekeurige kans. De research concludeert dat hoewel AI opmerkelijk goed kan zijn in het leren van data, het niet kan leren wat het nooit heeft gezien, en in de fysieke wereld kan dat wat het nooit heeft gezien, precies datgene zijn wat de meeste schade veroorzaakt.