Causal Structure is Inducible but Functionally Decoupled: The Routing/Readout Boundary of a Typed Mechanism Library

De Verborgen Schakelborden van AI

Stel je voor dat je probeert te begrijpen hoe een gigantische, superintelligente robot denkt. Lange tijd hebben wetenschappers gewerkt met een simpel idee genaamd de "circuitleit-intuïtie". Denk aan het brein van een robot als een massief, complex printplaatje. Als je een specifieke draad of een piepkleine schakelaar op die plaat vindt, suggereert de logica dat als je die schakelaar omzet, het gedrag van de robot onmiddellijk zou moeten veranderen. Als de schakelaar voor "de waarheid spreken" is, zou het omdraaien ervan de robot moeten laten liegen. Dit idee vormt de basis van veel onderzoek naar hoe AI werkt en hoe we de herinneringen ervan kunnen repareren of aanpassen.

Maar wat als het brein van de robot helemaal geen printplaat is? Wat als het meer lijkt op een drukke bibliotheek? In deze bibliotheek zijn duizenden boeken (de kennis van de AI) en een zeer georganiseerd archiefsysteem (de interne structuur van de AI). De grote vraag die wetenschappers zich stellen is: stuurt het archiefsysteem de antwoorden die de robot geeft daadwerkelijk aan, of is het slechts een chique index die de robot helpt het juiste boek te vinden zonder de inhoud van het boek zelf te schrijven? Als het archiefsysteem slechts een index is, dan kan het proberen de robot te "bewerken" door de indexkaarten te veranderen, mogelijk de inhoud van wat de robot daadwerkelijk zegt niet veranderen. Dit artikel duikt diep in die vraag en test of we een AI echt kunnen controleren door de interne structuur aan te passen, of dat die structuur slechts een stille waarnemer is.

De Bibliotheek die Organiseert maar Niet Spreekt

De onderzoekers bouwden een speciaal soort AI-model om dit te testen. Ze gaven het model een "getypeerde mechanisme-bibliotheek", wat lijkt op een set van 600 afzonderlijke, gelabelde laden (of slots) waar de AI specifieke soorten feiten kan opslaan, zoals "wie is met wie verwant" of "wat de tekens betekenen". Ze trainden de AI om een "gating head" te gebruiken, die fungeert als een bibliothecaris. Wanneer de AI een vraag krijgt, controleert de bibliothecaris welk type bewijs nodig is en stuurt de vraag door naar de juiste lade.

Het team wilde twee dingen zien. Ten eerste: leert de AI deze laden daadwerkelijk te organiseren op basis van het type informatie, of gebeurt dat gewoon per ongeluk? En ten tweede: zodra de AI deze laden heeft georganiseerd, verandert het wijzigen van de inhoud van een lade dan ook daadwerkelijk het antwoord dat de AI geeft?

De Organisatie is Echt, Maar Het Is Niet de Baas
De studie toonde aan dat de AI de laden inderdaad perfect leert te organiseren wanneer de AI daartoe wordt aangeleerd. Als je tegen de AI zegt: "Zet alle 'relatie'-feiten in Lade A," dan doet de AI dat precies. Deze organisatie gebeurde niet bij toeval; het werd geïnduceerd door de specifieke trainingssignalen. Echter, hier komt de verrassende wending: ook al heeft de AI deze perfect georganiseerde bibliotheek, het veranderen van de bibliotheek verandert het antwoord niet.

De onderzoekers voerden 150 verschillende bewerkingen uit op de bibliotheek. Ze draaiden tekens om, voegden randen toe en wisselden informatie in de laden. Het resultaat? Het uiteindelijke antwoord van de AI veranderde bijna niet—specifiek, met minder dan 0,00000034 (of 3,4 × 10⁻⁶). Om dit in perspectief te plaatsen: als het antwoord een getal was op een schaal van 1 tot 10, was de verandering zo klein dat het praktisch onzichtbaar was. De "bibliothecaris" (het routingsysteem) deed zijn werk perfect, maar de "schrijver" (het deel dat het antwoord genereert) negeerde de wijzigingen in de bibliotheek. De bibliotheek fungeert als een routing-index, die de AI vertelt waar hij moet kijken, maar is functioneel ontkoppeld van het daadwerkelijke lezen van het antwoord.

De "Moving Null" en het Schaalprobleem
Het paper onthulde ook een lastig probleem in hoe we AI testen. De onderzoekers ontdekten dat de "baseline" of het "nulpunt" van hoe een AI zichzelf organiseert, verandert naarmate de AI groter wordt. Ze testten de AI op twee formaten: een kleinere versie met 22,6 miljoen parameters en een grotere versie met 125 miljoen parameters.

Bij de kleinere omvang had de AI die niet was geleerd om zijn laden te organiseren (de "ongesuperviseerde" controle) helemaal geen organisatie. Maar bij de grotere omvang begon diezelfde ongetrainde AI al een klein beetje organisatie te vertonen. Dit betekent dat de "lege" baseline niet hetzelfde is voor elke grootte van een AI. Als je een kleine AI met een grote AI vergelijkt met behulp van dezelfde oude regels, kun je in de war raken omdat de regels zelf zijn verschoven. De auteur noemt dit de "moving null". Om dit op te lossen, creëerden ze een nieuwe, striktere testmethode die de getrainde AI direct vergelijkt met een verse, ongetrainde AI van dezelfde grootte, zodat de vergelijking eerlijk is.

Nul Kosten en Perfecte Omkeerbaarheid
Ondanks deze vreemde scheiding tussen de bibliotheek en het antwoord, werkt het systeem uitstekend. Het toevoegen van deze bibliotheek kostte de AI niets aan algemene intelligentie; het verschil in prestaties was minder dan 0,0082 nats (een minuscule eenheid informatie), wat effectief nul is. Bovendien is de bibliotheek perfect veilig om te bewerken. De onderzoekers konden wijzigingen aanbrengen en deze vervolgens ongedaan maken met bit-exacte reversibiliteit, wat betekent dat de AI terugkeerde naar exact zijn oorspronkelijke staat, en niet alleen naar een "bijna dezelfde" versie. Ze testten dit met 250 enkelvoudige bewerkingen en 1.000 gestapelde herstelacties over drie verschillende trainingsruns, en het werkte elke keer perfect zonder fouten.

Wat Dit Betekent voor de Toekomst

De belangrijkste les is een bescheidenende voor hen die hopen AI te "repareren" door simpelweg de interne onderdelen aan te passen. Het paper suggereert dat de "circuitleit-intuïtie" onjuist is voor dit type expliciete structuur. Alleen omdat je een schakelaar kunt zien en kunt omdraaien, betekent niet dat de machine zal reageren. In deze specifieke opstelling is de interne organisatie van de AI een getypeerde routing-index die het model helpt informatie te vinden, maar het is niet de motor die de uiteindelijke output aandrijft.

De auteur is zeer voorzichtig om niet te beweren dat zij het probleem van het bewerken van AI-gedrag hebben opgelend. Sterker nog, hun resultaten laten zien dat voor dit specifieke type architectuur, structurele bewerkingen niet leiden tot gedragsveranderingen. De "bibliotheek" is bewerkbaar als een staat (je kunt de kaarten in de lade veranderen), maar het is niet gedragsmatig bewerkbaar (het veranderen van de kaarten verandert het verhaal dat de robot vertelt niet). Deze bevinding is gemeten, gereproduceerd en stabiel over verschillende schalen, en biedt een precieze grens voor wat we wel en niet kunnen controleren in deze systemen. Het is een herinnering dat in de complexe wereld van AI, het zien van de structuur niet hetzelfde is als het controleren van de uitkomst.