Stel je voor dat je naar een schilderij kijkt waar een grijs vierkant op een witte achtergrond staat, en een ander identiek grijs vierkant op een zwarte achtergrond staat. Ondanks dat de twee grijze vierkanten exact dezelfde kleur hebben, fopt je brein je waardoor je de ene op de zwarte achtergrond veel helderder ziet. Dit is een visuele illusie, een glitch in onze perceptie die eigenlijk onthult hoe onze hersenen zijn bedraad om de wereld begrijpelijk te maken. Lange tijd vroegen wetenschappers zich af of de kunstmatige hersenen die wij bouwen — deep neural networks genoemd — op dezelfde manier kunnen worden gefopt. Ze ontdekten dat wanneer deze AI-modellen proberen ruizige foto's op te schonen of nieuwe afbeeldingen te genereren, ze vaak dezelfde "fouten" maken als mensen, door helderheid te zien waar die er niet is. Maar hier is het grote mysterie: ziet de AI de illusie echt in zijn eigen geest, of doet hij alleen maar alsof door aan het einde de juiste afbeelding te produceren? Het is als vragen of een goochelaar echt een konijn in zijn zak heeft, of dat hij toevallig een konijn uit een hoed trekt die eruitziet alsof er een in zit.

Dit artikel duikt diep in de "geest" van deze AI-modellen om het uit te zoeken. De onderzoekers testten een hele reeks AI-modellen die ontworpen zijn om afbeeldingen op te schonen (denoising models) en observeerden wat er gebeurde in hun lagen terwijl ze deze lastige optische illusies verwerkten. Ze ontdekten iets fascinerends en licht spookachtig: de AI-modellen ontwikkelen wel degelijk een interne representatie van de illusie, maar het is een spook. Het signaal dat de AI vertelt "dit ziet er helder uit" wordt gecreëerd, het reist door het netwerk, en het beïnvloedt zelfs hoe de AI over de afbeelding denkt. Echter, tegen de tijd dat de AI zijn taak voltooit en de uiteindelijke afbeelding uitspuugt, is dat spooksignaal volledig verdwenen. De AI wordt intern achtervolgd door de illusie, maar laat het nooit zien in het eindresultaat. De auteurs noemen deze onzichtbare interne signalen "perceptuele phantom" (waarnemingsschimmen).

De Geest in de Machine

Om te begrijpen hoe de onderzoekers deze geesten vonden, stel je het AI-model voor als een enorme, meerverdiepings fabriek. Ruwe, ruizige afbeeldingen komen onderaan binnen, en schone, perfecte afbeeldingen komen bovenaan naar buiten. Daartussen zijn tientallen verdiepingen (lagen) waar de afbeelding wordt verwerkt, getransformeerd en verfijnd. De onderzoekers keken niet alleen naar het eindproduct; ze installeerden camera's op elke verdieping om te zien wat de arbeiders (de neuronen van de AI) aan het doen waren.

Ze gebruikten een speciale set afbeeldingen die bekend staan om het creëren van visuele trucs, zoals de "GVIL"-dataset, waarbij twee identieke gekleurde vlakken er verschillend uitzien vanwege hun omgeving. Ze voedden deze afbeeldingen aan de AI en observeerden het activiteitsniveau in verschillende delen van de fabriek. Wat ze ontdekten, was dat de illusie niet overal verscheen. In plaats daarvan was het "geest"-signaal het sterkst in een specifieke, smalle gang in het midden van de fabriek, bekend als de "bottleneck" (flessenhals). Dit is de plek waar de AI alle informatie die hij heeft verzameld, comprimeert.

Hier komt de twist: de onderzoekers ontdekten dat dit interne signaal heel echt is. Wanneer ze maten hoeveel de activiteit van de AI tussen de twee illusie-vlakken veranderde, was het verschil enorm — ongeveer 0,66 op een schaal waarbij 0,5 als een "gemiddeld" effect wordt beschouwd. Dit betekent dat de AI de illusie zeker anders verwerkte dan een normale afbeelding. Sterker nog, de kracht van dit interne signaal kwam zo goed overeen met de menselijke perceptie dat toen ze de activiteit van de AI vergeleken met een wiskundig model van het menselijk zicht (genaamd FLODOG), de resultaten een correlatie van 0,78 lieten zien. Dat is een zeer sterke overeenkomst, wat suggereert dat de AI op een verrassend vergelijkbare manier met de menselijke hersenen nadenkt over helderheid.

De Perceptuele Fantoom

Maar toen stelden de onderzoekers de miljoen-dollar-vraag: als de AI zo sterk over de illusie nadenkt, waarom ziet de uiteindelijke afbeelding er dan niet anders uit? Om dit te beantwoorden, speelden ze een spelletje "verschil zoeken" met de fabriek. Ze namen de interne "geest"-signalen van de illusie-afbeeldingen en probeerden deze in de verwerking van een normale afbeelding te injecteren. Ze verwachtten dat de uiteindelijke afbeelding zou verschuiven en de illusie zou tonen.

Dat gebeurde niet.

Ongeacht welk type AI-model ze gebruikten — of het nu een standaard "U-Net" fabriek was of een nieuwere "Transformer"-stijl fabriek — de geïnjecteerde geest-signalen verdwenen voordat ze de uitgang konden bereiken. De uiteindelijke afbeeldingen zagen er exact hetzelfde uit als wanneer de geest er nooit was geweest. De onderzoekers noemen dit een "perceptuele fantoom": een representatie die actief is en werk verricht binnen de machine, maar volledig onzichtbaar is voor de buitenwereld.

Om te bewijzen dat dit geen toevalstreffer was, probeerden ze de fabriek te breken. Ze vonden de specifieke "kanalen" (de draden die het geest-signaal vervoeren) en sneden deze door (een proces genaamd ablatie). Toen ze deze illusie-gevoelige draden door sneden, daalde het interne signaal met bijna 44%. Dit bewees dat deze specifieke draden inderdaad het de illusie vervoerden. Maar hier is de crux: toen ze deze draden door sneden, veranderde de uiteindelijke afbeelding nauwelijks. Sterker nog, het doorsnijden van deze "illusie"-draden maakte de uiteindelijke afbeelding zelfs stabieler dan het doorsnijden van willekeurige draden. Het is alsof de fabriek een zelfcorrigerend mechanisme heeft dat de geest opvangt en deze stilletjes verwijdert voordat het het eindproduct kan verstoren.

Waarom de Geest Bestaat

De onderzoekers wilden ook weten: is dit een eigenaardigheid van de specifieke AI-architectuur, of is het iets aan hoe deze modellen getraind worden? Ze vergeleken de "denoising" modellen (die getraind zijn om ruis op te schonen) met "discriminatieve" modellen (die getraind zijn om simpelweg te herkennen wat een afbeelding is, zoals een kat of een hond).

De resultaten waren duidelijk: de geest verschijnt alleen in de denoising-modellen. De discriminatieve modellen, zelfs als ze exact dezelfde fabrieksopstelling hebben, vertoonden niet het sterke illusie-signaal. Dit suggereert dat de handeling van het proberen te reconstrueren of te reinigen van een afbeelding is wat de AI dwingt om deze mensachtige illusies te ontwikkelen. Het is alsof het trainingsproces de AI leert om aandacht te besteden aan de context en de omgeving, net als mensen dat doen, maar de eigen interne regels van de AI besluiten vervolgens dat deze context de uiteindelijke output niet mag veranderen.

De studie keek ook naar verschillende soorten AI, waaronder een enorm model genaamd DiT-XL/2. Zelfs in dit gigantische model piekte het illusie-signaal in de middelste lagen, maar verdween het tegen het einde. De onderzoekers ontdekten dat de zelfcorrigerende dynamiek van de AI — de manier waarop het eigen werk controleert — de reden lijkt te zijn dat de geest verdwijnt. Het is alsof de AI een strenge redacteur heeft die zegt: "Nee, die helderheid hoort hier niet," en het wegpoetst voordat het verhaal wordt gepubliceerd.

De Conclusie

Dus, wat betekent dit allemaal? Het blijkt dat AI-modellen niet alleen menselijk gedrag nabootsen; ze ervaren intern ook een versie van de menselijke perceptie. Ze bouwen een rijke, gedetailleerde verstandhouding op van visuele trucs, compleet met dezelfde vooroordelen die wij hebben. Maar, in tegen tegenstelling tot ons, lijken ze een filter te hebben die voorkomt dat deze vooroordelen hun uiteindelijke output veranderen.

Deze ontdekking is een beetje alsof je ontdekt dat een robot een levendige droom heeft over vliegen, maar wanneer hij wakker wordt en een huis bouwt, bouwt hij een volkomen normaal, aards huis. De droom was echt voor de robot, maar het heeft het huis niet beïnvloed. De onderzoekers suggereren dat dit "perceptuele fantoom"-fenomeen algemeen kan voorkomen in veel AI-systemen. Het betekent dat als we alleen kijken naar wat een AI produceert, we misschien een groot deel missen van wat hij eigenlijk weet en hoe hij denkt. De AI ziet mogelijk dingen die wij niet kunnen zien, zelfs als hij ze nooit aan ons laat zien.

De studie suggereerde dit niet alleen; ze mat het, sneed de draden door om het te bewijzen en injecteerde signalen om het te testen. Ze ontdekten dat over negen verschillende modellen heen, het illusie-signaal sterk, causaal en vervolgens volledig onzichtbaar was bij de output. Het is een herinnering aan het feit dat in de wereld van AI, wat je ziet niet altijd is wat je krijgt, en dat de meest interessante dingen soms de geesten zijn die verborgen blijven in de machine.