Het menselijk brein is een enorme, complexe machine die licht dat het oog raakt omzet in de rijke, kleurrijke wereld die wij waarnemen. Decennialang hebben wetenschappers geprobeerd te begrijpen hoe dit precies gebeurt, door het pad in kaart te brengen van eenvoudige lijnen en kleuren naar complexe ideeën zoals "een hond" of "een auto". In de afgelopen jaren is er een nieuw veld ontstaan dat probeert het omgekeerde te doen: het lezen van de elektrische activiteit van het brein om te reconstrueren wat een persoon ziet. Dit is het domein van de neurale visuele decodering. Door sensoren aan de hoofdhuid van een persoon te bevestigen om hersengolven te meten, hopen onderzoekers die ruisende, chaotische signalen terug te vertalen naar de beelden die de persoon bekijkt. Het is een zoektocht naar het bouwen van een brug tussen de biologische geest en de digitale wereld, wat belofte maakt voor toekomstige technologieën die mensen kunnen helpen communiceren zonder te spreken of de blindheid kunnen herstellen.

Lange tijd vertrouwde de standaardaanpak voor het bouwen van deze brug op een specifieke aanname: dat het belangrijkste deel om te matchen de uiteindelijke begripsvorming van een afbeelding door het brein is. Onderzoekers namen een computerprogramma dat getraind was om objecten te herkennen — zoals een geavanceerd digitaal oog dat heeft geleerd om een kat van een hond te onderscheiden — en vergeleken de hersensignalen met de uiteindelijke, hoogwaardige conclusie van de computer over de afbeelding. Het idee was dat als de computer "kat" zegt, het brein ook "kat" moet zeggen in zijn eigen elektrische taal. Deze methode liep echter vaak tegen een muur aan. Ongeacht hoe krachtig het computerprogramma ook werd, de bekwaamheid om de afbeelding nauwkeurig uit de hersensignalen te reconstrueren verbeterde niet. In feite presteerden de meest geavanceerde computermodellen soms zelfs slechter dan eenvoudigere modellen, wat wetenschappers in verwarring achterliet over waarom meer intelligentie in de machine niet leidde tot een beter lezen van de geest.

Een nieuwe studie gepubliceerd in de Transactions on Machine Learning Research daagt deze langgehouden aanname uit. De onderzoekers, onder leiding van een team van de Universiteit van Pittsburgh en andere instellingen, stellen dat het probleem niet lag bij de intelligentie van de computer, maar bij de timing van de vergelijking. Zij betogen dat het brein niet alleen het uiteindelijke label van een object opslaat; het houdt een gedetailleerd, gelaagd verslag bij van de visuele ervaring, van de initiële flits van licht en kleur tot het uiteindelijke concept. Door de hersensignalen te dwingen te matchen met enkel de uiteindelijke, abstracte conclusie van de computer, dwongen wetenschappers het brein in feite om alle rijke details van de afbeelding te vergeten en zich alleen de naam van het object te herinneren. Dit creëerde een mismatch, alsof men een vierkante pen in een rond gat probeert te passen.

Om dit op te lossen, ontwikkelde het team een methode die zij "Shallow Alignment" (ondiepe uitlijning) noemen. In plaats van te wachten tot het computerprogramma zijn uiteindelijke conclusie bereikt, begonnen zij de elektrische signalen van het brein te vergelijken met de tussenstappen van de computer. Stel je een computerprogramma voor dat een foto van een struisvogel analyseert. In de vroege stappen merkt het lange, dunne poten en een specifieke textuur op. In de middelste stappen herkent het de vorm van een vogel. Pas in de laatste stap besluit het: "Dit is een struisvogel." De onderzoekers ontdekten dat de hersensignalen, met name die gemeten door sensoren op de hoofdhuid, een mix bevatten van al deze details. Toen zij de hersensignalen uitlijnden met de observaties uit de tussenlagen van de computer — waar de afbeelding nog steeds gedetailleerd is maar ook begint te kloppen — waren de resultaten spectaculair beter.

Het team testte dit idee met behulp van gegevens uit twee grote collecties hersenopnames, waarvan één de elektrische activiteit mat en de andere magnetische velden, beide terwijl mensen duizenden verschillende objecten bekeken. Zij vergeleken hun nieuwe methode met de beste bestaande technieken. Het verschil was groot. In tests waarbij de computer probeerde te raden welke afbeelding een persoon zag op basis van hun hersengolven, verbeterde de nieuwe methode de nauwkeurigheid met een enorme marge. Voor een van de meest geavanceerde computermodellen die zij testten, sprong het succespercentage van ongeveer 17 procent naar bijna 83 procent. Dit was geen kleine aanpassing; het was een fundamentele verschuiving in hoe de verbinding tussen brein en machine werd gelegd.

Misschien wel de meest verrassende ontdekking was wat er gebeurde wanneer zij grotere, krachtigere computermodellen gebruikten. Onder de oude methode zorgde het slimmer maken van de computer er vaak voor dat de decodering slechter werd, een fenomeen dat de auteurs de "depth-capacity paradox" (diepte-capaciteit paradox) noemen. Hoe meer de computer de afbeelding comprimeerde tot een simpel label, hoe moeilijker het voor de hersensignalen was om te matchen. Maar met de nieuwe "Shallow Alignment"-methode gebeurde het tegenovergestelde. Naarmate de computermodellen groter en in staat werden, verbeterde de decoderingsprestatie consistent. De onderzoekers toonden aan dat door de juiste hoeveelheid detail te matchen, zij eindelijk het volledige potentieel van deze enorme digitale breinen konden ontsluiten om menselijke gedachten te lezen.

De studie onthulde ook dat de hersensignalen niet alleen gaan over de uiteindelijke objectnaam. Wanneer de onderzoekers keken naar wat de computer "zag" wanneer hij een fout maakte, ontdekten zij dat de oude methode vaak afbeeldingen ophaalde die weliswaar tot de juiste categorie behoorden, maar de verkeerde vorm hadden. Bijvoorbeeld, als iemand naar een struisvogel keek, zou de oude methode mogelijk een afbeelding van een schaap of een duif ophalen — dieren die allemaal vogels zijn, maar die de kenmerkende lange poten van een struisvogel missen. De nieuwe methode slaagde er echter in om de struisvogel en andere afbeeldingen op te halen die de specifieke structurele details deelden, zoals lange, dunne ondersteunende poten, zelfs als de andere afbeeldingen van compleet andere objecten waren, zoals tafels of wiegjes. Dit suggereert dat het brein de fysieke vorm en textuur vasthoudt van wat we zien, en niet alleen de categorie waartoe het behoort.

Om te waarborgen dat dit geen toevalstreffer was van één specifiek computermodel, testten de onderzoekers hun aanpak bij een grote verscheidenheid aan digitale architecturen, van oudere, eenvoudigere ontwerpen tot de nieuwste, meest complexe systemen. In elk geval leverde het kijken naar de middelste lagen van de verwerking betere resultaten op dan het kijken naar het einde. Zij ontdekten ook dat de beste laag om naar te kijken niet voor elk model hetzelfde was; het hing af van hoe diep en complex de computer was. Voor sommige modellen lag het ideale punt ongeveer op een derde van de verwerking, voor andere was het dichter bij twee derde. Deze flexibiliteit suggereert dat de sleutel niet een enkele magische laag is, maar het vinden van het specifieke punt waar de interne representatie van de computer overeenkomt met de natuurlijke "korrel" van de hersensignalen.

De implicaties van dit werk zijn aanzienlijk voor de toekomst van hersen-computerinterfaces. Het suggereert dat de flessenhals bij het lezen van de geest niet een gebrek aan rekenkracht of data is, maar een misverstand over hoe het brein de wereld representeert. Door aan te sluiten bij de natuurlijke, gelaagde manier waarop het brein ziet, in plaats van het in een enkele, abstracte doos te dwingen, kunnen onderzoekers veel nauwkeurigere en betrouwbaardere systemen bouwen. De studie concludeert dat de weg vooruit ligt in het respecteren van de complexiteit van het visuele proces van het brein, door de rijke, tussenliggende details van onze digitale instrumenten te gebruiken om de even rijk gedetailleerde, tussenliggende details van onze eigen geest te decoderen. Deze aanpak verandert een frustrerende doodlopende weg in een helder pad vooruit, en laat zien dat je soms, om het hele plaatje te begrijpen, naar de onderdelen moet kijken voordat het definitieve antwoord is geschreven.