Real-time Reconstruction of Human Visual Perception from fMRI
Dit artikel presenteert een in real-time compatibele adaptatie van de state-of-the-art MindEye2-pipeline met behulp van het RT-Cloud-platform, waarmee wordt aangetoond dat betrouwbare, fijnmazige reconstructie van waargenomen natuurlijke beelden uit fMRI-data binnen enkele seconden haalbaar is, wat de weg vrijmaakt voor geavanceerde hersen-computerinterfaces.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je in iemands geest kunt kijken en precies de afbeelding kunt zien waar diegene naar kijkt, simpelweg door de minuscule rimpelingen van de bloedstroom in hun brein te observeren. Dit is de droom van de cognitieve neurowetenschap: het transformeren van hersenactiviteit tot een venster op onze gedachten. Al een lange tijd gebruiken wetenschappers een hulpmiddel genaamd fMRI (functionele magnetische resonantie-imaging) om dit te doen. Denk bij fMRI aan een super-trage, high-definition filmcamera voor het brein. Het maakt geen foto's van het vuren van neuronen direct; in plaats daarvan volgt het waar zuurstofrijk bloed naartoe stroomt, wat een beetje is als het zien van welke delen van een stad het drukst zijn door te kijken waar de verkeerslichten branden. Het nadeel is dat deze "verkeersstroom" traag beweegt en er enkele seconden over doet om een piek te bereiken nadat een gedachte of afbeelding is verschenen.
In de afgelopen jaren zijn computers ongelooflijk slim geworden in het raden wat iemand ziet op basis van deze trage bloedstroompatronen. Met behulp van enorme AI-modellen kunnen wetenschappers nu afbeeldingen die een persoon heeft gezien met verbazingwekkende nauwkeurigheid reconstrueren. Echter, er is een groot probleem: deze slimme computers hebben meestal uren of zelfs dagen nodig om de getallen te verwerken. Het is alsof je een geniale chef-kok hebt die een perfecte maaltijd kan koken, maar die een hele dag nodig heeft om de groenten te snijden. Dit maakt het onmogelijk om ze te gebruiken voor "real-time" experimenten, waarbij je het resultaat direct wilt zien terwijl de persoon nog in de scanner ligt. Als je dit proces snel genoeg zou kunnen maken, zou je een "brein-computerinterface" kunnen creëren waarbij een persoon een scherm kan bedienen met hun gedachten, of directe feedback kan krijgen over waar hun brein zich op concentreert.
Dit artikel gaat over het nemen van die trage, geniale chef-kok en hem leren om een maaltijd te bereiden in minder dan 15 seconden. De onderzoekers, onder leiding van Rishab Iyer en collega's, hebben een krachtig, complex AI-systeem genaamd MindEye2 succesvol aangepast om in real-time te werken. Ze slaagden erin om te decoderen wat een persoon zag vanuit een fMRI-scan en de afbeelding op een scherm te reconstrueren slechts enkele seconden nadat de persoon ernaar had gekeken. Ze deden dit niet alleen in een perfecte, slow-motion laboratoriumsetting; ze testten het op een standaard 3 Tesla MRI-scanner (het soort dat in de meeste ziekenhuizen te vinden is, niet alleen in chique onderzoekslabs) en lieten zien dat het werkt, zelfs met slechts één uur aan trainingsdata van een nieuw persoon. Hoewel de afbeeldingen niet zo perfect zijn als de trage, nachtelijke versies, zijn ze duidelijk genoeg om het object te herkennen, wat bewijst dat we eindelijk kunnen beginnen met het "lezen" van gedachten terwijl ze gebeuren, en niet pas achteraf.
De "gedachtenlezende" machine krijgt een snelheidssprint
Jarenlang waren de beste AI-systemen voor het lezen van gedachten uit hersenscans als een slow-motion replay. Je liet een afbeelding zien aan een persoon in een MRI-machine, wachtte tot de persoon het experiment voltooid had, en besteedde dan uren of zelfs dagen aan het verwerken van de gegevens om te raden wat diegene zag. Het artikel beschrijft een nieuwe aanpak die dit drastisch versnelt, waardoor een "resultaat van de volgende dag" verandert in een "resultaat van de volgende seconde".
Het team gebruikte een systeem genaamd MindEye2, een gigantisch AI-model dat getraind is om de verbinding tussen hersenactiviteit en afbeeldingen te begrijpen. Denk aan MindEye2 als een vertaler die twee talen spreekt: "Breinstroom" (de fMRI-data) en "Afbeeldingsbeschrijving" (een digitale kaart van hoe dingen eruitzien). In het verleden had deze vertaler veel tijd nodig om na te denken. De onderzoekers wilden zien of ze hem snel genoeg konden laten denken om te kunnen werken terwijl de persoon nog in de machine zit.
Hiervoor bouwden ze een speciale pijplijn met behulp van een cloudgebaseerd platform genaamd RT-Cloud. Dit is als een snelle bezorgdienst die de hersendata op het moment dat deze wordt opgenomen direct oppakt, onmiddellijk verwerkt en het resultaat direct terugstuurt. Ze testten dit met een deelnemer die keek naar natuurlijke afbeeldingen, zoals foto's van dieren of plaatsen.
De resultaten: Snel, maar niet perfect
Het artikel presenteert een fascinerende afruil tussen snelheid en kwaliteit. Ze testten drie verschillende snelheden:
- De "Snelle" Modus: Dit is de real-time magie. Het systeem wachtte ongeveer 7,9 seconden nadat de afbeelding verscheen (om de bloedstroomrespons te laten pieken) en deed vervolgens de decodering. De totale tijd van het zien van de afbeelding tot het verkrijgen van de reconstructie was ongeveer 14,5 seconden.
- De "Trage" Modus: Ze wachtten ongeveer 29 seconden om meer gegevens te verzamelen, wat de kwaliteit enigszins verbeterde.
- De "Einde-van-de-Run" Modus: Dit was de traditionele aanpak, waarbij men wachtte tot de hele scansessie voorbij was (ongeveer 5 minuten) om alles te analyseren.
De resultaten lieten zien dat zelfs de "Snelle" modus verrassend goed werkte. Wanneer gevraagd werd om de juiste afbeelding te kiezen uit een pool van 50 kandidaten, kreeg het snelle systeem het ongeveer 36% van de tijd goed (wat veel beter is dan de 2% die je zou krijgen door willekeurig te gokken). Wanneer de pool kleiner was (slechts 2 opties), steeg de nauwkeurigheid naar 90,6%. De gereconstrueerde afbeeldingen waren wat waziger vergeleken met de trage, nachtelijke versies, maar je kon nog steeds duidelijk zien of de persoon naar een hond, een auto of een landschap keek.
Waarom dit ertoe doet (en wat het nog niet doet)
Het artikel is voorzichtig in de opmerking dat dit een "proof-of-concept" is. Het bewijst dat het mogelijk is om dit in real-time te doen, maar het betekent niet dat we al een perfect gedrag van een gedachtenlezend apparaat hebben. De auteurs merken expliciet op dat de kwaliteit daalt wanneer je sneller gaat. De "Snelle" modus is niet zo nauwkeurig als de "Offline" modus die dagen duurt. Ze wijzen ook erop dat het huidige systeem afhankelijk is van een specifieke AI-architectuur en dat de snelheid wordt beperkt door hoe snel het bloed door de hersenen stroomt (de hemodynamische vertraging), wat een biologisch feit is dat we niet kunnen veranderen.
De implicaties zijn echter enorm. Omdat het systeem werkt in minder dan 15 seconden, opent het de deur naar neurofeedback. Stel je een patiënt met depressie voor die in real-time kan zien hoe hun brein reageert op een droevige afbeelding. Als hun brein te veel focust op de negatieve aspecten, zou het systeem een reconstructie kunnen tonen die dat benadrukt, wat hen helpt om te leren hun focus te veranderen. Het artikel suggereert dat vertragingen van 10 tot 30 seconden daadwerkelijk snel genoeg zijn voor het brein om van deze feedback te leren, gebaseerd op eerdere studies.
De onderzoekers toonden ook aan dat je geen peperduur, zeldzaam 7 Tesla-apparaat nodig hebt om dit te doen; een standaard 3 Tesla-scanner (die in duizenden ziekenhuizen te vinden is) werkt prima, zolang je de AI finetunet met ongeveer een uur aan data van de nieuwe persoon.
De kern van de zaak
Dit artikel is een grote stap voorwaarts in het transformeren van "hersenlezen" van een trage, post-mortem analyse naar een live, interactieve ervaring. Door een zwaar AI-systeem aan te passen om in real-time te draaien, lieten de onderzoekers zien dat we kunnen reconstrueren wat een persoon ziet binnen 14,5 seconden. Hoewel de afbeeldingen nog niet kristalhelder zijn, zijn ze goed genoeg om objecten te herkennen, en de snelheid is snel genoeg om potentieel mensen te helpen hun eigen hersentoestanden te controleren of te communiceren met machines. Het is alsof je een trage, high-definition filmcamera neemt en hem leert om live video te streamen. Het beeld is een beetje korrelig, maar voor het eerst kunnen we de show zien terwijl deze plaatsvindt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.