Intelligence Cannot Recover What the Instrument Does Not Record
Deze studie stelt vast dat de nauwkeurigheid van neuronale spike-inferentie uit calciumimaging fundamenteel wordt beperkt door de informatie-inhoud van het optische signaal zelf in plaats van enkel door de gebruikte computationele modellen, waarmee wordt aangetoond dat zelfs geavanceerde algoritmen een empirisch prestatieplafond niet kunnen overschrijden dat wordt gedicteerd door de opnamecapaciteiten van het instrument.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Neuronen, de minuscule communicatiecellen van de hersenen, spreken in snelle elektrische uitbarstingen die spikes worden genoemd. Om te begrijpen hoe de hersenen denken, moeten wetenschappers naar deze gesprekken luisteren. Decennialang was de enige manier om een enkele neuron duidelijk te horen door een minuscuul draadje er rechtstreeks in te steken, een methode die precies is maar onmogelijk te gebruiken op duizenden cellen tegelijk. Een nieuwere technologie, calcium imaging genoemd, biedt een ander pad. In plaats van direct naar elektriciteit te luisteren, kijkt het naar een chemische verandering. Wanneer een neuron vuurt, slikt het een beetje calcium, en een speciale kleurstof in de cel geeft daarop licht. Een microscoop legt dit lichtgevende effect vast, waardoor onderzoekers honderden neuronen tegelijkertijd kunnen zien oplichten.
Deze methode heeft echter een fundamenteel gebrek. De microscoop ziet niet de elektrische spike zelf; het ziet een vertraagde, wazige en ruisachtige lichtflits die plaatsvindt na de spike. De spike is de gebeurtenis, en de gloed is slechts een schaduw van die gebeurtenis. Om te begrijpen wat de neuron daadwerkelijk deed, moeten wetenschappers computerprogramma's gebruiken om terug te rekenen, waarbij ze gokken wanneer de spike plaatsvond op basis van het patroon van het licht. Jarenlang heeft het vakgebied zich gericht op het slimmer maken van deze gokprogramma's. De aanname was dat als een computermodel er niet in slaagde een spike te identificeren, het model simpelweg niet goed genoeg was. Maar dit roept een diepere vraag op: wat als de informatie al verdwenen is voordat de computer überhaupt probeert te gokken? Wat als de microscoop zelf er niet in geslaagd is de noodzakelijke details vast te leggen, waardoor de computer niets heeft om te vinden?
Een nieuwe studie door Maurice Antony Ewing pakt exact dit probleem aan. In plaats van alleen maar een betere gokmachine te bouwen, vroeg de onderzoeker zich af hoeveel informatie er daadwerkelijk gevangen zit in het geregistreerdeerde licht. Met behulp van een enorme verzameling gegevens waarbij zowel de elektrische spikes als de lichtflitsen tegelijkertijd werden geregistreerd, mat de studie de absolute limiet van wat hersteld kan worden. De bevindingen suggereren dat intelligentie, ongeacht hoe geavanceerd, niet kan reconstrueren wat het instrument nooit heeft vastgelegd.
De onderzoekers analyseerden gegevens van honderden neuronen en keken naar de relatie tussen het elektrische vuren en de resulterende gloed. Ze testten een breed scala aan computermodellen, van eenvoudige statistische hulpmiddelen tot complexe, moderne kunstmatige intelligentiesystemen die hun eigen manieren kunnen leren om patronen te zien. Ze probeerden ook de theoretische maximale nauwkeurigheid te vinden die mogelijk is voor deze taak. Stel je voor dat je probeert een geheim woord te raden op basis van een wazige foto ervan. No matter hoe slim de gokker ook is, als de foto te wazig is om de letters te tonen, kan het geheim niet worden opgelost. De studie vond dat er voor dit specifieke type hersenregistratie een hard plafond is voor hoe goed een computer kan presteren. De beste computermodellen slaagden erin om de spikes ongeveer 83,8 procent van de tijd correct te identificeren. Toen de onderzoekers zochten naar de absolute theoretische limiet met behulp van verschillende wiskundige benaderingen, was de hoogst mogelijke nauwkeurigheid die zij konden vinden ongeveer 87,1 procent.
Deze smalle kloof tussen wat de beste computers bereikten en de theoretische limiet is significant. Dit betekent dat het probleem niet is dat de computers te dom zijn. Zelfs een perfecte computer, die elk mogelijk patroon zou kunnen leren, zou waarschijnlijk niet veel beter presteren dan 87 procent. De ontbrekende informatie is niet het resultaat van een slecht algoritme; het is een resultaat van de fysieke registratie zelf. Het licht dat door de microscoop wordt geregistreerd, bevat simpelweg niet genoeg detail om elke enkele spike met volledige zekerheid te onderscheiden. De studie bevestigde dit door een geavanceerd type kunstmatige intelligentie te testen dat zijn eigen manier ontwerpt om naar de gegevens te kijken. Dit geavanceerde systeem bereikte een nauwkeurigheid van 83,2 procent, en slaagde er niet in het plafond te doorbreken dat door eenvoudigere modellen werd vastgesteld. Dit bewijst dat de limiet echt is en niet slechts een gebrek aan de specifieke tools die worden gebruikt.
Het onderzoek onthulde ook precies waar de nuttige informatie zich binnen de registratie verbergt. Het licht van een neuron verandert niet onmiddellijk; het kost tijd om te stijgen en te dalen. De studie vond dat de meest cruciale aanwijzingen over een spike verschijnen in het licht dat plaatsvindt na de spike, en niet ervoor. Hoewel het licht vóór de gebeurtenis ook enkele hints geeft over wat de neuron eerder deed, komt het overgrote deel van de herstelbare informatie uit de flits die volgt op de elektrische burst. Sterker nog, door alleen naar het licht na de gebeurtenis te kijken, kon de computer meer dan 92 procent van de nauwkeurigheid herstellen die het zou kunnen krijgen door naar de gehele registratie te kijken. Dit suggereert dat de vertraging in de chemische reactie de belangrijkste flessenhals is. De microscoop moet lang genoeg wachten om de volledige flits te zien, maar zelfs dan gaan sommige details verloren door de wazigheid van het chemische proces.
Verder toonde de studie aan dat deze limiet verandert afhankelijk van welke chemische kleurstof wordt gebruikt. Sommige nieuwere kleurstoffen produceren een scherpere, snellere gloed dan oudere, en de studie vond dat registraties gemaakt met deze nieuwere kleurstoffen een hogere informatieplafond hadden. Echter, de limiet gaat niet alleen over de kleurstof. Toen de onderzoekers een computermodel dat getraind was op één type hersenweefsel testten tegen een volledig ander type weefsel, faalde het model dramatisch, met een daling in nauwkeurigheid van meer dan 20 punten. Deze mislukking gebeurde zelfs toen de computer vanaf nul opnieuw werd getraind. Het onthulde dat het probleem niet alleen de kleurstof was, maar de specifieke biologische omgeving. De informatie was aanwezig voor het eerste weefsel, maar de registratie van het tweede weefsel behield niet dezelfde soort details, waardoor het voor het model onmogelijk was om te slagen.
Misschien wel de meest praktische bevinding van de studie is een nieuwe manier om met deze onvermijdelijke fouten om te gaan. Omdat de computer niet altijd gelijk kan hebben, ontwikkelden de onderzoekers een systeem dat kan aangeven wanneer het waarschijnlijk ongelijk zal hebben. Door de moeilijkheidsgraad van de specifieke registratie te analyseren, kan het systeem een "wantrouwscore" toekennen aan zijn eigen voorspellingen. Wanneer het systeem onzeker is, kan het ervoor kiezen om een antwoord achter te houden in plaats van te gokken. Als de onderzoekers het systeem de opdracht gaven om alleen voorspellingen te doen wanneer het zeer zelfverzekerd was, steeg de nauwkeurigheid van die voorspellingen naar bijna 98 procent. Dit betekent niet dat het systeem slimmer is geworden; het betekent dat het heeft geleerd om stil te blijven wanneer het bewijs te zwak is.
De studie concludeert dat de weg vooruit voor hersenbeeldvorming niet alleen bestaat uit het bouwen van slimmere computers. De krachtigste algoritmen ter wereld kunnen geen informatie herstellen die de microscoop niet heeft vastgelegd. Als het licht te wazig is of de chemische reactie te traag is, is de data simpelweg incompleet. Om ons begrip van de hersenen te verbeteren, moeten wetenschappers zich richten op het instrument zelf: het vinden van betere kleurstoffen, snellere microscopen of andere manieren om het licht vast te leggen. De intelligentie van de waarnemer is secundair aan de helderheid van de registratie. Wanneer de registratie helder is, kan een slimme waarnemer slagen. Wanneer de registratie de details mist, kan geen enkele hoeveelheid intelligentie het gat opvullen. De les is een stille maar krachtige: je kunt niet zien wat nooit is opgenomen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.