Drosophila Connectome Topology Provides No Measurable Language- Model Advantage: A Preregistered Negative Experimental Program

Decennialang heeft er in de wereld van kunstmatige intelligentie een stille hoop bestaan: dat de rommelige, biologische bedrading van een levend brein het geheim zou kunnen bevatten voor het bouwen van intelligentere machines. Het idee is simpel. De evolutie heeft miljoenen jaren besteed aan het verfijnen van de verbindingen tussen neuronen in dieren, waardoor netwerken zijn gecreëerd die efficiënt, modulair en verrassend goed zijn in leren. Als we die specifieke verbindingspatronen — het "bedradingsdiagram" — zouden kunnen kopiëren en in een computerprogramma zouden plakken dat ontworpen is om taal te begrijpen, zou de computer dan misschien sneller leren of helderder denken. Deze hoop is niet slechts een metafoor; het is een toetsbare vraag. Kan de fysieke kaart van een brein dienen als een nuttig startpunt, of "inductieve bias", voor een machine learning-model? Om dit uit te zoeken, wendden onderzoekers zich tot de fruitvlieg, Drosophila melanogaster. Wetenschappers hebben al het volledige zenuwstelsel van een volwassen vlieg in kaart gebracht, waarbij ongeveer 139.000 neuronen en tientallen miljoenen verbindingen zijn geïdentificeerd. Deze kaart, bekend als een connectoom, is het meest gedetailleerde bedradingsdiagram van welk dierenbrein dan ook dat beschikbaar is. De vraag was nu of dit specifieke biologische blauwdruk daadwerkelijk een taalcomputer kon verbeteren, of dat de complexiteit van het vliegenbrein simpelweg te verschillend was van de taak van het verwerken van menselijke woorden.

Een onderzoeker zette zich af om deze vraag te beantwoorden met een rigoureus, vooraf gepland experiment. Ze gokten niet simpelweg dat het brein van de vlieg zou helpen; ze ontwierpen een reeks strikte tests waarbij de regels voor winst vooraf waren opgeschreven voordat er ook maar enige data werd verzameld. Het doel was om te zien of het gebruik van het bedradingsdiagram van de vlieg een klein taalmodel beter kon maken in het voorspellen van het volgende woord in een zin, vergeleken met het gebruik van een willekeurige set verbindingen of helemaal geen speciaal kaartje. Ze testten verschillende manieren om de anatomie van de vlieg te gebruiken. Eerst probeerden ze de kaart te gebruiken als een gids voor hoe de computer aandacht moet schenken aan verschillende delen van een zin. Daarna vervingen ze een standaard onderdeel van de verwerkingsmotor van de computer door een bevroren, onveranderlijke kopie van het olfactorische systeem van de vlieg, dat beroemd is om het uitbreiden en filteren van informatie. Ten slotte testten ze een complexer idee, geïnspireerd door hoe vliegen herinneringen opslaan: een systeem waarbij informatie verborgen is en alleen kan worden opgehaald met een specifiek "herinneringssignaal", een concept dat bekend staat als een stille engram.

De resultaten waren duidelijk en consistent: het bedradingsdiagram van de vlieg bood geen meetbaar voordeel. In de eerste reeks tests, waarbij de onderzoeker de kaart van de vlieg gebruikte om de aandacht van de computer te sturen, presteerde het model niet beter dan een model zonder kaart. Sterker nog, wanneer ze het op de vlieg gebaseerde model vergeleken met een model dat een volledig willekeurig netwerk van dezelfde omvang gebruikte, presteerde het willekeurige netwerk vaak even goed of zelfs beter. De onderzoeker stelde vast dat hoewel de kaart van de vlieg interessante patronen bevatte, die patronen niet vertaalden naar een beter vermogen om taal syntaxis of feiten te begrijpen dan een blanco blad. Een specifieke test hield in dat de ruwe verbindingen uit het brein van de vlieg werden gebruikt om relaties tussen woorden te voorspellen. Hoewel de vliegkaart soms een gehusselde versie van zichzelf kon verslaan, slaagde het er niet in om de baseline van het hebben van geen kaart te verslaan. Het verschil in prestatie was zo klein dat het statistisch niet te onderscheiden was van willekeurige kans.

Het experiment ging verder door de vlieg als vervanging voor een standaard computercomponent te testen. De onderzoeker nam het deel van het brein van de vlieg dat sensorische input uitbreidt en filtert, en bevroor dit op zijn plaats om als een vaste processor voor het taalmodel te fungeren. Ze verwachtten dat deze biologische structuur een superieure manier zou zijn om informatie te verwerken. In plaats daarvan presteerde de computer slechter dan wanneer ze een eenvoudig, willekeurig netwerk van dezelfde omvang hadden gebruikt. De biologische expansie was geen magische sleutel tot betere taalverwerking; het was in deze context een minder efficiënt hulpmiddel dan een standaard, ongestructureerd netwerk. De onderzoeker testte ook het idee van de "stille engram". Bij vliegen kunnen herinneringen worden opgeslagen op een manier die ze onzichtbaar maakt voor normale controles, waardoor ze pas toegankelijk worden wanneer een specifiek chemisch signaal als herinnering fungeert. De onderzoeker bouwde een computersysteem dat dit gedrag nabootste, in een poging te zien of dit biologische trucje voor het verbergen en ophalen van herinneringen enig voordeel bood ten opzichte van het standaard computergeheugen. Ze ontdekten dat hoewel ze een systeem konden bouwen dat werkte als het geheugen van de vlieg, een veel eenvoudiger, generiek computerprogramma precies hetzelfde werk even goed kon doen. De specifieke methode van de vlieg om herinneringen te verbergen was niet uniek of superieur; een standaard, beperkte selector kon exact hetzelfde resultaat bereiken zonder de complexe biologische blauwdruk nodig te hebben.

Zelfs de poging van de onderzoeker om het brein van de vlieg te gebruiken als een instrument voor het vinden van informatie, vergelijkbaar met hoe een vlieg zijn brein gebruikt om geuren te herkennen, faalde in het presteren ten opzichte van standaardmethoden. Wanneer ze het expansiemechanisme van de vlieg gebruikten als een manier om gegevens op te zoeken, werkte een willekeurige expansiemethode beter. De dichte, standaard computermethoden waren veel superieur bij het ophalen van de juiste informatie. De studie keek ook naar het centrale complex van de vlieg, een deel van het brein dat betrokken is bij navigatie en het vasthouden van een richtinggevoel. Ze probeerden te zien of deze structuur als een stabiele geheugenlus in een computer kon fungeren, die een stuk informatie over een bepaalde tijd vasthoudt. De test toonde aan dat de structuur van de vlieg de informatie niet beter vasthield dan willekeurige netwerken; sterker nog, de informatie vervaagde sneller dan in de controlegroepen.

Gedurende de hele studie was de onderzoeker zorgvuldig in het onderscheid tussen wat zij testten en wat zij niet testten. Zij beweerde niet dat het brein van de fruitvlieg nutteloos is voor alle machine learning, noch zei zij dat breinen slechte modellen voor computers zijn. Zij toonde simpelweg aan dat deze specifieke pogingen om de bedrading van de vlieg in een taalmodel te kopiëren, niet werkten. Het model met 800 miljoen parameters dat zij als referentiepunt gebruikten, werd niet bewezen beter te zijn dankzij de kaart van de vlieg; de prestaties ervan werden apart gemeten en maakten geen deel uit van het connectoomexperiment. De studie concludeerde dat hoewel het mogelijk is om een computer te bouwen die gebruikmaakt van ijle, op familieniveau gerelateerde communicatie vergelijkbaar met de vlieg, de specifieke topologie van het projectoom van de Drosophila geen voordeel biedt ten opzichte van willekeurige of geleerde verbindingen. De biologische blauwdruk was in dit geval geen afkorting naar een intelligentere machine. Het experiment toonde aan dat de oplossing van de evolutie voor een vliegenbrein niet automatisch het probleem oplost van het aanleren van menselijke taal aan een computer. De hoop dat het kopiëren van het bedradingsdiagram van een brein de kunstmatige intelligentie direct zou verbeteren, werd in dit specifieke en zorgvuldig gemeten geval niet ondersteund door het bewijs.