Drosophila Connectome Topology Provides No Measurable Language- Model Advantage: A Preregistered Negative Experimental Program

Seit Jahrzehnten hält in der Welt der künstlichen Intelligenz eine stille Hoffnung an: dass die chaotische, biologische Verdrahtung eines lebenden Gehirns das Geheimnis zum Bau intelligenterer Maschinen bergen könnte. Die Idee ist simpel. Die Evolution hat Millionen von Jahren damit verbracht, die Verbindungen zwischen Neuronen bei Tieren zu verfeinlichern und Netzwerke zu schaffen, die effizient, modular und überraschend gut im Lernen sind. Wenn wir diese spezifischen Verbindungsmuster – das „Verdrahtungsdiagramm“ – kopieren und in ein Computerprogramm einsetzen könnten, das Sprache versteht, würde der Computer vielleicht schneller lernen oder klarer denken. Diese Hoffnung ist nicht nur eine Metapher; sie ist eine testbare Frage. Kann die physische Karte eines Gehirns als hilfreicher Ausgangspunkt oder „induktiver Bias“ für ein maschinelles Lernmodell dienen? Um dies herauszufinden, wandten sich Forscher der Fruchtfliege, Drosophila melanogaster, zu. Wissenschaftler haben bereits das gesamte Nervensystem einer erwachsenen Fliege kartiert und dabei etwa 139.000 Neuronen und Zehntausende von Millionen Verbindungen identifiziert. Diese Karte, bekannt als Konnektom, ist das detaillierteste Verdrahtungsdiagramm eines Tierengehirns, das derzeit verfügbar ist. Die Frage war nun, ob dieser spezifische biologische Bauplan tatsächlich einen Sprachcomputer verbessern könnte oder ob die Komplexität des Fliegengehirns für die Aufgabe der Verarbeitung menschlicher Wörter einfach zu verschieden war.

Ein Forscher machte sich daran, diese Frage mit einem strengen, vorab geplanten Experiment zu beantworten. Er vermutete nicht einfach, dass das Gehirn der Fliege helfen würde; er entwarf eine Reihe strenger Tests, bei denen die Regeln für den Sieg aufgeschrieben wurden, bevor Daten gesammelt wurden. Das Ziel war es zu sehen, ob die Verwendung des Verdrahtungsdiagramms der Fliege ein kleines Sprachmodell besser darin machen könnte, das nächste Wort in einem Satz vorherzusagen, im Vergleich zur Verwendung eines zufälligen Satzes von Verbindungen oder gar keiner speziellen Karte. Er testete verschiedene Möglichkeiten, die Anatomie der Fliege zu nutzen. Zuerst versuchten sie, die Karte als Leitfaden dafür zu verwenden, wie der Computer auf verschiedene Teile eines Satzes aufmerksam sein sollte. Dann ersetzten sie einen Standardteil der Verarbeitungsmaschine des Computers durch eine eingefrorene, unveränderliche Kopie des Geruchssystems der Fliege, das dafür bekannt ist, Informationen zu erweitern und zu filtern. Schließlich testeten sie eine komplexere Idee, die davon inspiriert war, wie Fliegen Erinnerungen speichern: ein System, in dem Informationen verborgen sind und nur mit einem spezifischen „Erinnerungssignal“ abgerufen werden können, ein Konzept, das als stilles Engramm bekannt ist.

Die Ergebnisse waren klar und konsistent: Das Verdrahtungsdiagramm der Fliege bot keinen messbaren Vorteil. In der ersten Gruppe von Tests, bei denen der Forscher die Karte der Fliege nutzte, um die Aufmerksamkeit des Computers zu steuern, zeigte das Modell keine bessere Leistung als ein Modell ohne Karte überhaupt. Tatsächlich war die Leistung des auf der Fliege basierenden Modells oft vergleichbar mit oder sogar schlechter als die eines Modells mit einem völlig zufälligen Netzwerk gleicher Größe. Der Forscher stellte fest, dass die Karte der Fliege zwar interessante Muster enthielt, diese Muster sich jedoch nicht in einer besseren Fähigkeit zum Verständnis von Sprachsyntax oder Fakten niederschlugen als ein unbeschriebenes Blatt. Ein spezifischer Test beinhaltete die Verwendung der rohen Verbindungen aus dem Gehirn der Fliege, um Beziehungen zwischen Wörtern vorherzusagen. Während die Fliegenkarte manchmal eine verzerrte Version ihrer selbst schlagen konnte, konnte sie den Baselineswert eines Modells ohne Karte nicht übertreffen. Der Leistungsunterschied war so gering, dass er statistisch nicht von reinem Zufall zu unterscheiden war.

Das Experiment ging weiter und testete das Gehirn der Fliege als Ersatz für eine Standard-Computerkomponente. Der Forscher nahm den Teil des Fliegengehirns, der sensorische Eingaben erweitert und filtert, und fror ihn ein, um als fester Prozessor für das Sprachmodell zu fungieren. Er erwartete, dass diese biologische Struktur eine überlegene Methode zur Informationsverarbeitung darstellt. Stattdessen schnitt der Computer schlechter ab, als wenn er ein einfaches, zufälliges Netzwerk gleicher Größe verwendet hätte. Die biologische Expansion war kein magischer Schlüssel zu besserer Sprachverarbeitung; sie war in diesem Kontext ein weniger effizientes Werkzeug als ein Standard-Netzwerk ohne Struktur. Der Forscher testete auch die Idee des „stillen Engramms“. Bei Fliegen können Erinnerungen so gespeichert werden, dass sie für normale Prüfungen unsichtbar bleiben und erst zugänglich werden, wenn ein spezifisches chemisches Signal als Erinnerung fungiert. Der Forscher baute ein Computersystem, das dieses Verhalten nachahmte, und versuchte zu sehen, ob dieser biologische Trick zum Verbergen und Abrufen von Erinnerungen gegenüber dem Standard-Computerspeicher irgendeinen Vorteil bietet. Er fand heraus, dass er zwar ein System bauen konnte, das wie das Gedächtnis der Fliege funktionierte, ein viel einfacheres, generisches Computerprogramm jedoch exakt dieselbe Aufgabe ebenso gut erfüllen konnte. Die spezifische Methode der Fliege, Erinnerungen zu verbergen, war nicht einzigartig oder überlegen; ein Standard-Selektor konnte das gleiche Ergebnis erzielen, ohne den komplexen biologischen Bauplan zu benötigen.

Selbst der Versuch des Forschers, das Gehirn der Fliege als Werkzeug zur Informationssuche zu nutzen, ähnlich der Art und Weise, wie eine Fliege ihr Gehirn zur Erkennung von Gerüchen nutzt, scheiterte gegenüber Standardmethoden. Als er den Expansionsmechanismus der Fliege als Weg zur Datenabfrage verwendete, arbeitete eine zufällige Expansionsmethode besser. Die dichten Standard-Computermethoden waren weita-lich überlegen bei der Abrufung der korrekten Informationen. Die Studie untersuchte auch den zentralen Komplex der Fliege, einen Teil des Gehirns, der an der Navigation und der Aufrechterhaltung eines Orientierungssinns beteiligt ist. Sie versuchten, diese Struktur als stabilen Gedächtnisloop in einem Computer einzusetzen, der ein Stück Information über die Zeit hält. Der Test zeigte, dass die Struktur der Fliege die Information nicht besser hielt als Zufallsnetzwerke; tatsächlich verblasste die Information schneller als in den Kontrollgruppen.

Im Verlauf der gesamten Studie war der Forscher sorgfältig dabei, zwischen dem, was er testete, und dem, was er nicht testete, zu unterscheiden. Er behauptete nicht, dass das Gehirn der Fruchtfliege für das maschinelle Lernen generell nutzlos sei, noch sagte er, dass Gehirne schlechte Modelle für Computer seien. Er zeigte lediglich auf, dass diese spezifischen Versuche, die Verdrahtung der Flieie in ein Sprachmodell zu kopieren, nicht funktionierten. Das 800-Millionen-Parameter-Modell, das er als Referenzpunkt im Hintergrund verwendete, wurde nicht deshalb als besser bewiesen, weil die Karte der Fliege es besser machte; seine Leistung wurde separat gemessen und war nicht Teil des Konnektom-Experiments. Die Studie kam zu dem Schluss, dass es zwar möglich ist, einen Computer zu bauen, der eine spärliche, auf Familienebene kommunizierende Struktur ähnlich der Fliege nutzt, die spezifische Topologie des Drosophila-Projektoms jedoch keinen Vorteil gegenüber zufälligen oder gelernten Verbindungen bietet. Der biologische Bauplan war in diesem Fall keine Abkürzung zu einer intelligenteren Maschine. Das Experiment demonstrierte, dass die Lösung der Evolution für das Gehirn einer Fliege nicht automatisch das Problem löst, einem Computer das Verständnis der menschlichen Sprache beizubringen. Die Hoffnung, dass das Kopieren eines Verdrahtungsdiagramms eines Gehirns die künstliche Intelligenz sofort verbessern würde, wurde in diesem spezifischen und sorgfältig gemessenen Fall durch die Beweise nicht gestützt.