Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wie ein superintelligenter Roboter lernt, die Welt zu verstehen. In der Biologie bauen Wissenschaftler diese Roboter – sogenannte „Transformer“ – um die Bedienungsanleitungen innerhalb unserer Zellen zu lesen. Diese Anleitungen sind in einer Sprache aus Genen geschrieben, und die Roboter werden mit riesigen Bibliotheken von Zelldaten trainiert, um zu verstehen, wie verschiedene Teile des Körpers funktionieren. Die große Frage ist: Wenn wir einen Roboter über ein bestimmtes Organ lehren, etwa das Gehirn oder die Niere, lernt er dann einfach, dieselben alten Fakten aus einem neuen Blickwinkel zu betrachten, oder schreibt er sein gesamtes Verständnis komplett um? Das ist wichtig, denn wenn der Roboter seine Sichtweise nur „rotiert“, können wir das, was er über das Gehirn lernt, leicht übersetzen, um die Niere zu verstehen. Aber wenn er seine gesamte Weltanschauung „ersetzt“, müssen wir jedes Mal von vorne beginnen, wenn wir das Organ wechseln.

Diese Arbeit untersucht genau dieses Rätsel unter Verwendung eines speziellen Satzes von drei Roboter-Gehirnen, die durch das scGPT-Projekt erstellt wurden. Die Forscher hatten einen einzigartigen Vorteil: Sie hatten drei Versionen desselben Roboters, die mit exakt denselben Bauplänen und demselben zufälligen „Seed“ aus Zahlen erstellt wurden. Der einzige Unterschied war ihre Trainingsbibliothek: Einer las 33 Millionen Zellen des gesamten menschlichen Körpers, einer las 13,2 Millionen Gehirnzellen und einer las 814.000 Nierenzellen. Durch den Vergleich dieser drei konnte der Autor genau sehen, was die Daten dem Roboter beigebracht haben und was lediglich der zufällige Lärm war, der von seiner Geburt übrig blieb.

Das große „Was hast du gelernt?“-Experiment

Stellen Sie sich diese drei KI-Modelle wie drei Schüler vor, die am selben Tag zur Schule kamen, im selben Sitzplatz saßen, mit denselben leeren Notizbüchern und denselben zufälligen Kritzeleien in den Rändern (der „Initialisierung“).

• Schüler A las eine riesige Enzyklopädie mit 33 Millionen Seiten, die jeden Teil des menschlichen Körpers abdeckte.
• Schüler B las ein dickes Lehrbuch mit 13,2 Millionen Seiten, aber nur über das Gehirn.
• Schüler C las eine dünne Broschüre mit 814.000 Seiten, aber nur über die Niere.

Die Forscher wollten wissen: Als Schüler B und Schüler C ihr Lesen beendet hatten, hatten sie dann nur ihren Kopf geneigt, um dieselben Fakten anders zu betrachten (Rotation), oder haben sie die Größe der Wörter geändert, auf die sie achten (Reskalierung)? Oder haben sie die alten Fakten weggeworfen und völlig neue geschrieben (Ersetzung)?

Der „Geist“ in der Maschine

Bevor sie die große Frage beantworteten, fanden die Forscher einen unheimlichen Hinweis. Sie bemerkten, dass tausende spezifische Zeilen in den Notizbüchern aller drei Schüler bitgenau identisch waren. Dies waren Zeilen, die kein Schüler jemals tatsächlich gelesen oder gelernt hatte. Da die Notizbücher mit zufälligen Kritzeleien begannen und diese Zeilen sich nie änderten, erkannten die Forscher: „Aha! Alle drei Schüler starteten mit exakt denselben zufälligen Kritzeleien!“

Dies war ein Wendepunkt. Es bedeutete, dass die Forscher genau wussten, wie „Rauschen“ aussah. Sie konnten eine Linie in den Sand ziehen: Alles unter dieser Linie war nur die ursprüngliche zufällige Kritzelei; alles über dieser Linie war echtes Lernen.

Die schockierenden Ergebnisse: Es ist keine Rotation, es ist ein Umschreiben

Sobald sie die zufälligen Kritzeleien herausfilterten, war die Antwort auf ihre Hauptfrage klar und überraschend.

1. Der „Nieren“-Schüler hat nicht viel gelernt
Der Schüler, der nur die Nierenbroschüre (814.000 Zellen) gelesen hatte, hatte sein Notizbuch kaum verändert. Von 512 möglichen Richtungen, in denen er lernen konnte, waren nur 12 tatsächlich neu. Der Rest war nur die ursprüngliche zufällige Kritzelei. Es ist, als versuche man, eine neue Sprache zu lernen, indem man ein einzelnes Comicbuch liest; man beherrscht die Sprache noch nicht wirklich. Die Forscher fanden heraus, dass das „Lernen“ bei diesem Schüler so schwach war, dass es größtenteils nur aus Rauschen bestand.

2. Der „Gehirn“-Schüler änderte die Karte, nicht nur den Winkel
Der Schüler, der das Gehirn-Lehrbuch (13,2 Millionen Zellen) gelesen hatte, lernte mehr – etwa 104 neue Richtungen. Aber hier liegt der Clou: Er hat nicht nur die Karte rotiert oder die bestehenden Straßen größer gemacht. Er hat die Straßen ersetzt.

Die Forscher versuchten, die Karte des Gehirn-Schülers mittels einer „Rotation“ (Drehen der Karte) oder einer „Reskalierung“ (Strecken der Karte) auf die Karte des Ganzkörper-Schülers zu übertragen. Das funktionierte nicht gut.

• Eine einfache Rotation erklärte weniger als 30 % der Änderungen.
• Selbst wenn man eine „Streckung“ für jede einzelne Straße hinzufügte, erklärte dies nur ein winziges Stück mehr.
• Um die Karten zur Deckung zu bringen, mussten sie eine komplexe, unordentliche lineare Abbildung verwenden, die nur etwa 57 % der Änderungen erklärte.

Das bedeutet, dass der Roboter, wenn er über ein spezifisches Organ lernt, nicht einfach dieselben biologischen Fakten aus einem anderen Blickwinkel betrachtet. Er verwirft die meisten der alten „Achsen“ (die Hauptwege, wie er Informationen organisiert) und schreibt neue. Der Gehirn-Schüler und der Nieren-Schüler sprechen verschiedene Dialekte derselben Sprache, nicht nur denselben Dialekt mit einem anderen Akzent.

3. Die „Mitte“ ist dort, wo die Magie passiert
Die Forscher schauten auch darauf, wo im Gehirn des Roboters das Lernen stattfand. Sie fanden heraus, dass das Lernen in den mittleren Schichten des Roboter-Netzwerks konzentriert war, insbesondere in den Teilen, die sich auf Verbindungen (Attention) konzentrieren, und in den Teilen, die Informationen verarbeiten (Feed-Forward). Die „Normalisierung“-Teile (die den Roboter stabil halten) änderten sich kaum. Es ist, als hätte der Schüler die mittleren Kapitel seines Lehrbuchs umgeschrieben, aber die Einleitung und den Schluss exakt so gelassen, wie sie bei seinem Start waren.

4. Richtung ist wichtiger als Größe
Als der Roboter über das Gehirn im Vergleich zur Niere lernte, verriet die Größe der Änderung nicht, um welches Organ es sich handelte. Ein Gen, das sich stark veränderte, konnte von überall her kommen. Aber die Richtung der Änderung war ein eindeutiger Hinweis. Wenn ein Gen in eine bestimmte Richtung wanderte, war es mit Sicherheit ein Gehirngen. Wenn es in die entgegengesetzte Richtung wanderte, war es ein Nierengen. Der Roboter lernte, Organe durch die Art und Weise zu erkennen, in welche Richtung sich die Information verschob, nicht durch die Menge, um die sie sich verschob.

Die Erkenntnisse für zukünftige Entdecker

Die Arbeit bietet einige sehr praktische Regeln für jeden, der versucht, diese KI-Roboter zur Biologie einzusetzen:

• Halten Sie sich an den Generalisten: Wenn Sie die Biologie verstehen wollen, nutzen Sie das Modell, das mit dem gesamten menschlichen Körper trainiert wurde (das 33-Millionen-Zellen-Modell). Es hat die meisten „gelernten“ Richtungen und die klarste Struktur.
• Gehen Sie nicht von Übertragbarkeit aus: Sie können nicht einfach eine Entdeckung aus dem „Gehirn“-Modell auf das „Nieren“-Modell übertragen, indem Sie nur an einem Regler drehen. Die internen Karten sind zu unterschiedlich. Wenn Sie die Erkenntnisse des Gehirn-Modells für die Niere nutzen wollen, müssen Sie sie von Grund auf neu lernen.
• Vorsicht bei kleinen Datensätzen: Wenn ein Modell mit weniger als etwa 10 Millionen Zellen trainiert wurde (wie das Nieren-Modell in dieser Studie), hat es möglicherweise gar nichts Reales gelernt. Es spiegelt möglicherweise nur seine eigenen zufälligen Ausgangskritzeleien wider. Bevor Sie einem kleinen organspezifischen Modell vertrauen, sollten Sie prüfen, ob es tatsächlich etwas über das Rauschen hinaus gelernt hat.

Kurz gesagt: Der Roboter dreht nicht nur seinen Kopf, um ein neues Organ zu sehen; er muss einen neuen Kopf wachsen lassen. Und wenn er nicht genug Zeit zum Lesen hat (genug Daten), wächst ihm vielleicht gar kein neuer Kopf zu – er starrt dann nur leer auf die zufälligen Kritzeleien, mit denen er begonnen hat.