The Complex Geometry of Biological Knowledge in Artificial Intelligence: Manifolds, Spectra, and Concept Structure in Foundation-Model Representations

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine riesige Bibliothek ihre Bücher organisiert. In der Welt der künstlichen Intelligenz gibt es „Foundation Models“ – gewaltige Computerprogramme, die auf Ozeanen von Daten trainiert wurden, um die Regeln eines spezifischen Fachgebiets zu erlernen. Ein populärer Typ dieser Modelle wird auf biologischen Daten trainiert, wie etwa dem genetischen Code von Zellen oder den Sequenzen von Proteinen. Wissenschaftler haben kürzlich entdeckt, dass einige dieser Modelle, insbesondere jene, die auf Zelldaten trainiert wurden, eine sehr ausgeklügelte interne Karte zu besitzen scheinen. Es scheint, als würden sie Informationen entlang glatter, gekrümmter Pfade (sogenannte „Manifolds“) organisieren und eine komplexe, vielschichtige Struktur aufweisen, die an eine wunderschöne, komplizierte Skulptur erinnert. Dies ist aufregend, denn wenn ein Computer Wissen wie eine komplexe Skulptur organisiert, könnte es für uns einfacher sein, zu verstehen, wie er „denkt“, und diese Struktur sogar nutzen, um neue Biologie zu entdecken.

Aber hier liegt die große Frage: Organisieren alle biologischen KI-Modelle ihr Wissen auf diese Weise? Was ist mit den Modellen, die auf Proteinen trainiert wurden? Proteine sind die winzigen Maschinen, die den Großteil der Arbeit in unseren Körpern verrichten, und ihre „Sprache“ ist eine lange Kette von Aminosäuren. Wenn diese Proteinmodelle ebenfalls diese ausgeklügelte, gekrümmte Geometrie besitzen, wäre das ein riesiger Gewinn für Wissenschaftler, die versuchen, sie zu entschlüsseln. Wenn sie dies nicht tun, bedeutet das, dass wir vielleicht nach einer Schatzkarte suchen, wo eigentlich nur ein flaches, offenes Feld existiert. Diese Arbeit setzt sich das Ziel, diese Proteinmodelle mit einer Lupe zu untersuchen und zu sehen, ob sie tatsächlich dieselbe geheime, komplekische Architektur besitzen wie ihre zellfokussierten Verwandten, oder ob ihre interne Welt auf einer völlig anderen Art von Logik aufgebaut ist.

---

Die große Protein-Kartensuche: Eine Erzählung von Kurven vs. Wolken

Lernen Sie die Protein-Sprachmodelle (pLMs) kennen. Betrachten Sie sie als superintelligente Köche, die jedes Rezept im Universum probiert haben (Hunderte Millionen Proteinsequenzen) und die Regeln des Kochens gelernt haben, ohne jemals ein fertiges Gericht gesehen zu haben. Sie sind so gut, dass sie vorhersagen können, wie sich ein Protein in eine 3D-Form faltet oder welche Funktion es im Körper hat. Wissenschaftler haben sich gefragt: „Wie organisiert dieser Koch sein Wissen in seinem Gehirn?“

Lange Zeit schien die Antwort „in einem komplexen, gekrümmten Labyrinth“ zu lauten. Andere biologische KI-Modelle (trainiert auf Einzelzellen) wurden gefunden zu haben, dass ihr Wissen in glatten, niedrigdimensionalen Kurven gespeichert ist, wie ein Band, das sich durch einen hochdimensionalen Raum windet. Sie besaßen „spektrale“ Strukturen (wie deutliche Farbbänder in einem Regenbogen) und „Konzept-Hierarchien“ (wie ein Stammbaum, bei dem sich Ideen ordentlich verzweigen). Dies führte zu einer großen Hypothese: Vielleicht organisieren alle biologischen KIs ihr Wissen in diesen prächtigen, komplexen geometrischen Formen.

Diese Arbeit, unter der Leitung der Forscherin Liu Chen, beschloss, diese Hypothese auf die Probe zu stellen. Sie bauten eine „Drei-Linsen-Batterie“, um die Gehirne von acht verschiedenen Proteinmodellen zu untersuchen, darunter die berühmte ESM-2-Familie (von winzigen 8-Millionen-Parameter-Modellen bis hin zu massiven 3-Milliarden-Parameter-Giganten) sowie andere wie ProtBERT und Ankh. Sie schauten nicht nur hin; sie verwendeten einen Satz strenger Werkzeuge, um drei spezifische Dinge zu messen:

1. Die Form (Manifold): Ist die Datenstruktur auf einer glatten, gekrümmten Oberfläche organisiert?
2. Das Spektrum: Verfügt die Datenstruktur über deutlich getrennte Informationsbänder wie ein Regenbogen?
3. Die Konzepte: Sind Ideen in einer ordentlichen Hierarchie oder einem Stammbaum angeordnet?

Sie führten dieselben Tests auch an „synthetischen Kontrollen“ durch – künstliche Daten, die sie selbst erstellt hatten und von denen bekannt war, dass sie komplexe Formen aufweisen (wie ein verdrehter Donut oder eine Spirale). Wenn ihre Werkzeuge funktionierten, sollten sie die komplexen Formen in den künstlichen Daten finden.

Das Urteil: Es ist eine flache, lineare Wolke, kein gekrümmtes Labyrinth

Die Ergebnisse waren etwas überraschend, aber sehr eindeutig. Die Autoren fanden heraus, dass Protein-Sprachmodelle nicht über die komplexe, gekrümmte Geometrie verfügen, die Zellmodelle aufweisen. Stattdessen ist ihr internes Wissen „real, aber einfach“.

1. Die Form: Eine Wolke, kein Band
Als die Forscher versuchten, eine glatte, gekrümmte Oberfläche (ein Manifold) zu finden, auf der die Proteindaten liegen, blieben sie leer aus.

• Das Ergebnis: Obwohl die Daten so aussehen, als könnten sie auf einer niedrigdimensionalen Kurve liegen (die „nichtlineare intrinsische Dimension“ war klein, etwa 26 für die großen Modelle), sieht die Realität anders aus. Die Daten breiten sich tatsächlich über einen riesigen, hochdimensionalen Raum aus (lineare Dimension um 131).
• Die Analogie: Stellen Sie sich vor, Sie versuchen, ein zerknittertes Blatt Papier flach zu drücken. Wenn es ein glattes Band wäre, könnten Sie es leicht glätten. Aber diese Proteinmodelle sind eher wie eine riesige, fluffige Wolke aus Zuckerwatte. Aus der Ferne betrachtet wirkt es klein, aber wenn man versucht, es in eine flache Form zu pressen, breitet es sich einfach aus.
• Der Beweis: Als die Forscher versuchten, die Daten mit ausgeklügelter, gekrümmter Mathematik zu visualisieren (wie UMAP, das populär ist, um hübsche 2D-Bilder zu erstellen), waren die Ergebnisse katastrophal. Die Modelle verloren ihre Fähigkeit, Proteineigenschaften vorherzusagen. Jedoch funktionierte einfache, geradlinige Mathematik (lineare Sonden) perfekt. Die Autoren kommen zu dem Schluss, dass die „Geometrie“ des Proteinwissens kein glattes, gekrümmtes Manifold ist, sondern eine „nahezu lineare, hochdimensionale Wolke“.

2. Das Spektrum: Eine glatte Rutsche, kein Regenbogen
Als Nächstes untersuchten sie das „Spektrum“ der Daten, was vergleichbar ist mit dem Betrachten der Frequenzen eines Liedes.

• Das Ergebnis: Sie fanden eine einzige, glatte Datensrutsche, die einem Potenzgesetz folgt (einer spezifischen mathematischen Kurve, bei der der Exponent nahe bei 1 liegt). Es gab keine deutlichen „Bänder“ oder Lücken, die verschiedene biologische Konzepte voneinander trennten.
• Die Analogie: Wenn die Zellmodelle wie ein Regenbogen mit deutlichen roten, orangefarbenen und blauen Bändern wären, dann sind die Proteinmodelle wie ein einziger, glatter Graustufenverlauf. Es gibt keine scharfen Linien, die einen Typus von Protein von einem anderen in der internen Struktur trennen.
• Die Nuance: Obwohl es keine komplexe Struktur gab, war die Steilheit dieser glatten Rutsche (der Exponent) tatsächlich sehr nützlich. Sie fungierte wie eine „Qualitätsbewertung“. Je flacher die Rutsche (je näher der Exponent bei 1 lag), desto besser performte das Modell bei realen Aufgaben. Die Struktur war also zwar nicht komplex, aber sie war ein zuverlässiger Indikator dafür, wie gut das Modell tatsächlich war.

3. Die Konzepte: Flach, nicht hierarchisch
Schließlich prüften sie, wie die Modelle „Konzepte“ wie „Ist dies ein Membranprotein?“ oder „Was ist seine Sekundärstruktur?“ organisieren.

• Das Ergebnis: Die Modelle waren sehr gut darin, diese Fragen mithilfe einfacher, gerader Linien zu beantworten. Wenn man eine lineare Sonde fragte: „Ist dies ein Membranprotein?“, antwortete sie mit hoher Genauigkeit mit „Ja“. Die Beziehungen zwischen diesen Konzepten waren jedoch flach.
• Die Analogie: Stellen Sie sich eine Bibliothek vor. In einer komplexen Hierarchie sind Bücher nach Kontinent, dann Land, dann Stadt und schließlich Straße sortiert. In diesen Proteinmodellen sind die Bücher einfach auf einem riesigen, flachen Tisch verstreut. Man kann das richtige Buch leicht finden (lineare Dekodierbarkeit), aber es gibt keinen ordentlichen Stammbaum, der sie verbindet. Der „Analogietest“ (die Prüfung, ob das Modell versteht, dass „A zu B wie C zu D ist“) schlug ebenfalls fehl; die Beziehungen waren schwach und verliefen nicht parallel wie in Sprachmodellen.
• Der Störfaktor: Die Autoren fanden auch heraus, dass ein Teil der scheinbaren Struktur lediglich die Reaktion des Modells auf Basiseigenschaften wie die Länge des Proteins oder die Anzahl bestimmter Aminosäuren war, statt tiefer biologischer Bedeutung.

Warum der Unterschied? Die Natur der Daten

Die Arbeit bietet eine faszinierende Begründung dafür, warum Proteinmodelle anders sind als Zellmodelle.

• Zelldaten: Zellen verändern sich kontinuierlich. Eine Stammzelle verwandelt sich langsam in eine Blutzelle. Dies erzeugt einen glatten, gewundenen Pfad (ein Manifold) in den Daten.
• Proteindaten: Proteine sind diskret. Sie bestehen aus einer Kette von 20 möglichen Aminosäuren. Der Raum aller möglichen Proteine ist riesig und „stückig“, organisiert durch die Evolutionsgeschichte (Homologie) statt durch glatte Übergänge.
• Das Fazit: Da die Daten selbst diskret und in Clustern verstreut sind, muss die KI das Modell keine glatte, gekrümmte Karte bauen. Sie breitet ihr Wissen einfach in einer hochdimensionalen, linearen Wolke aus. Die „komplexe Geometrie“, die bei Zellmodellen berichtet wurde, lässt sich nicht auf Proteine übertragen, weil die zugrunde liegende Realität der Proteine eine andere ist.

Das Resümee

Die Autoren kommen zu dem Schluss, dass biologisches Wissen in Proteinmodellen real und zugänglich, aber geometrisch einfach ist.

• Was funktioniert: Einfache, lineare Werkzeuge (wie geradlinige Sonden und PCA) sind der beste Weg, um diese Modelle zu lesen.
• Was nicht funktioniert: Der Versuch, diese Modelle in komplexe, gekrümmte Formen zu pressen oder in ihrer internen Struktur nach tiefen, hierarchischen Stammbäumen zu suchen, ist eine Sackgasse.
• Der Lichtblick: Die Tatsache, dass das Wissen linear und einfach ist, ist eigentlich eine gute Nachricht. Es bedeutet, dass wir diesen Modellen vertrauen können, uns direkte Antworten zu geben, ohne ein mysteriöses, gekrümmtes Labyrinth entschlüsseln zu müssen. Die Hypothese der „komplexen Geometrie“ mag für Zellmodelle wunderschön sein, passt aber schlichtweg nicht in die Welt der Proteine. Die Arbeit bestätigt: Für Proteine ist die Karte kein gewundenes Band, sondern ein weites, offenes und überraschend geradliniges Feld.