🧬 biology

Retrieval and competition: how a protein foundation model starts a protein

Diese Studie zeigt, dass das Protein-Sprachmodell ESM2-8M die universelle biologische Regel der Methionin-Initiation nicht durch direkte Erkennung des maskierten Restes vorhersagt, sondern durch Abruf eines statistischen Priors über einen komplexen, verteilten Rechenkreis, wodurch demonstriert wird, dass ein hohes Modellvertrauen statistische Defaults widerspiegeln kann statt echter biologischer Evidenz.

Ursprüngliche Autoren: Piotr Jedryszek, Oliver M. Crook

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Piotr Jedryszek, Oliver M. Crook

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut lesende Bibliothekarin namens ESM2. Diese Bibliothekarin hat Millionen von Büchern (Proteinsequenzen) gelesen und ist berühmt dafür, vorherzusagen, welches das allererste Wort einer neuen Geschichte sein wird.

In der Welt der Biologie gibt es eine einfache Regel: Fast jede Protein-Geschichte beginnt mit dem Wort „Methionin" (nennen wir es einfach „M"). Da die Bibliothekarin so viele Bücher gelesen hat, ist sie unglaublich zuversichtlich, dass, wenn Sie ihr eine Geschichte mit dem ersten Wort verdeckt (maskiert) geben, die Antwort „M" lautet.

Doch hier liegt das Rätsel, das die Arbeit löst: Schaut sich die Bibliothekarin tatsächlich die Hinweise in der Geschichte an, um dies herauszufinden? Oder rät sie nur aufgrund einer Gewohnheit?

Die Autoren dieser Arbeit entschieden sich, hinter den Vorhang des Gehirns der Bibliothekarin (des Computermodells) zu blicken, um zu sehen, wie sie diese Vermutung anstellt. Sie stellten fest, dass die Bibliothekarin die erste Stelle der Geschichte nicht tatsächlich „liest", um „M" zu finden. Stattdessen wendet sie einen cleveren, mehrstufigen Trick an, der ein Referenzbuch, eine Spezielle Abfrage und ein Tauziehen beinhaltet.

So funktioniert der Trick, aufgeschlüsselt in einfache Teile:

1. Das „Referenzbuch" (Das BOS-Token)

Im Büro der Bibliothekarin befindet sich am allerbeginnen jeder Datei ein spezielles Token namens BOS (Beginning of Sequence). Normalerweise denken die Leute, dies sei nur ein langweiliges Etikett, wie ein Zettel mit der Aufschrift „Hier beginnen".

Die Arbeit entdeckte, dass für die Bibliothekarin dieser Zettel tatsächlich ein Referenzbuch ist. In diesem Buch hat die Bibliothekarin die Antwort dauerhaft niedergeschrieben: „M". Dieses Buch bleibt genau gleich, egal welche Geschichte Sie lesen. Es ist ein statisches Gedächtnis der Regel.

2. Die „Spezielle Abfrage" (Die Notiz des Detektivs)

Wenn die Bibliothekarin das erste Wort erraten muss, schaut sie nicht einfach nur auf die erste Stelle. Sie muss einen Detektiv (einen Attention-Head) schicken, um das Referenzbuch zu überprüfen.

Aber der Detektiv kann nur zum Referenzbuch gehen, wenn er eine Spezielle Notiz (eine „Abfrage") hat, die sagt: „Ich bin am allerbeginnen der Geschichte."

Wie wird diese Notiz erstellt? Sie wird nicht in einem Schritt erstellt. Sie baut sich über mehrere Schichten des Gehirns der Bibliothekarin auf. Andere Detektive in früheren Schichten schauen auf das „Start"-Etikett und leiten diese Information weiter, wobei sie langsam eine Notiz zusammenstellen, die sagt: „Wir sind an Position 0!"
Die Wendung: Wenn der Detektiv an Position 5 steht (in der Mitte der Geschichte), sieht die Notiz, die er erstellt, anders aus. Sie sagt nicht „Gehen Sie zum Referenzbuch". Sie sagt: „Ignorieren Sie das Referenzbuch."

3. Das „Tauziehen" (Schaltkreis-Wettbewerb)

Dies ist der wichtigste Teil. Die Bibliothekarin hat nicht nur eine Stimme. Sie hat viele innere Stimmen (Schaltkreise), die Vorhersagen herausrufen.

Stimme A (Der Positionsprior): Diese Stimme ruft immer „M!", sobald sich der Detektiv an Position 0 befindet. Sie ist laut und beständig.
Stimme B (Die Kontextschaltkreise): Diese Stimmen hören auf den Rest der Geschichte. Wenn die Geschichte von einer langen Kette aus „A"s (Alanin) handelt, ruft Stimme B: „Nein! Es ist ein 'A'!"

Das Ergebnis:

Am Anfang der Geschichte (Position 0) ist Stimme A normalerweise die lauteste, also sagt die Bibliothekarin „M" voraus.
In der Mitte der Geschichte ruft Stimme A immer noch „M!" (weil das Referenzbuch immer da ist), aber Stimme B ruft viel lauter „A!". Die Bibliothekarin hört auf die lauteste Stimme, also sagt sie „A" voraus.

Die Arbeit stellte fest, dass die Bibliothekarin keinen „Stummschaltknopf** hat, um Stimme A in der Mitte der Geschichte zu verstummen. Stattdessen ist Stimme A immer da; sie wird einfach vom Kontext überstimmt.

4. Das „Geometrische Tor" (RoPE)

Wie weiß die Bibliothekarin, wo sie sich in der Geschichte befindet, um die richtige Notiz zu erstellen? Sie verwendet ein mathematisches Werkzeug namens RoPE (Rotary Position Embedding).

Stellen Sie sich RoPE als einen Kompass oder einen Uhrzeiger vor, der sich dreht, während Sie durch die Geschichte wandern.

An Position 0 zeigt der Kompass nach Norden. Dies stimmt perfekt mit dem „Referenzbuch" überein und ermöglicht es dem Detektiv, es zu finden.
An Position 10 zeigt der Kompass nach Süden. Dies bringt den Detektiv aus der Ausrichtung, sodass er das Referenzbuch nicht finden kann, obwohl das Buch immer noch dort sitzt.

Die Arbeit entdeckte, dass diese Ausrichtung auf zwei Arten geschieht:

Richtung: Der Kompass zeigt in die richtige Richtung (Winkelausrichtung).
Stärke: Die Stimme des Detektivs wird je nach Position lauter oder leiser (Norm-Verstärkung).

Wenn Sie den Kompass zerstören (RoPE entfernen), gerät die Bibliothekarin in Verwirrung. Sie beginnt, an jeder Stelle der Geschichte „M!" zu rufen, nicht nur am Anfang, weil sie keinen Unterschied mehr zwischen dem Anfang und der Mitte erkennen kann.

Das große Fazit

Die Arbeit kommt zu dem Schluss, dass das Vertrauen der Bibliothekarin in die Vorhersage von „M" am Anfang eines Proteins nicht darauf beruht, dass sie ein biologisches Signal an dieser spezifischen Stelle erkannt hat.

Stattdessen liegt es daran, dass:

Sie eine gespeicherte Regel aus einem „Referenzbuch" (BOS) abgerufen hat.
Sie eine „Spezielle Notiz" verwendet hat, die von einem Team von Detektiven erstellt wurde, um zu bestätigen, dass sie am Anfang war.
Sie ein „Tauziehen" gegen andere Stimmen gewonnen hat, die versucht hatten, basierend auf dem Rest der Geschichte zu raten.

Warum ist das wichtig?
Die Autoren warnen, dass, wenn die Bibliothekarin zuversichtlich ist, dies nicht bedeutet, dass sie die Biologie „versteht". Sie gewinnt möglicherweise nur das Tauziehen mit einem statistischen Standardwert. Wenn die Biologie eines Proteins seltsam ist (z. B. wenn es mit etwas anderem als „M" beginnt), wird die Bibliothekarin immer noch „M" raten, weil ihr internes „Referenzbuch" dies besagt und sie die Ausnahme nicht gelernt hat.

Um die Vorhersage einer KI in der Wissenschaft wirklich zu vertrauen, können wir nicht nur auf die Antwort schauen; wir müssen die Schaltkreise (die Detektive, den Kompass und das Tauziehen) verstehen, um zu sehen, ob die KI echte Beweise verwendet oder nur einen glücklichen Zufall.

Technisches Fazit: Abruf und Konkurrenz in Protein-Grundmodellen

Problemstellung
Protein-Sprachmodelle (PLMs) werden zunehmend herangezogen, um experimentelle und klinische Entscheidungen zu leiten. Eine kritische Unschärfe bleibt jedoch bestehen: Spiegelt eine konfidente Vorhersage die Erkennung biologisch bedeutsamer Evidenz innerhalb der Eingabe wider oder lediglich den Abruf eines gespeicherten statistischen Defaults, der unabhängig von spezifischer Evidenz angewendet wird? Obwohl beide Mechanismen identische Vorhersagen liefern, begründet nur erstere das Vertrauen in die Generalisierung. Bestehende Methoden der mechanistischen Interpretierbarkeit haben interne Merkmale identifiziert und Repräsentationen zerlegt, behandelten den Aufmerksamkeitsmechanismus – das Routing von Informationen zwischen Positionen – jedoch weitgehend als Blackbox. Insbesondere die Rolle der Positions-Encoding bei der Steuerung des Informationsflusses erhielt wenig Aufmerksamkeit. Dieser Beitrag schließt diese Lücke, indem er den Rechenpfad einer einfachen, nahezu universellen biologischen Regel nachzeichnet: dass Proteine typischerweise mit Methionin (Met) beginnen.

Methodik
Die Autoren analysierten ESM2-8M, ein Protein-Sprachmodell mit 6 Schichten und 8 Millionen Parametern. Sie setzten eine Reihe mechanistisch interpretierbarer Techniken ein, um die Vorhersage von Methionin an der ersten Position (Position 0) zu zerlegen, wenn das initiale Restid maskiert ist:

Ablationsstudien: Systematische Null-Ablation von Aufmerksamkeitsköpfen und MLP-Modulen an spezifischen Token-Positionen (nur-Maskierung vs. alle-Positionen), um notwendige Komponenten zu identifizieren.
Aktivierungs-Patching: Einspeisung intermediärer Repräsentationen (Queries, Keys, Values, Attention-Ausgaben) aus „sauberen" Läufen (Maskierung an Position 0) in „korrupte" Läufe (Maskierung an internen Positionen), um kausale Abhängigkeiten zu isolieren.
Schaltkreis-Entdeckung: Eine greedy-Suche zur Identifizierung minimaler Sätze von Komponenten, die für die Methionin-Vorhersage erforderlich sind.
Norm-Richtung-Zerlegung: Eine neuartige Zerlegung von Attention-Werten innerhalb der Frequenzbänder von Rotary Positional Embeddings (RoPE). Die Autoren trennten den Attention-Wert ( $Q \cdot K$ ) in einen Betragsterm (Query-Norm) und einen Ausrichtungsterm (Cosinus des Winkels zwischen Query und Key), um zu bestimmen, wie Positionsinformation kodiert wird.
RoPE-Manipulation: Austausch von RoPE-Rotationen zwischen Positionen und Anwendung einheitlicher Indexverschiebungen, um geometrische Kausalität zu testen.
Konkurrenz-Experimente: Kontextverlängerungs- und -zerstörungs-Experimente mit Poly-Alanin-Sequenzen, um zu beobachten, wie konkurrierende Signale das Methionin-Logit beeinflussen.

Hauptergebnisse

Schaltkreis-Konkurrenz, nicht lokale Erkennung:
Das Modell sagt Methionin an Position 0 nicht durch lokale Erkennung der Identität an Position 0 vorher, sondern durch eine Konkurrenz zwischen Schaltkreisen. Der Methionin-Schaltkreis liefert an der ersten Position ein annähernd konstantes Signal. An internen Positionen erzeugen kontextabhängige Schaltkreise konkurrierende Signale, die das Methionin-Prior oft übertreffen. Wenn der Kontext zerstört wird (z. B. durch Maskierung interner Restide), tritt das Methionin-Signal wieder als dominant hervor. Dies zeigt, dass das Modell keine Regel für Position 0 „einschaltet"; vielmehr hält es ein konstantes Prior vor, das an anderen Stellen durch stärkere kontextuelle Signale überlagert wird.
Die Architektur des Methionin-Schaltkreises:
Die Vorhersage wird durch einen verteilten, mehrschichtigen Schaltkreis vermittelt, nicht durch eine einfache lokale Regel:
- Readout (Schicht 6): Der Kopf L6H8 fungiert als finaler Readout. Er attends fast ausschließlich auf das Beginning-of-Sequence (BOS)-Token und schreibt ein methioninspezifisches Signal in die Ausgabe. Sein Output-Value (OV)-Vektor ist stark mit dem Methionin-Logit-Gradienten ausgerichtet.
- Query-Zusammensetzung (Upstream-Schichten): L6H8 agiert nicht unabhängig. Es verlässt sich auf eine Query, die upstream (hauptsächlich in Schichten 1, 4 und 5) von Aufmerksamkeitsköpfen konstruiert wird, die auf das BOS-Token attends. Diese upstream-Köpfe nutzen RoPE-vermittelte Positionssignale, um eine Query zusammenzustellen, die, wenn sie durch RoPE von L6H8 rotiert wird, mit dem BOS-Key ausgerichtet ist.
- Repräsentationsaufbau (MLPs): MLPs früher Schichten (L1, L2, L4) sind essenziell für den Aufbau der Key/Value-Repräsentationen am BOS und der Query an der maskierten Position. Ohne diese versagt der Schaltkreis.
Die aktive Rolle des BOS-Tokens:
Im Gegensatz zur Auffassung des BOS als passiven Delimiter stellen die Autoren fest, dass es als aktiver Rechenknoten fungiert. Es speichert eine stabile, positionsinvariante Referenzrepräsentation (Key und Value), die der Schaltkreis abruft. Die Spezifität der Vorhersage (warum sie an Position 0 und nicht anderswo stattfindet) wird ausschließlich durch die Query bestimmt, die am maskierten Token gebildet wird, nicht durch Änderungen in der BOS-Repräsentation.
Mechanismus der Positionsselektivität (RoPE):
Die Autoren führen eine Norm-Richtung-Zerlegung von Attention-Werten über RoPE-Frequenzbänder ein. Sie finden, dass Positionsselektivität aus gekoppelten Änderungen der Query-Norm und der Winkel-Ausrichtung resultiert:
- Dominantes Band ( $f_0$ ): Operiert auf beiden Achsen. An internen Positionen kollabiert die Query-Norm für dieses Band um etwa das Siebenfache, und die Cosinus-Ausrichtung mit dem BOS-Key sinkt von ~0,8 auf nahezu Null.
- Sekundäre Bänder ( $f_1, f_2, f_6$ ): Wirken primär als Ausrichtungsselektoren, wobei Cosinus-Werte das Vorzeichen wechseln oder kollabieren, während die Normen relativ stabil bleiben.
- RoPE als Gate: In einem isolierten minimalen Schaltkreis (ohne konkurrierende Kontextschaltkreise) führt das Entfernen von RoPE dazu, dass das Modell Methionin an allen Positionen vorhersagt. RoPE ermöglicht die Vorhersage an Position 0 also nicht nur; es schaltet den Schaltkreis aktiv ab, um das Prior an internen Positionen zu unterdrücken.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass die Unterscheidung zwischen biologischer Erkennung und statistischem Abruf eine Auflösung auf der Ebene individueller Schaltkreise, Frequenzbänder und Query-Zusammensetzung erfordert.

Mechanistische Verifikation: Selbst für die einfachste biologische Regel (Proteine beginnen mit Met) wird die Vorhersage des Modells durch einen verteilten Rechen-Schaltkreis vermittelt, nicht durch direkte Erkennung. Dies legt nahe, dass für komplexere Aufgaben die Beziehung zwischen Modellkonfidenz und zugrundeliegender biologischer Evidenz zunehmend verschleiert sein wird.
Interpretierbarkeit der Konfidenz: Hohe Konfidenz garantiert nicht die Verwendung korrekter biologischer Evidenz; sie kann lediglich anzeigen, dass ein Schaltkreis (das statistische Prior) andere dominiert.
Allgemeine Rechen-Motive: Die Ergebnisse unterstreichen die aktive Rolle von BOS-Tokens als Referenzrahmen und die Verwendung von Query-Zusammensetzung für das Positions-Routing, Motive, die über Protein-Modelle hinaus für Transformer-Architekturen allgemein sein könnten.
Limitationen: Die Autoren stellen fest, dass, obwohl die Schaltkreis-Architektur in ESM2-8M identifiziert wurde, offen bleibt, ob diese spezifischen Motive in größeren Modellen oder über verschiedene PLM-Familien hinweg bestehen bleiben. Sie identifizieren zudem, dass die upstream Query-Zusammensetzung sowohl rein RoPE-getriebene Köpfe als auch mindestens einen kontextabhängigen Kopf (L4H3) umfasst, dessen spezifischer Inhalt noch zu identifizieren ist.

Die Studie schließt, dass mechanistische Verifikation für Vorhersagen mit hohen biologischen Konsequenzen notwendig und herausfordernd ist, da das „Wissen" des Modells über Biologie möglicherweise ein Nebenprodukt statistischer Regularitäten ist, die über komplexe, verteilte Schaltkreise abgerufen werden.