🤖 machine learning

PairSAE: Mechanistic Interpretability from Pair Representations in Protein Co-Folding

Das Papier stellt PairSAE vor, ein neuartiges Sparse-Autoencoder-Framework, das die Einschränkungen bei der Anwendung von Standard-SAEs auf Pairformer-Architekturen überwindet, indem es paarweise Tensoren mittels N-Mode-SVD zusammenfasst, um interpretierbare, gemeinsame Token-Level-Merkmale zu extrahieren, die mit biologischen Annotationen übereinstimmen und Modellaffinitätswerte vorhersagen.

Ursprüngliche Autoren: Giosue Migliorini, Aristofanis Rontogiannis, Grigori Guitchounts, Nicholas Franklin, Axel Elaldi, Olivia Viessmann

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Giosue Migliorini, Aristofanis Rontogiannis, Grigori Guitchounts, Nicholas Franklin, Axel Elaldi, Olivia Viessmann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter, der ein Bild eines Proteins (einer winzigen biologischen Maschine) betrachten und genau vorhersagen kann, wie es sich faltet oder wie es an ein Wirkstoffmolekül bindet. Dieser Roboter, genannt Boltz-2, ist unglaublich präzise. Aber es gibt ein Problem: Er ist eine „Black Box“. Wir wissen, was er vorhersagt, aber wir wissen nicht, wie er denkt. Es ist, als würde man einem Magier dabei zusehen, wie er ein Kaninchen aus einem Hut zieht, aber man hat keine Ahnung, wo das Kaninchen versteckt war oder welcher Trick angewandt wurde.

Um dies zu beheben, verwenden Wissenschaftler normalerweise ein Werkzeug namens Sparse Autoencoder (SAE). Stellen Sie sich diesen SAE als einen Übersetzer vor, der versucht, die ungeordneten, komplizierten internen Gedanken des Roboters in eine Liste einfacher, klarer Konzepte zu übersetzen (wie zum Beispiel „dieser Teil ist klebrig“ oder „dieser Teil ist ein Scharnier“).

Das Problem: Das „Paar“-Rätsel

Der Roboter (Boltz-2) betrachtet das Protein nicht nur als eine einzelne Kette von Perlen (eine Sequenz). Er denkt auch darüber nach, wie jede einzelne Perle gleichzeitig mit jeder anderen Perle in Beziehung steht. Er hat eine „Paar“-Ansicht.

Wenn man versucht, einen Standard-Übersetzer (SAE) auf diese „Paar“-Ansicht anzuwenden, stößt man auf ein massives Problem:

Die Explosion: Wenn das Protein 1.000 Perlen hat, weist die „Paar“-Ansicht 1.000 x 1.000 = 1.000.000 Verbindungen auf. Zu versuchen, alle diese Verbindungen einzeln zu übersetzen, würde ein Wörterbuch erfordern, das so riesig ist, dass es den Computer zum Absturz bringt.
Die Verwirrung: Der Roboter vermischt seine „Sequenz“-Gedanken mit seinen „Paar“-Gedanken. Ein Standard-Übersetzer versucht, diese zu trennen, landet aber in einem wirren Durcheinander, in dem die Konzepte schwer zu verstehen sind.

Die Lösung: PairSAE

Die Autoren haben ein neues Werkzeug namens PairSAE entwickelt. So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Das „Zusammenfassungsblatt“ (N-Mode SVD)
Stellen Sie sich eine riesige Tabelle vor, die zeigt, wie jeder Mitarbeiter in einem Unternehmen mit jedem anderen Mitarbeiter interagiert. Sie ist zu groß, um sie zu lesen.
Anstatt jede einzelne Zelle zu lesen, macht PairSA-SE einen Schritt zurück. Es nutzt einen mathematischen Trick (genannt N-Mode SVD), um für jeden Mitarbeiter ein „Zusammenfassungsblatt“ zu erstellen. Dieses Blatt listet nicht jede Interaktion auf, sondern erfasst die Rolle, die dieser Mitarbeiter in der Gruppe spielt (z. B. „Diese Person ist ein Vermittler“ oder „Diese Person ist eine Führungspersönlichkeit“).
Dies verwandelt die massive Tabelle mit 1.000.000 Zellen in eine handhabbare Liste von 1.000 Rollen.

2. Der gemeinsame Übersetzer
Nun nimmt PairSAE die ursprünglichen „Sequenz“-Gedanken des Roboters und fügt diese neuen „Rollenzusammenfassungen“ hinzu. Es speist diese kombinierten Informationen in einen einzigen, gemeinsamen Übersetzer ein.
Dieser Übersetzer lernt einen Satz von „Features“ (Konzepten), die sowohl die Sequenz- als auch die Paar-Interaktionen gleichzeitig erklären. Es ist, als hätte man ein einziges Wörterbuch, das sowohl die Wörter in einem Satz als auch die Grammatikregeln erklärt, die sie miteinander verbinden, anstatt zwei separate, verwirrende Wörterbücher zu besitzen.

Was sie herausfanden

Die Forscher testeten dies an einem Datensatz von Proteinen und Wirkstoffen (genannt PLINDER). Sie fragten: „Können diese neuen Features erklären, was der Roboter weiß?“

Es spricht Biologie: Die Features, die das Werkzeug fand, stimmten perfekt mit realen biologischen Labels überein. Zum Beispiel leuchtete ein Feature spezifisch auf, wenn der Roboter auf „Disulfidbrücken“ blickte (den chemischen Kleber, der Proteine zusammenhält), und ein anderes leuchtete auf, wenn es um „Transmembranproteine“ (Proteine, die in Zellwänden sitzen) ging. Es ist, als hätte der Übersetzer erfolgreich die geheime Sprache des Roboters in das biologische Fachenglisch dekodiert.
Es sagt die Affinität voraus: Der Roboter sagt voraus, wie stark ein Wirkstoff an ein Protein bindet (Affinität). Die Forscher fanden heraus, dass bestimmte durch PairSAE entdeckte Features stark mit diesen Vorhersagen verknüpft waren. Beispielsweise fanden sie ein Feature, das nur dann „aktiviert“ wurde, wenn der Roboter auf ein Protein-Wirkstoff-Paar blickte, das sehr fest aneinander haftet.

Das Fazit

Die Arbeit behauptet, dass PairSAE ein neuer Weg ist, um in das Gehirn fortgeschrittener Protein-Faltungs-Roboter hineinzublicken. Indem es komplexe „Paar“-Beziehungen zu einfachen „Rollen“ zusammenfasst und einen gemeinsamen Übersetzer verwendet, kann es klare, verständliche Konzepte extrahieren, die mit der realen Biologie übereinstimmen.

Sie haben nicht behauptet, dass dieses Werkzeug sofort Krankheiten heilen oder neue Medikamente in einem Krankenhaus entwickeln kann. Sie haben lediglich demonstriert, dass es erfolgreich offenlegt, was das Modell über Proteinstrukturen und Bindungsprozesse lernt, wodurch die „Black Box“ ein Stück transparenter wird.

Technisches Resümee: PairSAE – Mechanistische Interpretierbarkeit aus Paar-Repräsentationen in der Protein-Co-Faltung

Problemstellung
Fundamentale Modelle für die Strukturbiologie, wie AlphaFold und die Boltz-Modelle, haben eine bemerkenswerte Genauigkeit bei der Vorhersage biomolekularer Strukturen und Komplexe erreicht. Das Verständnis der internen Merkmale, die diese Ausgaben antreiben, bleibt jedoch eine erhebliche Herausforderung. Während Sparse Autoencoder (SAEs) erfolgreich „superponierte“ Merkmale in Transformer-basierten Sprachmodellen (LLMs) und Protein-Sprachmodellen (pLMs) durch die Abbildung auf monosemantische Konzepte entwirrt haben, lassen sie sich nicht reibungslos auf Strukturvorhersagemodelle übertragen.

Im Gegensatz zu Standard-LLMs nutzen Strukturvorhersagemodelle Pairformer-Architekturen, die sowohl Sequenz-Einbettungen als auch paarweise Interaktionstensoren beibehalten. Die naive Anwendung von SAEs auf diese Modelle führt zu zwei kritischen Problemen:

Quadratischer Aufblähungseffekt: Das Erlernen separater Dictionaries für paarweise Repräsentationen skaliert quadratisch mit der Sequenzlänge, was die Analyse rechnerisch prohibitiv macht.
Verdeckte Konzepte: Merkmale können gemeinsam über Sequenz- und Paar-Räume superponiert sein. Eine separate Behandlung scheitert daran, Konzepte zu erfassen, die über beide Repräsentationen verteilt sind, während eine unabhängige Behandlung die gemeinsame Natur der gelernten Merkmale verschleiert.

Methodik: PairSAE
Die Autoren führen PairSAE ein, ein Framework, das darauf ausgelegt ist, einen gemeinsamen Satz von Token-Level-Merkmalen zu erlernen, die sowohl Sequenz- als auch Paar-Repräsentationen gemeinsam rekonstruieren. Die Methode besteht aus drei primären Phasen:

Zusammenfassung paarweiser Interaktionen via N-Mode SVD:
Um die quadratische Skalierung der paarweisen Tensoren ( $Z \in \mathbb{R}^{N_{tok} \times N_{tok} \times n_z}$ ) zu vermeiden, führen die Autoren eine N-Mode Singulärwertzerlegung (SVD) durch. Sie extrahieren die Mode-1- und Mode-2-Matrizen der linken Singulärvektoren ( $U^{(1)}$ und $U^{(2)}$ ), welche die Rollen der Zeilen- und Spalteninteraktion für jeden Token kodieren. Diese werden auf die obersten $r$ Singulärvektoren gekürzt und zu einem Token-weisen Zusammenfassungs-Embedding $m_i$ konkateniert. Dieser Schritt komprimiert die paarweisen Informationen in eine Token-weise Repräsentation, die die Interaktionsrollen bewahrt, ohne eine quadratische Komplexität zu erzeugen.
Shared Autoencoder Architektur:
Der PairSAE-Encoder nimmt die Konkatenation des ursprünglichen Sequenz-Embeddings ( $s_i$ ) und des durch SVD abgeleiteten Interaktions-Zusammenfassungs-Embeddings ( $m_i$ ) als Input entgegen. Er erzeugt einen spärlichen latenten Merkmalsvektor $h_i$ unter Verwendung einer Sparsity-induzierenden Nichtlinearität (eine Komposition aus BatchTopK und ReLU).
Entscheidend ist, dass der Decoder diesen gemeinsamen Merkmalsatz $h$ verwendet, um sowohl das Sequenz-Embedding als auch das Paar-Embedding zu rekonstruieren:
- Das Sequenz-Embedding: $\hat{s}_i = D_s h_i + b_{dec}^s$
- Das Paar-Embedding: $\hat{z}_{i,j} = D_z^{row} h_i + D_z^{col} h_j + b_{dec}^z$
  Dies zwingt das Modell dazu, eine vereinheitlichte Merkmalsbasis zu lernen, die sowohl den lokalen Sequenzkontext als auch die paarweisen Interaktionen erklärt.
Loss-Funktion und Training:
Das Modell wird unter Verwendung eines Matryoshka-SAE-Loss trainiert, der den Decoder und die Merkmalsvektoren über verschachtelte Breiten ( $c_1 < c_2 < c_3 = D$ ) schneidet, um Robustheit gegenüber Dictionary-Größen zu gewährleisten. Der Gesamtverlust umfasst Rekonstruktionsterme für sowohl Sequenz- als auch Paar-Repräsentationen, die gleich gewichtet sind, plus einen Hilfsverlust, um „tote“ Merkmale zu verhindern. Das Training wird beschleunigt, indem eine Monte-Carlo-Approximation für den paarweisen Loss-Term berechnet wird, wobei für jedes $i$ ein einzelnes $j$ gesampelt wird.

Wesentliche Beiträge

PairSAE Architektur: Eine neuartige Methode zur Anwendung von Sparse Dictionary Learning auf Pairformer-basierte Modelle durch die Zusammenfassung von Paar-Tensoren via N-Mode SVD und die Dekodierung in sowohl Sequenz- als auch Paar-Räume aus einem gemeinsamen Merkmalsatz.
Interpretierbare Entdeckung von Merkmalen: Die Methode rekonstruiert erfolgreich Merkmale, die mit biophysikalischen Konzepten übereinstimmen, und vermeidet dabei die Fallstricke konventioneller SAEs bei der Anwendung auf Strukturmodelle der Biologie.
Anwendung auf Bindungsaffinität: Das Framework wird auf Boltz-2-Aktivierungen von Protein-Ligand-Komplexen (PLINDER-Datensatz) angewendet, um latente Repräsentationen mit der Bindungsaffinität zu verknüpfen.

Ergebnisse
Die Autoren evaluierten PairSAE auf Boltz-2-Repräsentationen für Protein-Ligand-Komplexe:

Linear Probing: PairSAE-Merkmale zeigten eine hohe Vorhersagekraft für UniProt-Residue-Annotationen. Merkmale aus den Schichten 33 und 64 (dritter Recycling-Schritt) erreichten F1-Scores von 29,1 % bzw. 24,0 % auf Token-Ebene und 53,2 % bzw. 49,6 % auf Komplex-Ebene, was Klassifikatoren basierend auf ESM2-650M-Neuronen (die 0,8 % bzw. 19,7 % erreichten) signifikant übertraf.
Konzept-Alignment: Visualisierungen zeigten spezifische Merkmale, die auf distinkte Strukturmotive wie Transmembranregionen, Disulfidbrücken und Protease-Aktive Zentren reagieren, mit hohen F1-Scores gegenüber dem UniProt-Ground-Truth.
Affinitätsvorhersage: Unter Verwendung von LASSO-Regression auf Max-Pooled PairSAE-Merkmalen sagten die Autoren Boltz-2-Affinitätswerte mit einem $R^2$ von 0,5,28 auf einem Testset (PoseBusters) voraus. Spezifische Merkmale (z. B. Merkmal 2299) wurden identifiziert, die stark mit hochaffinen Komplexen korrelieren, spezifisch auf Liganden aktivieren und signifikante Gruppenunterschiede im Vergleich zu inaktiven Komplexen zeigen.

Bedeutung und Behauptungen
Das Paper behauptet, dass PairSAE erfolgreich den latenten Raum von Fundamentmodellen für die Strukturbiologie mit interpretierbaren Strukturkonzepten verknüpft. Durch die Adressierung der spezifischen architektonischen Einschränkungen von Pairformer-Modellen klärt PairSAE, „was das Modell weiß“ bezüglich Faltung und Bindung, ohne den quadratischen Komplexitäts- oder Feature-Superpositions-Problemen zu erliegen, die konventionelle SAEs einschränken.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu einer prinzipienorientierten Evaluierung und Entdeckung in der Strukturbiologie, die es Forschern ermöglicht, die Vorhersagezuverlässigkeit und biophysikalische Plausibilität zu bewerten. Sie merken an, dass die Methode zwar effektiv Sequenz- und Paar-Merkmale auf bekannte Annotationen abbildet, jedoch eine Einschränkung darin besteht, die liganden-aktivierenden Merkmale spezifischen Konzepten zuzuordnen, da detaillierte Liganden-Annotationen fehlen. Zukünftige Arbeiten schlagen vor, die Studie auf mehr Schichten auszuweiten, diese Merkmale in automatisierte Pipelines zu integrieren und Steering-Methoden für das interpretierbare Proteindesign zu entwickeln.

Das Problem: Das „Paar“-Rätsel

Die Lösung: PairSAE

Was sie herausfanden

Das Fazit

Mehr davon