🤖 machine learning

Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian

Diese Arbeit zeigt auf, dass Proteinkontaktsignale, die zuvor über die rechenintensive Kategorische Jacobi-Matrix mit etwa 19L Vorwärtsläufen extrahiert wurden, bereits in einer kleinen Teilmenge von Attention-Heads konzentriert sind, die mit minimalen gelabelten Daten identifiziert werden können, um eine überlegene oder vergleichbare Leistung in einem einzigen Vorwärtslauf auf Leakage-bereinigten Benchmarks zu erzielen.

Ursprüngliche Autoren: Rome Thorstenson

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rome Thorstenson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Eine Abkürzung im Protein-"Gehirn" finden

Stellen Sie sich ein Protein-Sprachmodell (PLM) wie einen superintelligenten Studenten vor, der Millionen von Proteinsequenzen gelesen hat. Dadurch hat der Student gelernt, wie Proteine sich in 3D-Formen falten, obwohl ihm Geometrie nie explizit beigebracht wurde.

Wissenschaftler haben versucht, "in den Kopf" dieses Studenten zu schauen, um zu sehen, welche Teile des Proteins zusammenhalten (Kontakte), um diese 3D-Form zu bilden.

Der alte Weg (Die "Kategoriale Jacobi-Matrix"):
Früher war die beste Methode wie ein sehr gründlicher, aber erschöpfender Detektiv. Um herauszufinden, ob zwei Teile eines Proteins "Freunde" sind, würde der Detektiv:

Das Protein nehmen.
Den ersten Buchstaben der Sequenz in jeden anderen möglichen Buchstaben ändern (19-mal).
Beobachten, wie sich die Antwort des Studenten verändert.
Dies für jeden einzelnen Buchstaben des Proteins wiederholen.

Wenn ein Protein 300 Buchstaben hat, muss dieser Detektiv den Studenten 5.700 Mal durch den Test laufen lassen (300 Buchstaben × 19 Änderungen), nur um eine einzige Antwort zu erhalten. Es ist genau, aber unglaublich langsam und rechenintensiv.

Der neue Weg (Die "Attention-Fusion"):
Diese Arbeit argumentiert, dass der Student die Antwort bereits in seinen Notizen aufgeschrieben hat, während er das Protein das erste Mal gelesen hat. Diese Notizen werden "Attention Maps" genannt.

Die Autoren fanden heraus, dass die Information darüber, welche Teile des Proteins zusammenhalten, bereits in den studentischen Notizen vorhanden ist, konzentriert in nur wenigen spezifischen "Heads" (denken Sie an diese als spezifische Notizbücher oder Seiten im Gehirn des Studenten).

Anstatt den Test 5.700 Mal durchzuführen, macht die neue Methode einfach:

Läuft das Protein einmal durch den Studenten.
Schaut in die spezifischen Seiten (Attention Heads), auf denen der Student die "Zusammenhalt"-Notizen aufgeschrieben hat.
Berechnet den Durchschnitt dieser Seiten, um die Antwort zu erhalten.

Das Ergebnis: Die neue Methode ist genauso genau (und oft sogar besser) als die alte Detektiv-Methode, benötigt aber nur einen einzigen Durchgang statt tausender. Es ist, als würde man den Spickzettel hinten im Lehrbuch finden, anstatt die gesamte Formel von Grund auf neu herzuleiten.

Erklärte Kernergebnisse

1. Das "Leakage"-Problem (Der Betrugstest)

Den Autoren fiel auf, dass frühere Studien vielleicht "geschummelt" haben. Die Testproteine, die verwendet wurden, um diese Modelle zu bewerten, waren manchmal ähnlich zu den Proteinen, die der Student während des Trainings bereits auswendig gelernt hatte. Es ist, als würde man einem Studenten eine Abschlussprüfung geben, die Fragen enthält, die er schon aus den Hausaufgaben kennt.

Um dies zu beheben, entwickelten die Autoren einen "Leakage-freien" Test. Sie verwendeten nur Proteine, die erst nach dem Ende der Lernphase des Studenten entdeckt wurden.

Was passierte? Als sie den "Betrugsvorteil" entfernten, wurde die alte Detektiv-Methode (Kategoriale Jacobi-Matrix) viel schlechter. Die neue "Spickzettel"-Methode (Attention-Fusion) blieb stark.
Die Erkenntnis: Die alte Methode verließ sich teilweise auf das Gedächtnis des Studenten bezüglich der spezifischen Testfragen. Die neue Methode versteht die Struktur tatsächlich besser.

2. Die "diffusen" vs. "konzentrierten" Notizbücher

Die Autoren entdeckten, dass verschiedene Modelle ihre Notizen unterschiedlich schreiben:

Konzentrierte Modelle: Einige Modelle schreiben die Antwort in nur einem spezifischen Notizbuch. Wenn man in dieses eine Notizbuch schaut, erhält man die Antwort.
Diffuse Modelle: Andere Modelle verteilen die Antwort über viele Notizbücher. Kein einzelnes Notizbuch enthält das vollständige Bild, aber wenn man alle zusammen mittelt, erscheint die Antwort.

Die Arbeit zeigt, dass man feststellen kann, welche Art von Modell man vor sich hat, indem man sich einige wenige Beispiele ansieht – und dann weiß man, ob man in ein einzelnes Notizbuch schauen oder zehn zusammen mitteln muss.

3. Die "kausale" Sackgasse

Die Autoren testeten einen anderen Typ von Modell (ein "kausales" Modell), das Proteine wie einen Satz liest: von links nach rechts, ohne zurückzublicken.

Das Ergebnis: Sowohl die alte Detektiv-Methode als auch die neue Spickzettel-Methode versagten völlig bei diesen Modellen.
Die Erkenntnis: Dies deutet darauf an, dass ein Modell in der Lage sein muss, das gesamte Protein gleichzeitig zu betrachten (bidirektional), und nicht nur Wort für Wort von links nach rechts zu lesen, um zu verstehen, wie Proteine in 3D zusammenhalten.

4. Geschwindigkeit und Kosten

Der Unterschied in der Geschwindigkeit ist gewaltig.

Alte Methode: Wenn man 1.000 Proteine analysieren möchte, könnte die alte Methode aufgrund der tausenden Durchläufe pro Protein hunderte Dollar an Rechenzeit kosten.
Neue Methode: Sie kostet nur einen Bruchteil davon, da sie nur einmal pro Protein läuft. Es ist wie der Unterschied zwischen dem manuellen Zählen jedes Sandkorns an einem Strand und dem Aufnehmen eines Satellitenfotos mit einem einfachen Algorithmus, um die Gesamtzahl zu schätzen.

Zusammenfassung

Die Arbeit behauptet, dass Proteinfunktionsmodelle bereits wissen, wie sich Proteine falten; sie verstecken dieses Wissen nur in ihren internen "Attention"-Mechanismen. Indem wir lernen, diese spezifischen Notizen direkt zu lesen, können wir Proteinstrukturen viel schneller und genauer vorhersagen als bisher, ohne tausende teure Simulationen durchführen zu müssen. Dies funktioniert am besten bei Modellen, die das gesamte Protein gleichzeitig betrachten können, und es hält stand, selbst wenn wir die Modelle mit völlig neuen Daten testen, die sie noch nie zuvor gesehen haben.

Technisches Resümee: Proteinkontakte sind bereits in der Attention enthalten

Problemstellung

Protein-Sprachmodelle (PLMs), die auf riesigen unbeschrifteten Sequenzkorpora trainiert wurden, lernen reiche Repräsentationen der Proteinstruktur. Eine zentrale Frage ist, ob dieses strukturelle Wissen ohne überwachtes Training auf Struktur-Labels extrahiert werden kann. Zhang et al. [2024] schlugen die Standard Categorical Jacobian (CJ) als Lösung vor: Durch die Perturbation jedes Rückstands mit jeder alternativen Aminosäure und der Messung der Reaktion in den Masked-Language-Model (MLM)-Logits kann man eine Kontaktkarte rekonstruieren. Obwohl CJ eine hohe Präzision erreicht (P@L ≈ 0,80 bei bestimmten Benchmarks), ist es rechenintensiv und erfordert etwa $19L$ Vorwärtsläufe für ein Protein der Länge $L$ . Darüber hinaus ist CJ strukturell an Architekturen mit einem pro-Position befindlichen kategorialen Head gebunden (bidirektionale Masked-LMs), was die Anwendbarkeit auf Encoder-Decoder- oder kausale Modelle einschränkt.

Jüngste Evaluierungen haben auch Bedenken hinsichtlich Daten-Leakage geäußert, bei dem sich die Vortraining-Korpora mit den Evaluationssets überschneiden können, was die Leistungsmetriken künstlich aufbläht. Es besteht ein Bedarf an einer Methode, die recheneffizient, über diverse Architekturen hinweg anwendbar und robust gegenüber Vortraining-Leakage ist.

Methodik

Die Autoren schlagen vor, dass das durch die Categorical Jacobian rekonstruierte Kontaktsignal bereits explizit in den Attention-Maps des Modells vorhanden ist, konzentriert in einer kleinen, identifizierbaren Teilmenge von Attention-Heads.

1. Top-K Attention Fusion

Anstatt Inputs zu perturbieren, extrahiert die vorgeschlagene Methode die Kontaktsignale direkt aus den Attention-Mechanismen des PLM:

Extraktion: Für jeden Attention-Head wird die Attention-Map symmetrisiert, diagonal-nullgestellt und mittels Average Product Correction (APC) korrigiert.
Selektion: Die Heads werden nach ihrer Fähigkeit zur Vorhersage von Kontakten gerankt (gemessen an der Top-L/2 Long-Range-Präzision) auf einem kleinen, disjunkten gelabelten Selektionssatz (so wenig wie 10 Proteine).
Fusion: Die top- $K$ selektierten Heads werden unter Verwendung eines einfachen, ungewichteten arithmetischen Mittels kombiniert. Dies erfordert pro Protein nur einen Vorwärtslauf während der Inferenz.
Label-Effizienz: Die Selektion der Top- $K$ Heads ist der einzige überwachte Schritt, der ein minimales Budget an gelabelten Proteinen erfordert (10 für die Selektion, 50 für eine budget-gleiche Kontrollgruppe gegen überwachte Regression).

2. Representation-CJ (Repr-CJ)

Um gegen CJ auf Architekturen vorzugehen, die keinen MLM-Head besitzen (z. B. Encoder-Decoder oder kausale Modelle), führen die Autoren Representation-CJ ein. Dies generalisiert die Konstruktion der Jacobian, indem die Logit-Reaktion durch die Hidden-State-Reaktion ersetzt wird:
$J_{repr}[i, a', j] = \| h_{i \to a'}[\ell, j] - h_{unpert}[\ell, j] \|_2$
wobei $h$ den Hidden State an Position $j$ und Layer $\ell$ darstellt, wenn Rückstand $i$ zu Aminosäure $a'$ perturbiert wurde. Dies behält die gleiche Rechenkosten ( $19L + 1$ Vorwärtsläufe) wie Logit-CJ bei, ist aber auf alle Architekturen anwendbar, die Hidden States exponieren.

3. Evaluationsprotokoll

Die Studie verwendet eine leakage-clean Evaluationsstrategie, um sicherzustellen, dass die Ergebnisse keine Artefakte von Vortraining-Überlappungen sind:

CAMEO-PTA25: Ein primäres Evaluationsset, bestehend aus Proteinketten, die nach dem Vortraining-Cutoff der Modelle deponiert wurden (nach 2022-09), gefiltert gegen aktuelles UniRef50 bei 50 % Identität.
Disjunkte Selektion: Die Head-Selektion und die Evaluation werden auf disjunkten Teilmengen der Daten durchgeführt, um Informations-Leakage zu verhindern.
Baselines: Die Methode wird gegen die Standard Categorical Jacobian (logit-CJ), den besten einzelnen Attention-Head und überwachte L1-logistische Regressions-Baselines verglichen.

Zentrale Beiträge

Effizienz und Leistung: Die Top-K Attention Fusion Methode rekonstruiert Kontaktsignale in einem einzelnen Vorwärtslauf und schlägt die Categorical Jacobian auf Leakage-Clean-Daten für jedes getestete bidirektionale Modell (ESM-2 Familie, ESM-1b, ProtT5-XL).
Leakage-Clean Validierung: Auf einem leakage-clean CAMEO-Split übertrifft die Fusion die CJ signifikant (z. B. +9 Prozentpunkte bei ESM-2-650M). Entscheidend ist, dass die Categorical Jacobian auf diesen sauberen Daten nicht mehr den besten einzelnen Attention-Head übertrifft, was darauf hindeutet, dass ihre bisherige In-Distribution-Überlegenheit teilweise auf Memorierung beruhte.
Architektonische Generalisierung: Die Autoren zeigen, dass das Kontaktsignal in Encoder-Decoder-Modellen (ProtT5-XL) via Attention-Fusion existiert, und führen Repr-CJ ein, um die Jacobian-basierte Analyse auf diese Architekturen zu erweitieren.
Mechanistischer Einblick (Diffusität): Die optimale Anzahl der zu fusionierenden Heads ( $K$ $K$ ) hängt von der „Diffusität“ des Kontaktsignals innerhalb des Modells ab.
- Konzentrierte Cluster: Einige Modelle (z. B. ESM-2-8M, AMPLIFY-350M) konzentrieren das Signal in einem einzigen dominanten Head; das Mitteln weiterer Heads verwässert das Signal.
- Diffuse Cluster: Größere Modelle (z. B. ESM-2-650M, ProtT5-XL) verteilen das Signal über viele Heads; das Mitteln ist erforderlich, um den Konsens wiederherzustellen.
Limitierung kausaler Modelle: Sowohl die Fusion als auch die CJ-Methoden brechen bei kausalen Sprachmodellen (ProGen2-large und -xlarge) zusammen, was darauf hindeutet, dass bidirektionales Vortraining notwendig ist, damit Attention-Mechanismen symmetrische Paarstrukturen kodieren können.

Ergebnisse

Leistungsunterschied: Auf Leakage-Clean-Daten schlägt die Fusion die CJ um etwa 9 Prozentpunkte bei ESM-2-650M. Beide Methoden fallen um 30–36 Prozentpunkte in der absoluten Präzision zurück, wenn man von In-Distribution (Zhang eval-200) zu Leakage-Clean (CAMEO-PTA25) Benchmarks wechselt, was darauf hindeutet, dass frühere unüberwachte Kontakt-Vorhersageergebnisse signifikant durch Vortraining-Overlap aufgebläht waren.
Überwacht vs. Unüberwacht: Bei einem budget-gleichen Label-Budget (50 Proteine) ist ein ungewichtetes Mittel der Top- $K$ Heads statistisch ununterscheidbar von einer überwachten L1-logistischen Regression auf denselben Heads. Dies impliziert, dass die Selektion der Heads der primäre Treiber der Leistung ist, nicht die parametrische Form des Readouts.
Rechenökonomie: Die Fusion erfordert einen Vorwärtslauf pro Protein, während CJ $\sim 19L$ benötigt. Der Break-Even-Punkt für die Rechenkosten liegt unter 20 Test-Proteinen, was die Fusion für groß angelegte Anwendungen weitaus effizienter macht.
Validierung von Repr-CJ: Repr-CJ korreliert eng mit logit-CJ (Pearson $r > 0,90$ ) auf Architekturen, in denen beide definiert sind, was sie als treue Generalisierung für Nicht-MLM-Modelle validiert.

Bedeutung und Behauptungen

Das Paper behauptt, dass die Categorical Jacobian keine neuen Kontaktinformationen extrahiert, sondern vielmehr die strukturellen Paar-Informationen rekonstruiert, die das Modell bereits in seinen Attention-Mustern repräsentiert. Die wichtigste Erkenntnis ist, dass dieses Signal über eine einfache, parameterfreie Mittelung einer kleinen Teilmenge von Attention-Heads zugänglich ist, was eine recheneffizientere Alternative zu perturbationsbasierten Methoden bietet.

Die Autoren betonen, dass die „Leakage-Clean“-Evaluation eine erhebliche Lücke zwischen In-Distribution und echter Generalisierungsleistung aufzeigt, was darauf hindeutet, dass zukünftige Benchmarks für unüberwachte Kontaktvorhersage standardmäßig Vortraining-bewusste Splits verwenden müssen. Die Arbeit hebt zudem hervor, dass die Zuweisung struktureller Informationen über Attention-Heads eine gelernte Eigenschaft des Vortraining-Prozesses ist und nicht eine architektonische Unvermeidlichkeit, was selbst innerhalb derselben Modellfamilie variiert (z. B. ESM-2 Skalierung).

Schließlich wird der Zusammenbruch beider Methoden bei kausalen LMs als Beleg dafür präsentiert, dass bidirektionales Vortraining ein entscheidender Faktor für das Erlernen symmetrischer Paarstrukturen in der Attention ist, wobei die Autoren anmerken, dass dies angesichts des begrenzten Umfangs der getesteten kausalen Modelle ein assoziativer Befund ist.