🤖 machine learning

Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian

Dit artikel toont aan dat eiwitcontactsignalen, die voorheen werden geëxtraheerd via de computationeel dure Categorical Jacobian die ongeveer 19L forward passes vereist, al geconcentreerd zijn in een kleine subset van attention heads die met minimale gelabelde data geïdentificeerd kunnen worden om superieure of vergelijkbare prestaties te behalen in een enkele forward pass op leakage-clean benchmarks.

Oorspronkelijke auteurs: Rome Thorstenson

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rome Thorstenson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Snelkoppeling Vinden in het "Brein" van het Eiwit

Stel je een eiwittaalmodel (PLM) voor als een superintelligente student die miljoenen eiwitsequenties heeft gelezen. Hierdoor heeft de student geleerd hoe eiwitten zich in 3D-vormen vouwen, ook al is de student nooit expliciet geometrie geleerd.

Wetenschappers hebben geprobeerd om de "gedachten" van deze student te lezen om te zien welke delen van het eiwit aan elkaar plakken (contacten) om die 3D-vorm te vormen.

De Oude Manier (De "Categorical Jacobian"):
Voorheen was de beste methode als een zeer grondige maar uitputtende detective. Om te ontdekken of twee delen van een eiwit vrienden zijn, deed de detective het volgende:

Neem het eiwit.
Verander de eerste letter van de sequentie naar elke andere mogelijke letter (19 keer).
Kijk hoe het antwoord van de student verandert.
Herhaal dit voor elke letter in het eiwit.

Als een eiwit 300 letters heeft, moet deze detective de student 5.700 keer de test laten doen (300 letters × 19 veranderingen) om slechts één antwoord te krijgen. Het is accuraat, maar ongelooflijk traag en rekentechnisch duur.

De Nieuwe Manier (De "Attention Fusion"):
Dit artikel stelt dat de student het antwoord eigenlijk al in zijn aantekeningen heeft geschreven terwijl hij de eiwit voor de eerste keer las. Deze aantekeningen worden "attention maps" genoemd.

De auteurs ontdekten dat als je naar de aantekeningen van de student kijkt, de informatie over welke delen van het eiwit aan elkaar plakken er al is, geconcentreerd in slechts een paar specifieke "heads" (denk aan deze als specifieke notitieboekjes of pagina's in het brein van de student).

In plaats van de test 5.700 keer uit te voeren, doet de nieuwe methode simpelweg:

De eiwit door de student laten gaan één keer.
Kijken naar de specifieke pagina's (attention heads) waar de student de "aan elkaar plakken"-aantekeningen heeft gemaakt.
Die pagina's samenvoegen om het antwoord te krijgen.

Het Resultaat: De nieuwe methode is net zo accuraat (en vaak zelfs beter) dan de oude detective-methode, maar het kost slechts één enkele passage in plaats van duizenden. Het is also[t] een spiekbriefje vinden achterin het tekstboek in plaats van de hele formule vanaf nul opnieuw af te leiden.

Belangrijkste Bevindingen Uitgelegd

1. Het "Leakage" Probleem (De Spiektest)

De auteurs merkten op dat eerdere studies misschien aan het "spieken" waren. De test-eiwitten die werden gebruikt om deze modellen te evalueren, leken soms op de eiwitten die de student tijdens de training al had onthouden. Het is alsof je een student een eindexamen geeft met vragen die hij al zag bij het huiswerk.

Om dit op te lossen, creëerden de auteurs een "leakage-clean" test. Ze gebruikten alleen eiwitten die na de studieperiode van de student waren ontdekt.

Wat gebeurde er? Toen ze het "spiek-voordeel" verwijderden, werd de oude detective-methode (Categorical Jacobian) veel slechter. De nieuwe "spiekbriefje"-methode (Attention Fusion) bleef sterk.
De les: De oude methode vertrouwde deels op het geheugen van de student voor de specifieke testvragen. De nieuwe methode begrijpt de structuur daadwerkelijk beter.

2. De "Diffuse" vs. "Geconcentreerde" Notitieboekjes

De auteurs ontdekten dat verschillende modellen hun aantekeningen anders maken:

Geconcentreerde Modellen: Sommige modellen schrijven het antwoord in slechts één specifiek notitieboekje. Als je naar dat ene notitieboekje kijkt, krijg je het antwoord.
Diffuse Modellen: Andere modellen verspreiden het antwoord over veel notitieboekjes. Geen enkel notitieboekje heeft het volledige beeld, maar als je ze allemaal samenvoegt, verschijnt het antwoord.

Het artikel laat zien dat je kunt achterhalen welk type model je hebt door naar een paar voorbeelden te kijken, en dan weet je of je naar één notitieboekje moet kijken of tien moet samenvoegen.

3. De "Causal" Doodlopende Weg

De auteurs testten een ander type model (een "Causal" model) dat eiwitten leest als een zin: van links naar rechts, zonder terug te kijken.

Het Resultaat: Zowel de oude detective-methode als de nieuwe spiekbriefje-methode faalden volledig op deze modellen.
De Les: Dit suggereert dat om te begrijpen hoe eiwitten in 3D aan elkaar plakken, het model in staat moet zijn om naar het hele eiwit tegelijk te kijken (bidirectioneel), en niet alleen woord voor woord te lezen.

4. Snelheid en Kosten

Het verschil in snelheid is enorm.

Oude Methode: Als je 1.000 eiwitten wilt analyseren, kost de oude methode je misschien honderden dollars aan computertijd omdat het de simulatie duizenden keren per eiwit moet draaien.
Nieuwe Methode: Het kost een fractie daarvan omdat het slechts één keer per eiwit wordt uitgevoerd. Het is als het verschil tussen handmatig elk zandkorreltje op een strand tellen versus een satellietfoto maken en een eenvoudig algoritme gebruiken om de totale hoeveelheid te schatten.

Samenvatting

Het artikel beweert dat eiwitmodellen al weten hoe eiwitten vouwen; ze verbergen die kennis alleen in hun interne "attention"-mechanismen. Door te leren die specifieke aantekeningen direct te lezen, kunnen we eiwitstructuren veel sneller en nauwkeuriger voorspellen dan voorheen, zonder dat we duizenden dure simulaties hoeven te draaien. Dit werkt het best op modellen die naar het hele eiwit tegelijk kunnen kijken (bidirectioneel), en het blijft standhouden, zelfs wanneer we de modellen testen op gloednieuwe data die ze nog nooit eerder hebben gezien.

Technisch overzicht: Eiwitcontacten zitten al in de aandacht

Probleemstelling

Eiwittaalmodellen (PLMs) die zijn getraind op enorme hoeveelheden ongelabelde sequentiecorpora, leren rijke representaties van eiwitstructuur. Een centrale vraag is of deze structurele kennis kan worden geëxtraheerd zonder supervisie op structuurlabels. Zhang et al. [2024] stelden de Standaard Categorische Jacobiaan (CJ) voor als oplossing: door elke residu te verstoren met elk alternatief aminozuur en de respons in de masked-language-model (MLM) logits van het model te meten, kan men een contactkaart reconstrueren. Hoewel CJ een hoge precisie bereikt (P@L ≈ 0,80 op bepaalde benchmarks), is het computationeel duur en vereist het ongeveer $19L$ forward passes voor een eiwit van lengte $L$ . Bovendien is CJ structureel gebonden aan architecturen met een per-positie categorische kop (bidirectionele masked-LMs), wat de toepasbaarheid op encoder-decoder of causale modellen beperkt.

Recente evaluaties hebben ook zorgen opgeroepen over datalekken, waarbij pretraining-corpora kunnen overlappen met evaluatiesets, wat de prestatiecijfers opblaast. Er is behoefte aan een methode die computationeel efficiënt is, toepasbaar is op diverse architecturen en robuust is tegen pretraining-lekken.

Methodologie

De auteurs stellen dat het contactsignaal dat wordt gereconstrueerd door de Categorische Jacobiaan al expliciet aanwezig is in de attention maps (aandachtskaarten) van het model, geconcentreerd in een kleine, identificeerbare subset van attention heads.

1. Top-K Attention Fusion

In plaats van inputs te verstoren, extraheert de voorgestelde methode contactsignalen rechtstreeks uit de aandachtmechanismen van de PLM:

Extractie: Voor elke attention head wordt de attention map gesymmetriseerd, diagonaal-vrij gemaakt en gecorrigeerd met behulp van Average Product Correction (APC).
Selectie: Heads worden gerangschikt op basis van hun vermogen om contacten te voorspellen (gemeten door top-L/2 langetermijnprecisie) op een kleine, disjunct gelabelde selectieset (slechts 10 eiwitten).
Fusie: De top- $K$ geselecteerde heads worden gecombineerd via een eenvoudig, ongewogen rekenkundig gemiddelde. Dit vereist slechts één forward pass per eiwit tijdens inferentie.
Label-efficiëntie: De selectie van de top- $K$ heads is de enige gesuperviseerde stap, waarbij een minimaal budget aan gelabelde eiwitten nodig is (10 voor selectie, 50 voor een gematchte-budget controle tegen supervised regressie).

2. Representation-CJ (Repr-CJ)

Om te vergelijken met CJ op architecturen die geen MLM-kop hebben (bijv. encoder-decoder of causale modellen), introduceren de auteurs Representation-CJ. Dit generaliseert de Jacobiaan-constructie door de logit-respons te vervangen door de hidden-state respons:
$J_{repr}[i, a', j] = \| h_{i \to a'}[\ell, j] - h_{unpert}[\ell, j] \|_2$
waarbij $h$ de hidden state vertegenwoordigt op positie $j$ en laag $\ell$ wanneer residu $i$ wordt verstoord naar aminozuur $a'$ . Dit behoudt dezelfde computationele kosten ( $19L + 1$ forward passes) als logit-CJ, maar is toepasbaar op elke architectuur die hidden states blootstelt.

3. Evaluatieprotocol

De studie maakt gebruik van een leakage-clean evaluatiestrategie om te garanderen dat resultaten geen artefacten zijn van pretraining-overlap:

CAMEO-PTA25: Een primaire evaluatieset bestaande uit eiwitketens die na de pretraining-cutoff van de modellen zijn gedeponeerd (post-2022-09), gefilterd tegen de huidige UniRef50 bij 50% identiteit.
Disjuncte Selectie: Head-selectie en evaluatie worden uitgevoerd op disjuncte subsets van de data om informatielekken te voorkomen.
Baselines: De methode wordt vergeleken met de Standaard Categorische Jacobiaan (logit-CJ), de beste enkele attention head, en supervised L1-logistische regressie baselines.

Belangrijkste Bijdragen

Efficiëntie en Prestatie: De Top-K attention fusion methode herstelt contactsignalen in een enkele forward pass, en verslaat daarmee de Categorische Jacobiaan op leakage-clean data voor elk geteste bidirectionele model (ESM-2 familie, ESM-1b, ProtT5-XL).
Leakage-Clean Validatie: Op een leakage-clean CAMEO-split presteert de fusie methode significant beter dan CJ (bijv. +9 procentpunten op ESM-2-650M). Cruciaal is dat op deze schone data de Categorische Jacobiaan niet langer de beste enkele attention head verslaat, wat suggereert dat de eerdere in-distributie superioriteit deels te wijten was aan memorisatie.
Architecturale Generalisatie: De auteurs demonstreren dat het contactsignaal aanwezig is in encoder-decoder modellen (ProtT5-XL) via attention fusion en introduceren Repr-CJ om de Jacobian-gebaseerde analyse uit te breiden naar deze architecturen.
Mechanistisch Inzicht (Diffusiteit): Het optimale aantal heads ( $K$ $K$ ) om te fuseren hangt af van de "diffusiteit" van het contactsignaal binnen het model.
- Geconcentreerde Clusters: Sommige modellen (bijv. ESM-2-8M, AMPLIFY-350M) concentreren het signaal in één dominante head; het middelen van meer heads verwatert het signaal.
- Diffuse Clusters: Grotere modellen (bijv. ESM-2-650M, ProtT5-XL) verspreiden het signaal over veel heads; middelen is vereist om de consensus te herstellen.
Beperking van Causale Modellen: Zowel de fusie als de CJ-methoden falen op causale taalmodellen (ProGen2-large en -xlarge), wat suggereert dat bidirectionele pretraining noodzakelijk is om symmetrische paarstructuren in aandacht te coderen.

Resultaten

Prestatiekloof: Op leakage-clean data verslaat fusie CJ met ongeveer 9 procentpunten op ESM-2-650M. Beide methoden dalen met 30–36 procentpunten in absolute precisie wanneer ze overgaan van in-distributie (Zhang eval-200) naar leakage-clean (CAMEO-PTA25) benchmarks, wat aangeeft dat eerdere ongesuperviseerde contactvoorspellingsresultaten aanzienlijk waren opgeblazen door pretraining-overlap.
Supervised vs. Unsupervised: Bij een gematcht labelbudget (50 eiwitten) presteert een ongewogen gemiddelde van de top- $K$ heads statistisch ononderscheidbaar van een supervised L1-logistische regressie fit op dezelfde heads. Dit impliceert dat de selectie van heads de primaire drijfveer is voor prestaties, en niet de parametrische vorm van de readout.
Computationele Economie: Fusie vereist één forward pass per eiwit, terwijl CJ $\sim 19L$ vereist. Het break-even punt voor computationele kosten ligt onder de 20 test-eiwitten, waardoor fusie vele malen efficiënter is voor grootschalige toepassingen.
Repr-CJ Validatie: Repr-CJ correleert nauw met logit-CJ (Pearson $r > 0,90$ ) op architecturen waar beide gedefinieerd zijn, wat het valideert als een getrouwe generalisatie voor niet-MLM modellen.

Betekenis en Claims

Het artikel claimt dat de Categorische Jacobiaan geen nieuwe contactinformatie extraheert, maar eerder de structurele paarinformatie reconstrueert die het model al vertegenwoordigt in zijn aandachtpatronen. De belangrijkste bevinding is dat dit signaal toegankelijk is via een eenvoudige, parameterloze middeling van een kleine subset van attention heads, wat een computationeel superieure methode biedt ten opzichte van perturbatie-gebaseerde methoden.

De auteurs benadrukken dat de "leakage-clean" evaluatie een aanzienlijk gat onthult tussen in-distributie en ware generalisatieprestaties, wat suggereert dat toekomstige benchmarks voor ongesuperviseerde contactvoorspelling standaard pretraining-bewuste splits moeten adopteren. Het werk benadrukt ook dat de allocatie van structurele informatie over attention heads een geleerd eigenschap is van het pretraining-proces in plaats van een architecturale onvermijdelijkheid, variërend zelfs binnen dezelfde modelfamilie (bijv. ESM-2 schalingen).

Ten slotte wordt het falen van beide methoden op causale LMs gepresenteerd als bewijs dat bidirectionele pretraining een cruciale factor is voor het leren van symmetrische paarstructuren in aandacht, hoewel de auteurs opmerken dat dit een associatieve bevinding is gezien de beperkte scope van de geteste causale modellen.