🧬 biology

Retrieval and competition: how a protein foundation model starts a protein

Dit artikel onthult dat het ESM2-8M-eiwit-taalmodel de universele biologische regel van methionine-initiatie niet voorspelt door directe herkenning van het gemaskeerde residu, maar door het ophalen van een statistische prior via een complex, gedistribueerd computationeel circuit, waarmee wordt aangetoond dat een hoge modelbetrouwbaarheid statistische standaardwaarden kan weerspiegelen in plaats van echte biologische evidentie.

Oorspronkelijke auteurs: Piotr Jedryszek, Oliver M. Crook

Gepubliceerd 2026-05-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Piotr Jedryszek, Oliver M. Crook

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je een zeer slimme, goed gelezen bibliothecaris voor met de naam ESM2. Deze bibliothecaris heeft miljoenen boeken (eiwitsequenties) gelezen en staat bekend om het voorspellen van het aller eerste woord van een nieuw verhaal.

In de wereld van de biologie geldt een eenvoudige regel: bijna elk eiwitverhaal begint met het woord "Methionine" (laten we het "M" noemen). Omdat de bibliothecaris zoveel boeken heeft gelezen, is hij ongelooflijk zeker ervan dat als je hem een verhaal geeft waarvan het eerste woord verborgen is (gemaskeerd), het antwoord "M" is.

Maar hier is het mysterie dat dit artikel oplost: Kijkt de bibliothecaris daadwerkelijk naar de aanwijzingen in het verhaal om dit te achterhalen? Of raadt hij gewoon op basis van een gewoonte?

De auteurs van dit artikel besloten om achter het gordijn van het brein van de bibliothecaris (het computermodel) te kijken om te zien hoe hij deze gok maakt. Ze ontdekten dat de bibliothecaris de eerste plek van het verhaal niet echt "leest" om "M" te vinden. In plaats daarvan gebruikt hij een slimme, meerstaps truc die een Referentieboek, een Speciale Query en een Touwtrekken omvat.

Hier is hoe de truc werkt, opgesplitst in eenvoudige onderdelen:

1. Het "Referentieboek" (De BOS-token)

In het kantoor van de bibliothecaris staat een speciale token aan het begin van elk bestand, genaamd BOS (Beginning of Sequence). Meestal denken mensen dat dit gewoon een saaie label is, zoals een post-it met de tekst "Begin Hier".

Het artikel ontdekte dat voor de bibliothecaris deze post-it eigenlijk een Referentieboek is. In dit boek heeft de bibliothecaris het antwoord permanent opgeschreven: "M". Dit boek blijft exact hetzelfde, ongeacht welk verhaal je leest. Het is een statisch geheugen van de regel.

2. De "Speciale Query" (Het notitie van de detective)

Wanneer de bibliothecaris het eerste woord moet raden, kijkt hij niet zomaar naar de eerste plek. Hij moet een detective (een attention-head) sturen om het Referentieboek te controleren.

Maar de detective kan alleen naar het Referentieboek gaan als hij een Speciaal Bericht (een "query") heeft dat zegt: "Ik bevind me aan het begin van het verhaal."

Hoe wordt dit bericht gemaakt? Het wordt niet in één stap gemaakt. Het wordt opgebouwd over meerdere lagen van het brein van de bibliothecaris. Andere detectives in eerdere lagen kijken naar het "Start"-label en geven die informatie door, waardoor langzaam een bericht wordt samengesteld dat zegt: "We bevinden ons op Positie 0!"
De Twist: Als de detective op Positie 5 staat (het midden van het verhaal), ziet het bericht dat hij opbouwt er anders uit. Het zegt niet "Ga naar het Referentieboek". Het zegt: "Negeer het Referentieboek."

3. Het "Touwtrekken" (Circuitconcurrentie)

Dit is het belangrijkste deel. De bibliothecaris heeft niet slechts één stem. Hij heeft veel interne stemmen (circuits) die voorspellingen schreeuwen.

Stem A (De positionele prior): Deze stem schreeuwt altijd "M!" wanneer de detective op Positie 0 staat. Het is luid en consistent.
Stem B (De contextcircuits): Deze stemmen luisteren naar de rest van het verhaal. Als het verhaal gaat over een lange keten van "A"s (Alanine), schreeuwt Stem B: "Nee! Het is een 'A'!"

Het Resultaat:

Aan het begin van het verhaal (Positie 0) is Stem A meestal het luidst, dus voorspelt de bibliothecaris "M".
In het midden van het verhaal schreeuwt Stem A nog steeds "M!" (omdat het Referentieboek er altijd is), maar Stem B schreeuwt "A!" veel harder. De bibliothecaris luistert naar de luidste stem, dus hij voorspelt "A".

Het artikel ontdekte dat de bibliothecaris geen "demperknop" heeft om Stem A in het midden van het verhaal stil te maken. In plaats daarvan is Stem A altijd aanwezig; hij wordt gewoon overstemd door de context.

4. De "Geometrische Poort" (RoPE)

Hoe weet de bibliothecaris waar hij zich in het verhaal bevindt om het juiste bericht te bouwen? Hij gebruikt een wiskundig hulpmiddel genaamd RoPE (Rotary Position Embedding).

Stel je RoPE voor als een kompas of een klokwijzer die roteert naarmate je door het verhaal beweegt.

Op Positie 0 wijst het kompas naar het Noorden. Dit valt perfect samen met het "Referentieboek", waardoor de detective het kan vinden.
Op Positie 10 wijst het kompas naar het Zuiden. Dit brengt de detective uit lijn, zodat hij het Referentieboek niet kan vinden, zelfs al staat het boek daar nog steeds.

Het artikel ontdekte dat deze uitlijning op twee manieren gebeurt:

Richting: Het kompas wijst de juiste kant op (hoekige uitlijning).
Sterkte: De stem van de detective wordt harder of zachter afhankelijk van de positie (normversterking).

Als je het kompas kapot maakt (RoPE verwijdert), raakt de bibliothecaris in de war. Hij begint "M!" te schreeuwen op elke positie in het verhaal, niet alleen aan het begin, omdat hij het verschil tussen het begin en het midden niet meer kan onderscheiden.

De Grote Conclusie

Het artikel concludeert dat het vertrouwen van de bibliothecaris in het voorspellen van "M" aan het begin van een eiwit niet komt omdat hij een biologisch signaal in die specifieke plek heeft herkend.

In plaats daarvan komt het omdat:

Hij een opgeslagen regel ophaalde uit een "Referentieboek" (BOS).
Hij een "Speciaal Bericht" gebruikte dat werd opgebouwd door een team van detectives om te bevestigen dat ze aan het begin waren.
Hij een "Touwtrekken" won tegen andere stemmen die probeerden te raden op basis van de rest van het verhaal.

Waarom is dit belangrijk?
De auteurs waarschuwen dat als de bibliothecaris zeker is, dit niet betekent dat hij de biologie "begrijpt". Hij zou gewoon de touwtrekker kunnen winnen met een statistische standaard. Als de biologie van een eiwit raar is (bijvoorbeeld: het begint met iets anders dan "M"), zal de bibliothecaris nog steeds "M" raden omdat zijn interne "Referentieboek" dat zegt, en hij de uitzondering niet heeft geleerd.

Om echt te kunnen vertrouwen op een voorspelling van een AI in de wetenschap, kunnen we niet alleen naar het antwoord kijken; we moeten de schakelkringen begrijpen (de detectives, het kompas en het touwtrekken) om te zien of de AI echt bewijs gebruikt of gewoon een gelukkige gok.

Technische Samenvatting: Retrieval en Competitie in Protein Foundation Models

Probleemstelling
Proteïne-talenmodellen (PLM's) worden steeds vaker gebruikt om experimentele en klinische beslissingen te sturen. Er blijft echter een kritieke ambiguïteit bestaan: weerspiegelt een zelfverzekerde voorspelling de herkenning van biologisch betekenisvolle bewijsvoering binnen de input, of slechts het ophalen van een opgeslagen statistische standaard die onafhankelijk van specifieke bewijsvoering wordt toegepast? Hoewel beide mechanismen identieke voorspellingen opleveren, rechtvaardigt alleen het eerste vertrouwen in generalisatie. Bestaande methoden voor mechanistische interpreteerbaarheid hebben interne kenmerken geïdentificeerd en representaties ontleed, maar hebben het attentiemechanisme – de routering van informatie tussen posities – grotendeels als een zwarte doos behandeld. Specifiek heeft de rol van positionele codering bij het sturen van informatieflow weinig aandacht gekregen. Dit artikel adresseert deze lacune door de computationele weg te traceren van een eenvoudige, bijna universele biologische regel: dat proteïnen doorgaans beginnen met methionine (Met).

Methodologie
De auteurs analyseerden ESM2-8M, een proteïne-talenmodel met 6 lagen en 8 miljoen parameters. Zij gebruikten een reeks technieken voor mechanistische interpreteerbaarheid om de voorspelling van methionine op de eerste positie (positie 0) te ontleden wanneer de initiële residu is gemaskeerd:

Ablatiestudies: Systematische zero-ablatie van attentiekoppen en MLP-modules op specifieke tokenposities (alleen masker vs. alle posities) om noodzakelijke componenten te identificeren.
Activering Patching: Injecteren van tussenliggende representaties (queries, keys, values, attentie-outputs) uit "schone" runs (maskeer op positie 0) in "corrupte" runs (maskeer op interne posities) om causale afhankelijkheden te isoleren.
Circuitontdekking: Een greedy search om minimale sets van componenten te identificeren die vereist zijn voor methionine-voorspelling.
Norm–Richting Decompositie: Een nieuwe decompositie van attentiescores binnen Rotary Positional Embedding (RoPE) frequentiebanden. De auteurs splitsten de attentiescore ( $Q \cdot K$ ) op in een grootte-term (query-norm) en een uitlijningsterm (cosinus van de hoek tussen query en key) om te bepalen hoe positionele informatie wordt gecodeerd.
RoPE-manipulatie: Het verwisselen van RoPE-rotaties tussen posities en het toepassen van uniforme indexverschuivingen om geometrische causaliteit te testen.
Competitie-experimenten: Contextverlenging en -vernietigingsexperimenten met poly-alanine-sequenties om te observeren hoe concurrerende signalen de methionine-logit beïnvloeden.

Belangrijkste Resultaten

Circuitcompetitie, geen lokale herkenning:
Het model voorspelt methionine op positie 0 niet door de identiteit van positie 0 lokaal te detecteren, maar door middel van een competitie tussen circuits. Het methionine-circuit draagt een ongeveer constant signaal bij op de eerste positie. Op interne posities produceren context-afhankelijke circuits concurrerende signalen die vaak zwaarder wegen dan de methionine-prior. Wanneer de context wordt vernietigd (bijvoorbeeld door het maskeren van interne residuen), komt het methionine-signaal weer naar voren als dominant. Dit geeft aan dat het model geen regel voor positie 0 "aanschakelt"; in plaats daarvan handhaaft het een constante prior die wordt overstemd door sterkere contextuele signalen elders.
De Architectuur van het Methionine-circuit:
De voorspelling wordt bemiddeld door een gedistribueerd, meerlaags circuit in plaats van een eenvoudige lokale regel:
- Uitlezing (Laag 6): Kop L6H8 fungeert als de uiteindelijke uitlezing. Deze richt zich bijna uitsluitend op het Begin-van-Sequentie (BOS)-token en schrijft een methionine-specifiek signaal in de output. De output-value (OV)-vector is sterk uitgelijnd met de methionine-logit-gradiënt.
- Query-samenstelling (Upstream lagen): L6H8 werkt niet onafhankelijk. Het is afhankelijk van een query die upstream wordt samengesteld (voornamelijk in lagen 1, 4 en 5) door attentiekoppen die zich richten op het BOS-token. Deze upstream-koppen gebruiken RoPE-gemedieerde positionele signalen om een query te assembleren die, wanneer deze door de RoPE van L6H8 wordt geroteerd, uitgelijnd raakt met de BOS-key.
- Opbouw van representaties (MLP's): Vroege-laag MLP's (L1, L2, L4) zijn essentieel voor het opbouwen van de key/value-representaties bij BOS en de query op de gemaskeerde positie. Zonder deze faalt het circuit.
De Actieve Rol van het BOS-token:
In tegenstelling tot het beeld van BOS als een passief scheidingsteken, vinden de auteurs dat het fungeert als een actief computationeel knooppunt. Het slaat een stabiele, positie-invariante referentierepresentatie (key en value) op die het circuit ophaalt. De specificiteit van de voorspelling (waarom deze op positie 0 gebeurt en niet elders) wordt volledig bepaald door de query die op het gemaskeerde token wordt gevormd, niet door veranderingen in de BOS-representatie.
Mechanisme van Positionele Selectiviteit (RoPE):
De auteurs introduceren een norm–richting decompositie van attentiescores over RoPE-frequentiebanden. Zij vinden dat positionele selectiviteit voortkomt uit gekoppelde veranderingen in query-norm en hoekmatige uitlijning:
- Dominante Band ( $f_0$ ): Werkt op beide assen. Op interne posities collapseert de query-norm voor deze band met ongeveer zeven keer, en daalt de cosinus-uitlijning met de BOS-key van ~0,8 naar bijna nul.
- Secundaire Banden ( $f_1, f_2, f_6$ ): Werken voornamelijk als uitlijningselektoren, waarbij cosinuswaarden van teken veranderen of collapseert, terwijl de normen relatief stabiel blijven.
- RoPE als Poort: In een geïsoleerd minimaal circuit (zonder concurrerende context-circuits) zorgt het verwijderen van RoPE ervoor dat het model methionine voorspelt op alle posities. RoPE zorgt dus niet alleen voor de voorspelling op positie 0; het activeert als poort het circuit om de prior op interne posities te onderdrukken.

Betekenis en Claims
Het artikel claimt dat het onderscheiden tussen biologische herkenning en statistisch ophalen resolutie vereist op het niveau van individuele circuits, frequentiebanden en query-samenstelling.

Mechanistische Verificatie: Zelfs voor de eenvoudigste biologische regel (proteïnen beginnen met Met) wordt de voorspelling van het model bemiddeld door een gedistribueerd computationeel circuit in plaats van directe herkenning. Dit suggereert dat voor complexere taken de relatie tussen modelvertrouwen en onderliggende biologische bewijsvoering steeds meer zal worden vertroebeld.
Interpreteerbaarheid van Vertrouwen: Hoog vertrouwen garandeert niet het gebruik van correcte biologische bewijsvoering; het kan simpelweg aangeven dat één circuit (de statistische prior) andere domineert.
Algemene Computationele Motieven: De bevindingen benadrukken de actieve rol van BOS-tokens als referentiekaders en het gebruik van query-samenstelling voor positionele routering, motieven die mogelijk algemeen zijn voor transformer-architecturen buiten proteïne-modellen om.
Beperkingen: De auteurs merken op dat hoewel de circuitarchitectuur is geïdentificeerd in ESM2-8M, het een open vraag blijft of deze specifieke motieven behouden blijven in grotere modellen of over verschillende PLM-families. Zij identificeren ook dat de upstream query-samenstelling zowel puur RoPE-gedreven koppen als ten minste één context-afhankelijke kop (L4H3) omvat, waarvan de specifieke inhoud nog moet worden geïdentificeerd.

De studie concludeert dat mechanistische verificatie noodzakelijk en uitdagend is voor voorspellingen waar biologische stakes hoog zijn, aangezien de "kennis" van het model over biologie een bijproduct kan zijn van statistische regulariteiten die worden opgehaald via complexe, gedistribueerde circuits.