Technische Samenvatting: Controle over Repetitie in Proteïne-taalmodellen

1. Probleemdefinitie

Proteïne-taalmodellen (PLM's) hebben gezorgd voor vooruitgang in structuurvoorspelling en de novo proteïnedesign, maar lijden aan een specifieke faalmodus: pathologische repetitie. In tegenstelling tot bij natuurlijke taal, waar repetitie primair de leesbaarheid vermindert, leidt het bij proteïnen tot sequenties met een lage structurele diversiteit, instabiele vouwingen en niet-functionele biologische eigenschappen.

Het artikel identificeert twee canonieke vormen van deze faalmodus:

1. Motief-niveau repetitie: Korte $n$-gram fragmenten (bijv. dipeptiden of tripeptiden) komen cyclisch voor (bijv. AGAGAG).
2. Homopolymeer repetitie: Enkele aminozuurresiduen strekken zich uit in lange reeksen (bijv. AAAAAA).

Bestaande oplossingen uit de Natural Language Processing (NLP), zoals decoding-heuristieken (temperature scaling, top-$p$ sampling, repetition penalties), schieten in het proteïne-domein vaak tekort. Deze methoden neigen de reductie van repetitie te ruilen voor structurele bruikbaarheid, wat vaak resulteert in lagere AlphaFold-betrouwbaarheidsscores (pLDDT, pTM) en gegenereerde proteïnen biologisch onwaarschijnlijk maakt. Bovendien zijn repetitie en structurele bruikbaarheid nauw verstrengeld in PLM's, wat het moeilijk maakt om ze te ontwarren zonder hertraining.

2. Methodologie: Utility-Controlled Contrastive Steering (UCCS)

De auteurs stellen UCCS voor, een interventie op representatieniveau die generatie stuurt zonder hertraining of het wijzigen van decoding-heuristieken. De methode berust op het principe dat repetitie gecontroleerd kan worden door specifieke sturende vectoren in de verborgen toestanden (hidden states) te injecteren, mits deze vectoren afgeleid zijn van data waar repetitie ontvleugeld is van structurele bruikbaarheid.

2.1 Kwantificering van Repetitie en Bruikbaarheid

Om het probleem te formaliseren, introduceert het artikel twee complementaire metrieken:

• Repetitie Score ($R(x)$): Een verenigde metriek die het volgende aggregeert:
  • Token-niveau entropie ($H_{norm}$): Meet de globale aminozuur-onbalans.
  • Distinct-$n$ ($n=2,3$): Meet de lokale motief-diversiteit.
  • Homopolymeer diversiteit ($R_{hpoly}$): Bestraft reeksen van identieke residuen die langer zijn dan een drempelwaarde (standaard $k=4$).
• Bruikbaarheid Score ($U(x)$): Afgeleid van structurele proxies, specifiek het gemiddelde van AlphaFold's pLDDT (lokale betrouwbaarheid) en pTM (globale topologische betrouwbaarheid).

2.2 Constructie van de Contrastieve Dataset

Een kernuitdaging is dat sequenties met een hoge repetitie van nature correleren met een lage structurele bruikbaarheid. Om dit aan te pakken, construeert UCCS contrastieve datasets ($D^+$ en $D^-$) die het verschil in repetitie ($\Delta R$) maximaliseren terwijl het verschil in bruikbaarheid ($\Delta U \le \epsilon$) strikt wordt beperkt.

• Positieve Set ($D^+$): Sequenties met lage repetitie (natuurlijke proteïnen of hoogwaardige PLM-generaties).
• Negatieve Set ($D^-$): Sequenties met hoge repetitie (pathologische PLM-generaties).
• Selectiestrategie: De auteurs gebruiken Pareto-gebaseerde frontierselectie of samengestelde scoring om te garanderen dat de geselecteerde sequenties een vergelijkbare structurele plausibiliteit hebben, ondanks hun verschillende repetitieniveaus.

2.3 Injectie van de Sturende Vector

Zodra de contrastieve sets zijn vastgesteld, wordt een sturende vector ($v_L$) berekend op een specifieke transformer-laag $L$:
$$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$$
waarbij $\phi_L(x)$ de sequentie-niveau samenvattende representatie is (mean-pooled voor Masked Language Models, last-token voor Autoregressive modellen).

Tijdens de inferentie wordt deze vector in de verborgen toestanden geïnjecteerd:
$$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$$
waarbij $\alpha$ een scalaire is die de sterkte van de sturing controleert. Deze operatie onderdrukt pathologische repetitiepatronen terwijl de structurele kenmerken die in de bruikbaarheids-gematchte dataset zijn gecodeerd, behouden blijven.

3. Belangrijkste Bijdragen

1. Systematische Karakterisering: De eerste systematische studie die pathologische repetitie identificeert als een kritieke faalmodus in PLM's, waarbij onderscheid wordt gemaakt tussen motief-niveau en homopolymeer repetitie.
2. Ontwikkeling van Metrieken: Introductie van een verenigde repetitiescore ($R(x)$) en een bruikbaarheidsscore ($U(x)$) om de afweging tussen diversiteit en vouwbaarheid te evalueren.
3. UCCS Methode: Een dataset-gestuurde sturingsmethode die de controle over repetitie ontkoppelt van biologische bruikbaarheid, waardoor hertraining van het model wordt vermeden.
4. Uitgebreide Evaluatie: Uitgebreide experimenten over twee modelparadigma's (Masked LM: ESM-3; Autoregressive LM: ProtGPT2), drie datasets (CATH, UniRef50, SCOP) en twee generatie-instellingen (onconditioneel en conditioneel).

4. Experimentele Resultaten

Het artikel evalueert UCCS tegenover baselines, waaronder originele modellen, decoding-heuristieken (temperatuur, top-$p$, repetition penalties) en mechanisme-niveau interventies (neuron deactivatie, probe steering).

• Prestaties: UCCS bereikt consistent de beste afweging, waarbij de repetitiescore $R(x)$ aanzienlijk wordt verbeterd terwijl de bruikbaarheidsscore $U(x)$ gelijk blijft of zelfs licht verbetert.
  • Op ESM-3 verbeterde UCCS $R(x)$ met wel eens 55% bij onconditionele generatie op CATH, terwijl de bruikbaarheid behouden bleef.
  • Op ProtGPT2 verminderde UCCS de repetitie met tot wel 20% ten opzichte van temperatuur-sampling zonder de bruikbaarheidsrestricties te schenden.
• Vergelijking met Baselines:
  • Decoding-heuristieken: Hoewel effectief in het vergroten van de oppervlakkige diversiteit, verslechterden zij consequent de structurele betrouwbaarheid (lagere pLDDT/pTM).
  • Mechanisme-niveau Baselines: Neuron deactivatie en probe steering vertoonden een instabiele prestatie en slaagden er vaak niet in om beide metrieken tegelijkertijd te verbeteren of de bruikbaarheid te behouden.
• Ablatie-studies:
  • Datasetconstructie: Gestructureerde selectie (Pareto/Composite) presteerde beter dan willekeurige sampling, vooral in het verminderen van variantie.
  • Sturingssterkte ($\alpha$): Optimale prestaties werden gevonden bij $\alpha \approx 1.0 \sim 2.0$.
  • Laag-injectie: Effectieve sturing vond plaats in de latere lagen van het netwerk (laatste paar lagen voor ESM-3; laatste derde voor ProtGPT2).
• Generalisatie: De methode werd verder gevalideerd op ProGen2 (autoregressief) en DPLM (diffusie-gebaseerd), wat de robuustheid over verschillende generatie-architecturen aantoont.

5. Betekenis en Claims

Het artikel beweert dat het vaststellen van repetitiecontrole een centrale uitdaging is voor PLM's, die verschilt van het tekstgebaseerde repetitieprobleem vanwege de directe impact op de structurele levensvatbaarheid.

• Geprincipeerde Aanpak: De auteurs argumenteren dat dataset-gestuurde contrastieve sturing een geprincipeerde manier biedt om de verstrengeling van repetitie en bruikbaarheid aan te pakken, iets wat decoding-heuristieken niet kunnen oplossen.
• Mechanistisch Inzicht: Door middel van laag-voor-laag probing en neuron-niveau correlatieanalyse onthult het artikel dat repetitie een gedistribueerd representationeel fenomeen is dat vroeg ontstaat, in de middenlagen verstrengeld raakt en in de laatste lagen aanscherpt tot een logit-gealigneerde attractor-toestand. Er wordt aangetoond dat ESM-3 een meer gepolariseerde repetitie-gerelateerde subspace heeft dan ProtGPT2, wat de ernst van de degeneratie verklaart.
• Betrouwbaarheid: Het werk benadrukt dat betrouwbare proteïne-generatie interventies vereist die de vouwbaarheid behouden, waarbij UCCS wordt gepositioneerd als een "plug-and-play" mechanisme dat dit bereikt zonder de computationele kosten van hertraining.

De auteurs concluderen dat hoewel pathologische repetitie een nieuw erkend probleem is in proteïne-modellering, het controleren ervan via representatie-sturing een noodzakelijke stap is naar het genereren van biologisch levensvatbare de novo proteïnen.