ProtNHF: Neural Hamiltonian Flows for Controllable Protein Sequence Generation

ProtNHF is een generatief model dat gebruikmaakt van neurale Hamiltoniaanse stromen om tijdens de inferentie continue en controleerbare aanpassingen aan te brengen in eiwitsequenties via analytische biasfuncties, zonder dat het model opnieuw getraind hoeft te worden.

De kern

ProtNHF: De "Slimme Bakker" die Proteïnen Bakt

Stel je voor dat je een bakker bent die de perfecte broodjes (proteïnen) wil maken. Proteïnen zijn de bouwstenen van het leven; ze moeten een specifieke vorm aannemen om te werken. De uitdaging is: hoe maak je een nieuw broodje dat niet alleen goed smaakt (een geldig eiwit is), maar ook precies voldoet aan jouw wensen? Bijvoorbeeld: "Ik wil een broodje dat extra veel zeezout (lading) heeft" of "Ik wil dat er geen rozijnen (een specifiek aminozuur) in zitten."

Meestal moeten bakkers (wetenschappers) hun hele recept opnieuw leren of hun oven (computermodel) volledig aanpassen elke keer dat ze een ander type broodje willen. Dat kost veel tijd en energie.

ProtNHF is een nieuwe, slimme bakkerij-techniek die dit probleem oplost. Het stelt je in staat om de eigenschappen van het broodje te veranderen terwijl het wordt gebakken, zonder het recept opnieuw te hoeven leren.

Hoe werkt het? De "Energie-Compass"

Het geheim zit hem in een concept uit de natuurkunde genaamd Hamiltoniaanse Dynamica. Laten we dit vergelijken met een berglandschap.

1. Het Landschap (De Leerfase):
   De computer heeft eerst geleerd hoe het landschap van "goede" eiwitten eruitziet. Dit landschap heeft valleien (waar de eiwitten stabiel en gezond zijn) en pieken (waar ze rot of onstabiel zijn). De computer leert dit landschap te navigeren door er als een wandelaar overheen te lopen. Dit heet een Neural Hamiltonian Flow.

2. De Wandeling (De Generatie):
   Normaal gesproken laat je de wandelaar (de computer) vrij rondlopen in dit landschap om een willekeurig, goed eiwit te vinden.

3. De Magische Knop (De Controle):
   Dit is waar ProtNHF uniek is. Stel je voor dat je tijdens het wandelen een onzichtbare wind of een schuine helling kunt toevoegen aan het landschap.

   • Wil je een eiwit met veel lading? Dan maak je de helling naar de "lading-vallei" steiler. De wandelaar wordt er bijna doorheen getrokken.
   • Wil je geen specifieke ingrediënten? Dan bouw je een kleine muur op die plek, zodat de wandelaar daar niet naartoe kan.

Het mooie is: je hoeft niet het hele landschap opnieuw te tekenen of de wandelaar opnieuw te trainen. Je verandert alleen even de "wind" of de "helling" op het moment dat je het eiwit maakt.

De Drie Magische Tools

De auteurs hebben drie manieren bedacht om deze "wind" of "helling" te creëren:

1. De Coulomb-kracht (De Afstotende Magnet):
   Stel je voor dat je een magneet hebt die een specifiek ingrediënt (bijvoorbeeld het aminozuur Lysine) wegtrekt. Als je deze magneet sterker maakt, verdwijnt dat ingrediënt steeds meer uit het eiwit. Het is alsof je een onzichtbare hand gebruikt die het ingrediënt uit je deeg haalt.

2. De Gaussische Kracht (De Aantrekkende Zuigkraan):
   Dit werkt andersom. Je plaatst een zuigkraan op een specifiek ingrediënt (bijvoorbeeld Aspartaat). Hoe sterker je de kraan opent, hoe meer van dat ingrediënt er in het eiwit terechtkomt. Het is alsof je een magneet gebruikt die een specifiek deegstukje aantrekt.

3. De Harmonische Kracht (De Vaste Klem):
   Dit is als een klem die een bepaald stukje deeg op een vaste plek houdt. Bijvoorbeeld: "Elk eiwit moet beginnen met het aminozuur Methionine." De computer probeert dan alles anders te maken, maar houdt die ene plek vast. Je kunt dit ook gebruiken om een globaal doel te bereiken, zoals "het totale gewicht van het eiwit moet precies 0 zijn."

Waarom is dit zo cool?

• Geen Opnieuw Leren: Bij andere methoden moet je de AI elke keer opnieuw trainen als je een andere eigenschap wilt. Bij ProtNHF is het alsof je eenmaal een auto hebt geleerd rijden, en je nu gewoon de airco of de radio kunt aansturen zonder de motor te vervangen.
• Voorspelbaar: Als je de "wind" (de instelling) iets harder zet, krijg je precies iets meer van het gewenste ingrediënt. Het is een gladde, continue regeling, geen sprong van "helemaal niet" naar "alles".
• Kwaliteit blijft behouden: Zelfs als je de eigenschappen verandert, blijven de eiwitten "gezond". De computer zorgt ervoor dat ze nog steeds een goede vorm hebben (zoals getest met AlphaFold, een AI die de vorm van eiwitten voorspelt).

Conclusie

ProtNHF is een nieuwe manier om kunstmatige eiwitten te ontwerpen. In plaats van een nieuwe AI te bouwen voor elke nieuwe taak, gebruiken de auteurs een slimme "energie-kracht" om een bestaande AI te sturen.

Het is alsof je een meesterchef hebt die al weet hoe je een perfect gerecht maakt. Met ProtNHF kun je tegen die chef zeggen: "Maak het een beetje zouter" of "Zorg dat er geen pinda's in zitten", en hij past het gerecht direct aan zonder het hele recept te vergeten. Dit opent de deur voor het snel ontwerpen van nieuwe medicijnen en materialen die precies doen wat we nodig hebben.

Technische samenvatting

Probleemstelling

Het genereren van eiwitsequenties die betrouwbaar vouwen tot geldige driedimensionale structuren is een fundamentele uitdaging in computationeel eiwitontwerp. Hoewel onvoorwaardelijke generatiemodellen (zoals diffusion- en autoregressieve modellen) al significant vooruitgang hebben geboekt, blijft het gecontroleerd genereren van sequenties die specifieke biochemische of samenstellingsbeperkingen voldoen, een groot probleem.

Bestaande benaderingen voor gecontroleerde generatie vertrouwen vaak op:

• Hertraining van het model voor elke nieuwe doel-eigenschap.
• Architecturale modificaties.
• Gebruik van classificator-gidsing (classifier guidance) tijdens inferentie.

Deze methoden zijn computatierijk, beperken de flexibiliteit en maken het moeilijk om continue, kwantitatieve controle uit te oefenen over globale eigenschappen (zoals aminozuursamenstelling, netto lading of oplosbaarheid) zonder het model opnieuw te trainen.

Methodologie: ProtNHF

De auteurs introduceren ProtNHF, een generatief model dat gebaseerd is op Neural Hamiltonian Flows (NHF). Dit model maakt continue, kwantitatieve controle mogelijk over sequentie-eigenschappen via analytische bias-functies die uitsluitend tijdens de inferentie worden toegepast.

Kerncomponenten van de architectuur:

1. Neural Hamiltonian Flows (NHF):

   • NHF's zijn een type normalizing flow dat een initiële Gaussische verdeling transformeert naar een complexe doelverdeling via een reeks omkeerbare, volumebehoudende transformaties afgeleid uit Hamiltoniaanse dynamica.
   • Het systeem wordt gedefinieerd door een Hamiltoniaan $H(q, p) = V(q) + K(p)$, waarbij $V$ de potentiële energie is en $K$ de kinetische energie.
   • De dynamica worden gesimuleerd met een symplectische Leapfrog-integrator.

2. Continuïteit van de Eiwitruimte:

   • Omdat eiwitsequenties discreet zijn (20 aminozuren), maar NHF's werken op continue ruimtes, gebruiken de auteurs de argmax-flow techniek.
   • Discrete one-hot encoding vectoren worden gemapt naar een continue ruimte ($q$) via een stochastische transformatie met Gaussian noise. Dit creëert een bijectieve, omkeerbare mapping tussen discrete sequenties en continue embeddings.

3. Potentiële Energie (Transformer):

   • De potentiële energie $V_\theta(q)$ wordt geleerd door een lichtgewicht Transformer-architectuur (geïnspireerd op ESM-2, 8M parameters).
   • Deze Transformer gebruikt Performer-attention (lineaire attention) om de kwadratische schaalbaarheid van standaard attention te vermijden, wat essentieel is voor normalizing flows.
   • De output is een 'energie'-waarde per eiwit, waarvan de gradiënt de 'kracht' bepaalt die de dynamica stuurt.

4. Controle via Energievorming (Energy Shaping):

   • Het grootste voordeel van de Hamiltoniaanse formulering is de additieve energie-structuur.
   • Tijdens de inferentie (sampling) kan een externe bias-potentiaal $U(q)$ direct aan de Hamiltoniaan worden toegevoegd: $H_b(q, p) = H(q, p) + kU(q)$.
   • Hierbij is $k$ de bias-strength. Omdat dit alleen de krachten in de momentum-vergelijking beïnvloedt, blijft de symplectische structuur en omkeerbaarheid behouden zonder hertraining.

Soorten Bias-functies:

• Coulomb-bias: Verrijkt of depleteert specifieke aminozuren door een potentiaal rond hun embedding-vector.
• Gaussische bias: Selectief verrijken of depletteren op een gecontroleerde, monotone manier.
• Harmonische bias: Dwingt specifieke aminozuren op specifieke posities (bijv. N-terminaal) of targett globale eigenschappen (zoals netto lading) via een kwadratische straffunctie.

Belangrijkste Bijdragen

1. Toepassing van NHF op Eiwitsequenties: Eerste toepassing van Neural Hamiltonian Flows voor het modelleren van complexe verdelingen in de eiwitsequenceruimte.
2. Inferentie-tijd Controle zonder Hertraining: Een nieuw paradigma waarbij gecontroleerde generatie wordt bereikt door de dynamica van het getrainde model te vervormen via energie-shaping, in plaats van het model opnieuw te trainen.
3. Continue en Voorspelbare Modulatie: Demonstratie dat het variëren van de bias-parameter $k$ leidt tot een gladde, voorspelbare en ongeveer monotone verandering in aminozuursamenstelling en globale eigenschappen (zoals netto lading).
4. Fysisch Interpreteerbaar Framework: Het koppelen van generatief modelleren aan klassieke moleculaire modellering, waarbij gewenste eigenschappen worden afgedwongen door expliciete energie-modificaties.

Resultaten

Het model is getraind op ~90.000 sequenties uit UniProtKB (lengte 10-128) en geëvalueerd op zowel onvoorwaardelijke als voorwaardelijke scenario's.

Onvoorwaardelijke Generatie:

• Kwaliteit: Voor korte sequenties (lengte 20-30) bereikt het model concurrerende ESM-2 pseudo-perplexity (pppl) waarden (dicht bij 11-12) en hoge AlphaFold2 pLDDT-scores (90-100), wat wijst op goed vouwbare, structurele plausibiliteit.
• Lengte-afhankelijkheid: Bij langere sequenties (lengte >40) neemt de pppl toe (minder 'eiwit-achtig'), maar de structurele betrouwbaarheid (pLDDT) blijft redelijk hoog (~75), wat aangeeft dat het model structurele coherentie behoudt zelfs als de sequentiekanselijkheid daalt.
• Diversiteit: De gegenereerde sequenties vertonen een lage fractie van laag-complexiteit regio's (LCRs), wat aangeeft dat het model geen triviale herhalingen produceert.

Voorwaardelijke Generatie (Controle):

• Residu-samenstelling: Door Coulomb- en Gaussische bias toe te passen, kon het percentage Lysine (Lys) continu worden verlaagd en Aspartaat (Asp) worden verhoogd. Dit gebeurde met slechts een minimale toename in pppl.
• Positieve Controle: Met een harmonische bias kon worden gedwongen dat sequenties startten met Methionine (Met), wat leidde tot betere pppl-scores en grotere diversiteit in secundaire structuren.
• Globale Eigenschappen: Door een bias toe te passen op de netto lading, konden sequenties worden gegenereerd met een specifieke doel-lading (bijv. 0 of -1). De gegenereerde ladingen kwamen nauwkeurig overeen met het doel, terwijl de structuurkwaliteit (pLDDT) zelfs iets verbeterde ten opzichte van onvoorwaardelijke sequenties.

Significantie en Conclusie

ProtNHF biedt een flexibel en fundamenteel nieuw raamwerk voor computationeel eiwitontwerp. Door te vertrouwen op symplectische transportdynamica en energievorming, omzeilt het de beperkingen van bestaande methoden die afhankelijk zijn van hertraining of complexe architecturale aanpassingen.

De belangrijkste implicaties zijn:

• Efficiëntie: Het elimineert de kosten van hertraining voor nieuwe ontwerpdoelen.
• Interpreteerbaarheid: De controlemechanismen zijn fysiek interpreteerbaar (als potentiële energieën), wat de brug slaat tussen generatieve AI en moleculaire dynamica.
• Toekomstperspectief: Dit opent de deur voor het integreren van rijkere, natuurkundig geïnspireerde beperkingen (zoals elektrostatica of functionele site-targeting) direct in de generatieve dynamica, wat cruciaal is voor het ontwerp van kunstmatige eiwitten en functionele biomoleculen.

Kortom, ProtNHF bewijst dat Neural Hamiltonian Flows een krachtig, wiskundig onderbouwd alternatief zijn voor bestaande generatieve modellen, met name voor toepassingen waarbij continue controle over eigenschappen essentieel is.