Generating Structurally Diverse Therapeutic Peptides with GFlowNet

Deze paper introduceert GFlowNet als een robuust alternatief voor versterkingsleer bij het genereren van therapeutische peptiden, dat door proportioneel bemonsteren van beloningen van nature een hoge structurele diversiteit behoudt en zo het veelvoorkomende probleem van mode-collapse oplost.

De kern

Stel je voor dat je een chef-kok bent die duizenden nieuwe, unieke recepten voor medicijnen (specifiek "therapeutische peptiden") moet bedenken. Je doel is om recepten te vinden die werken, maar je hebt er ook heel veel verschillende soorten van nodig. Waarom? Omdat als één recept faalt, je er andere wilt hebben die misschien wel werken.

Dit artikel vertelt over een nieuwe manier om die recepten te bedenken met een computer, en waarom de oude manier vaak vastloopt.

Het Probleem: De "Mode-Collapse" (De Kip die alleen nog maar rijst eet)

De oude manier om dit te doen (met een techniek genaamd Reinforcement Learning of RL) werkt als een slimme, maar een beetje obsessieve kok.

• Hoe het werkt: De computer probeert het recept te vinden dat het allerbeste scoort op een test (bijvoorbeeld: "werkt dit goed tegen een virus?").
• Het probleem: Zodra de computer één recept vindt dat heel goed werkt, stopt hij met zoeken. Hij begint alleen nog maar variaties van dat ene recept te maken.
• De analogie: Stel je voor dat je een kip hebt die ontdekt dat rijst lekker is. In plaats van te proberen brood, groenten of vlees te vinden, eet die kip alleen maar rijst. Hij wordt extreem goed in rijst eten, maar hij vergeet dat er een heel wereld vol ander voedsel is. In de wetenschap noemen ze dit "mode collapse": de computer landt op één klein plekje in de ruimte van mogelijke recepten en blijft daar hangen.

Zelfs als je de computer zegt: "Maak alsjeblieft ook eens wat anders!", luistert hij niet echt goed. Hij probeert het, maar als de druk om het beste resultaat te halen groot is, valt hij weer terug op zijn favoriete rijst.

De Oplossing: GFlowNet (De Verkenner)

De auteur, Edward Wijaya, stelt een nieuwe methode voor: GFlowNet.
In plaats van te proberen één perfect recept te vinden, leert GFlowNet om alle mogelijke recepten te proberen, maar wel vaker de goede ones dan de slechte ones.

• De analogie: Stel je voor dat je een verkenner bent in een groot bos.
  • De oude methode (RL) is als iemand die een goudmijn vindt en daar een fort bouwt. Hij blijft daar zitten en kijkt niet meer om zich heen.
  • GFlowNet is als iemand die het hele bos afloopt. Als hij een plek ziet met veel goud (een goed recept), gaat hij daar vaker naartoe. Maar hij gaat ook naar plekken met minder goud, en plekken waar misschien wel zilver of koper zit. Hij probeert het evenwicht te vinden tussen "goed" en "veelzijdig".

Het belangrijkste verschil is dat GFlowNet niet maximaliseert (zoekt naar het allerbeste), maar proportioneel zoekt. Als een recept 10 keer zo goed is als een ander, probeert hij dat recept 10 keer vaker. Hierdoor krijgt hij van nature een enorme verscheidenheid aan recepten, zonder dat hij daar speciale regels voor nodig heeft.

Wat hebben ze ontdekt?

De auteurs hebben een strijd gehouden tussen de oude methode (met een extra regel om diversiteit te forceren) en de nieuwe GFlowNet-methode.

1. Op het eerste gezicht lijken ze gelijk: Als je alleen kijkt naar het totaal aantal verschillende recepten, doen ze het ongeveer even goed.
2. Maar kijk eens goed: Als je kijkt naar de details (zoals welke kleine stukjes eiwitten er vaak terugkomen), zie je het verschil.
   • De oude methode (RL) bleef steken in dezelfde kleine patronen (zoals de rijst-eetende kip).
   • GFlowNet produceerde een veel rijkere mix van kleine stukjes. Het was 5,4 keer zo divers op detailniveau!
3. De echte test: Toen ze de extra regels voor diversiteit uit de oude methode haalden, stortte die volledig in. De computer begon alleen maar gekke, herhalende patronen te maken. GFlowNet bleef echter stabiel en divers, zelfs zonder die extra regels.

Waarom is dit belangrijk voor medicijnen?

In het ontwikkelen van medicijnen is diversiteit goud waard.

• Als je 100 medicijncandidaten hebt die er allemaal heel erg op lijken, en ze falen allemaal om dezelfde reden (bijvoorbeeld omdat ze niet door de bloed-hersenbarrière komen), dan heb je niets.
• Met GFlowNet heb je 100 kandidaten die er allemaal anders uitzien. Als de ene groep faalt, heeft de andere groep misschien een structuur die wel werkt. Het is als het spreiden van je risico's: "Niet al je eieren in één mandje".

Samenvatting in één zin

Deze paper laat zien dat een nieuwe computer-methode (GFlowNet) beter is dan de oude manier om nieuwe medicijnen te bedenken, omdat het van nature een breed scala aan unieke oplossingen vindt, in plaats van vast te komen zitten in één oplossing die misschien wel goed werkt, maar niet genoeg variatie biedt.

Technische samenvatting

Probleemstelling: Mode Collapse bij RL voor Peptidedesign

Therapeutische peptiden zijn een veelbelovende klasse van medicijncandidaten, maar computergestuurde ontwerpen lijden vaak onder mode collapse (modetorst). Traditionele Reinforcement Learning (RL) methoden, zoals Group Relative Policy Optimization (GRPO), optimaliseren het beleid om de verwachte beloning ($E[R(x)]$) te maximaliseren. Hierdoor convergeren deze modellen naar smalle gebieden in de sequentieruimte en produceren ze een gebrek aan diversiteit, zelfs wanneer expliciete diversiteitsstraffen worden toegepast.

De paper stelt dat standaard diversiteitsmetrieken (zoals sequentie-identiteit) vaak misleidend zijn: ze kunnen "gezonde" diversiteit suggereren, terwijl fijnmazige analyses tonen dat het model systematisch neigt naar specifieke, repetitieve motieven. Zodra de diversiteitsmechanismen in de beloningsfunctie worden verzwakt, collapseert het RL-model volledig tot een paar dominante sequenties.

Methodologie: GFlowNet voor Proportioneel Sampling

De auteurs stellen Generative Flow Networks (GFlowNet) voor als een alternatief voor reward-maximalisatie. In plaats van te streven naar het maximum van de beloningsfunctie, leert GFlowNet om sequenties te samplen evenredig aan hun beloning:
$$P(x) \propto R(x)$$

Dit doelwit zorgt voor een "mode-covering" gedrag in plaats van "mode-seeking". Het model probeert de beloningslandschap proportioneel te verkennen, wat inherent diversiteit biedt zonder dat er expliciete straffen voor output-diversiteit nodig zijn.

Belangrijke technische componenten:

• Architectuur: Een causale Transformer (4 lagen, 256 hidden units, 8 heads) die van scratch wordt getraind.
• Trainingsdoel: Sub-Trajectory Balance (STB) loss. Dit zorgt voor stabielere gradienten door balansconstraints te berekenen op sub-trajecten, wat cruciaal is voor variabele lengte sequenties.
• Partition Function ($Z$): Een leerbare parameter die essentieel is voor stabiliteit. De auteurs vinden dat een leercoëfficiënt voor $\log Z$ die 10x zo hoog is als die van het beleid, voorkomt dat het model instort (te langzaam leren) of ondertraint (te snel leren).
• Baseline (GRPO-D): Voor vergelijking wordt een aangepaste GRPO gebruikt met een expliciete diversiteitsstraf (combinatie van aminozuur-frequentie en Levenshtein-afstand) en een voorgeprogrammeerde ProtGPT2-distilled backbone (transfer learning).

Experimentele Opzet en Evaluatiemetrieken

De auteurs evalueren beide methoden onder drie verschillende beloningsconfiguraties:

1. ImprovedReward: Bevat een "entropy gate" die repetitieve patronen straft.
2. CompositeReward: Geen expliciete diversiteitsstraf in de beloning (test robuustheid).
3. ESM2-PLL: Een degeneratieve beloning die puur op pseudo-log-likelihood baseert (bekend om het bevorderen van repetitieve sequenties).

Metrieken:
Naast grove metrieken (sequentie-diversiteit, uniek ratio) introduceren de auteurs fijnmazige metrieken om verborgen mode-seeking te detecteren:

• Concentratie van dipeptiden: Percentage van de top-10 meest voorkomende dipeptiden.
• Dipeptide-entropie: Shannon-entropie van de verdeling.
• Kwaliteitsvloer: De 5e percentiel van de beloning (hoe slecht zijn de slechtste samples?).
• Consecutieve herhalingen: Aantal sequenties met >2 identieke opeenvolgende aminozuren.

Belangrijkste Resultaten

1. Fijnmazige Diversiteit (onder ImprovedReward):
Hoewel beide methoden vergelijkbare grove diversiteitscores hebben (~0.95), toont GFlowNet superieure lokale diversiteit:

• Dipeptide-verdeling: GFlowNet heeft een 5.4x lagere concentratie van de top-10 dipeptiden (4.0% vs 21.7% bij GRPO-D).
• Kwaliteitsconsistentie: GFlowNet heeft een 1.9x lagere variatiecoëfficiënt en een hogere kwaliteitsvloer (de slechtste samples zijn beter dan die van GRPO).
• Herhalingen: GRPO-D produceert 3.9x meer sequenties met lange repetitieve blokken.

2. Robuustheid bij het verwijderen van diversiteitsmechanismen:
Dit is het kritieke bewijs voor de superioriteit van GFlowNet:

• Zonder entropy gating (CompositeReward): GRPO-D collapseert volledig. 100% van de samples bevat het repetitieve patroon RMMRMMRMM. GFlowNet behoudt echter natuurlijke diversiteit (0.937).
• Zonder diversiteitsstraf (Vanilla GRPO): Zelfs met entropy gating in de beloning, collapseert GRPO naar een klein aantal motieven (52.5% concentratie van top-10 dipeptiden). GFlowNet blijft stabiel.

3. Grenzen:
Bij een volledig degeneratieve beloningsfunctie (ESM2-PLL) collapseert ook GFlowNet, wat aangeeft dat proportioneel sampling robuustheid biedt, maar niet oneindig is tegen pathologische beloningen.

Bijdragen en Significatie

Technische Bijdragen:

• Eerste vergelijking: De eerste systematische vergelijking tussen GFlowNet en GRPO met diversiteitsstraf voor therapeutische peptiden.
• Fijnmazige analyse: Introductie van metrieken die "verborgen" mode-seeking blootleggen die door standaard metrics worden gemist.
• Robuustheid: Aantonen dat GFlowNet diversiteit behoudt zonder expliciete output-diversiteitsstraffen, terwijl RL-methoden afhankelijk zijn van een delicate balans tussen beloning en straf.

Waarom dit belangrijk is voor Drug Discovery:

• Structurale Hedging: In medicijnontwikkeling is diversiteit cruciaal voor patentportefeuilles en het afdekken van onvoorspelbare falingsmodi (bijv. toxiciteit of slechte opname). GFlowNet produceert structureel verschillende families van kandidaten. Als één familie faalt, hebben andere families met verschillende structurele kenmerken een grotere kans op succes.
• Geen Trade-off: GFlowNet bereikt deze diversiteit zonder in te leveren op de kwaliteit (beloning) van de kandidaten, in tegenstelling tot penalty-based methoden die vaak een afweging vereisen tussen diversiteit en optimalisatie.
• Inherent Robuust: De proportional sampling objective is inherent minder gevoelig voor fouten in het ontwerp van de beloningsfunctie dan reward-maximalisatie.

Conclusie:
Het paper concludeert dat proportioneel sampling via GFlowNet fundamenteel superieur is aan reward-maximalisatie voor het genereren van therapeutische peptiden. Het biedt een natuurlijke, robuuste manier om een breed scala aan structurele kandidaten te verkennen, wat essentieel is voor succesvolle en veilige drug discovery pipelines.