🧬 biology

Pushing Biomolecular Utility-Diversity Frontiers with Supergroup Relative Policy Optimization

Het artikel introduceert Supergroup Relative Policy Optimization (SGRPO), een flexibel raamwerk dat set-niveau diversiteitsbeloningen construeert uit kandidaat-supergroepen om zowel nut als diversiteit in biomoleculaire generatietaken effectief te ontkoppelen en gelijktijdig te optimaliseren, waardoor de nut-diversiteit Pareto-grens wordt uitgebreid over diverse moleculaire en eiwitontwerpbenchmarks.

Oorspronkelijke auteurs: Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert een nieuw gerecht te bedenken. Je hebt twee hoofddoelen:

Smaak (Nuttigheid): Het gerecht moet lekker zijn en aan specifieke criteria voldoen (bijvoorbeeld "lage calorieën", "kruidig" of "glutenvrij").
Variatie (Diversiteit): Je wilt niet 100 versies van exact hetzelfde kruidige pasta-gerecht maken. Je wilt een menu met veel verschillende, unieke opties.

Het Probleem:
In de wereld van door AI gegenereerde moleculen (voor medicijnen) of eiwitten (voor biologie) zijn huidige AI-koks uitstekend in het maken van één perfect gerecht. Maar als je ze vraagt om 100 gerechten te maken die allemaal "lekker" zijn, raken ze vaak in een spagaat. Ze maken misschien 100 licht verschillende versies van hetzelfde pastagerecht. Ze verliezen variatie omdat ze zo gefocust zijn op de "perfecte smaak".

Bestaande methoden proberen dit op te lossen door de AI te vertellen: "Maak niets wat je eerder hebt gemaakt." Maar dit is alsof je een kok zegt: "Gebruik geen zout omdat je het gisteren hebt gebruikt." Het is een indirecte oplossing die soms ervoor zorgt dat het eten vreemd smaakt of de kok ertoe aanzet om oneetbare onzin te maken.

De Oplossing: SGRPO (Supergroup Relative Policy Optimization)
Het artikel introduceert een nieuwe trainingsmethode genaamd SGRPO. Denk hierbij aan een strategie van "Groepsproeverij".

In plaats van elk gerecht één voor één te beoordelen, organiseert SGRPO de pogingen van de AI in groepen (zoals een "Supergroep" van 100 gerechten).

Zo werkt het, stap voor stap, met onze keuken-analogie:

De Groepsuitdaging: De AI wordt gevraagd om een batch van 100 gerechten te maken voor een specifiek verzoek (bijvoorbeeld: "Maak een kruidige maaltijd met lage calorieën").
De Groepscore: Het systeem kijkt naar de hele batch en vraagt: "Hoe verschillend zijn deze 100 gerechten van elkaar?"
- Als de batch 100 unieke recepten bevat (een salade, een curry, een soep, een taco, enz.), krijgt de groep een hoge diversiteitsscore.
- Als de batch 100 versies van hetzelfde pastagerecht bevat, krijgt de groep een lage diversiteitsscore.
De Vergelijking: De AI maakt meerdere van deze batches. Het vergelijkt ze. "Batch A was zeer divers; Batch B was saai."
De "Leave-One-Out" Truc (De Geheime Ingrediënt): Dit is het slimme deel. Het systeem beloont niet alleen de hele groep; het berekent welke specifieke gerechten de groep divers maakten.
- Het vraagt: "Als we dit specifieke taco uit de groep zouden verwijderen, zou de groep dan nog steeds divers zijn?"
- Als het verwijderen van de taco de groep saai maakt, krijgt die taco een enorme bonus voor zijn uniciteit.
- Als het verwijderen van de taco niet veel verandert (omdat er nog 10 andere tacos zijn), krijgt die taco een kleinere bonus.
De Beloning: De AI leert dat het om de beste score te krijgen, gerechten moet maken die zowel lekker zijn als echte unieke bijdragers aan de variatie van de groep.

Waarom is dit beter?

Geen "Echo-kamers" meer: Oude methoden dwongen de AI vaak om alleen maar anders te zijn om anders te zijn, wat leidde tot slechte resultaten. SGRPO beloont bruikbare diversiteit.
De "Pareto-grens": In wiskundige termen beweert dit artikel dat SGRPO de "grens" naar buiten duwt. Stel je een grafiek voor waar de X-as "Smaak" is en de Y-as "Variatie".
- Oude AI kon hoge smaak maar lage variatie krijgen, of hoge variatie maar lage smaak.
- SGRPO stelt de AI in staat om hoge smaak EN hoge variatie tegelijkertijd te bereiken. Het breidt het menu van mogelijke opties uit.

Waar hebben ze dit getest?
De auteurs hebben deze "Groepsproeverij" getest op drie real-world kookuitdagingen:

Het uitvinden van nieuwe kleine moleculen (zoals het creëren van nieuwe chemische structuren voor medicijnen van scratch).
Het ontwerpen van moleculen die in een specifieke zak passen (zoals het ontwerpen van een sleutel die in een specifiek slot past, zoals een eiwitbindingsplaats).
Het ontwerpen van nieuwe eiwitten (het creëren van nieuwe biologische sequenties).

De Resultaten:
In alle drie de gevallen produceerde SGRPO een bredere reeks hoogwaardige opties dan eerdere methoden. Het maakte de AI niet zomaar "willekeurig"; het maakte de AI slimmer in het balanceren van de behoefte aan een specifieke functie met de behoefte aan creatieve variatie.

In het Kort:
SGRPO is een trainingsmethode die AI leert stoppen met zichzelf te kopiëren. In plaats van elke poging geïsoleerd te beoordelen, beoordeelt het groepen pogingen en beloont het de AI voor het maken van batches waarbij elk enkel item iets nieuws en waardevols toevoegt aan de mix. Dit leidt tot een bredere, bruikbaardere selectie van wetenschappelijke ontdekkingen.

Technische Samenvatting: Het Verschuiven van de Biomoleculaire Nuttigheid-Verscheidenheidsgrenzen met Supergroup Relative Policy Optimization

1. Probleemstelling

Biomoleculaire generatie heeft tot doel kandidaten (kleine moleculen of eiwitten) te produceren die specifieke chemische of biologische doelen vervullen. Hoewel Versterkend Leren (RL) een standaardkader is voor het na-traineren van vooraf getrainde generatoren om nuttigheid te maximaliseren (bijvoorbeeld medicijn-achtigheid, docking-scores, stabiliteit), leidt optimalisatie voor nuttigheid alleen vaak tot mode-collapse, waarbij de generator de waarschijnlijkheidsmassa concentreert op een smal familie van hoogscorende kandidaten. Omgekeerd is het behoud van verscheidenheid uitdagend omdat verscheidenheid een eigenschap op set-niveau is (gedefinieerd over verzamelingen van steekproeven), terwijl standaard policy-optimalisatie individuele rollouts bijwerkt.

Bestaande RL-methoden die verscheidenheid bevorderen, vertrouwen vaak op indirecte proxies, zoals novelty-boetes ten opzichte van historische steekproeven of geheugen-gebaseerde filters. Deze benaderingen kunnen nuttige hoge-dichtheid modes overstraffen of distributieverschuiving veroorzaken. De centrale uitdaging die door dit artikel wordt aangepakt is: Hoe kunnen we de verscheidenheid van een steekproefset direct optimaliseren als een objectief van de eerste orde, terwijl we toch bruikbare krediettoewijzing geven aan individueel gegenereerde kandidaten?

2. Methodologie: Supergroup Relative Policy Optimization (SGRPO)

De auteurs stellen Supergroup Relative Policy Optimization (SGRPO) voor, een flexibel raamwerk geïspireerd door Group Relative Policy Optimization (GRPO) dat direct de afweging optimaliseert tussen nuttigheid op rollout-niveau en verscheidenheid op set-niveau.

Kernmechanisme

SGRPO werkt door meerdere kandidaatsets (groepen) te bemonsteren onder dezelfde conditie en deze te vergelijken om verscheidenheidsbeloningen te herverdelen. Het proces omvat vier belangrijke stappen:

Bemonstering van Supergroepen onder Dezelfde Conditie:
Voor een gegeven conditie $C$ (bijvoorbeeld een specifiek eiwitpocket of geen conditie) bemonstert het beleid $M$ groepen, elk met $K$ onafhankelijk gegenereerde rollouts. Deze verzameling $S(C) = \{G_1, \dots, G_M\}$ vormt een "supergroep" van $N=MK$ kandidaten. Vergelijkingen zijn beperkt tot deze supergroep om policy-kwaliteit te ontkoppelen van de intrinsieke moeilijkheidsgraad van verschillende condities.
Verscheidenheidsscore op Groepsniveau:
Elke groep $G_m$ krijgt een verscheidenheidsscore $R_m = D(G_m)$ toegewezen op basis van een door de gebruiker gespecificeerde metriek (bijvoorbeeld interne Tanimoto-afstand voor moleculen, Levenshtein-similariteit voor eiwitten). Het relatieve verscheidenheidssignaal op groepsniveau wordt berekend via een leave-one-out vergelijking met andere groepen in de supergroep:
$A_m^{grp} = R_m - \frac{1}{M-1}\sum_{h \neq m} R_h$
Een positieve $A_m^{grp}$ geeft aan dat de groep diverser is dan zijn alternatieven.
Set-bewuste Herverdeling (Leave-One-Out Bijdrage):
Om de kloof te overbruggen tussen signalen op set-niveau en individuele policy-updates, herverdeelt SGRPO de groepsverscheidenheidsbeloning naar individuele rollouts op basis van hun bijdrage aan de verscheidenheid van de groep.
- Voor elke rollout $x_{m,i}$ wordt een leave-one-out bijdrage berekend: $c_{m,i} = D(G_m) - D(G_m \setminus \{x_{m,i}\})$ .
- Deze bijdragen worden gestandaardiseerd en gebruikt om signaal-bewuste softmax-gewichten te vormen.
- Als een groep zeer divers is ( $A_m^{grp} > 0$ ), wordt het positieve signaal geconcentreerd op kandidaten met hoge verscheidenheidsbijdragen. Als een groep minder divers is ( $A_m^{grp} < 0$ ), wordt het negatieve signaal geconcentreerd op kandidaten met lage bijdragen.
- Dit zorgt ervoor dat de gemiddelde groepsbeloning behouden blijft terwijl krediet wordt toegewezen aan de specifieke moleculen die verscheidenheid stimuleren.
Supergroup-Relative Policy Update:
De uiteindelijke beloning voor een rollout combineert zijn individuele nuttigheid $r_{m,i}$ en de herverdeelde verscheidenheidsbeloning $\tilde{R}_{m,i}$ :
$\bar{r}_{m,i} = (1-\lambda)r_{m,i} + \lambda \tilde{R}_{m,i}$
waarbij $\lambda$ de afweging tussen nuttigheid en verscheidenheid controleert. De voordeelfunctie wordt berekend als een leave-one-out baseline over alle rollouts in de supergroep, en de policy wordt bijgewerkt met een afgekapte PPO-stijl objectief met KL-regulering.

3. Belangrijkste Bijdragen

Directe Optimalisatie op Set-niveau: SGRPO is het eerste raamwerk dat verscheidenheid op set-niveau direct optimaliseert als een primair objectief in biomoleculaire generatie, in plaats van te vertrouwen op indirecte novelty-proxies of geschiedenis-afhankelijke boetes.
Ontkoppeld Ontwerp: De methode is ontkoppeld van specifieke generator-architecturen (autoregressief of diffusie), nuttigheidsbeloningen of verscheidenheidsmetrieken, wat toelating tot instantiatie met diverse GRPO-stijl optimalizers mogelijk maakt (bijvoorbeeld standaard GRPO voor autoregressieve modellen, Coupled-GRPO voor discrete diffusie).
Krediettoewijzingsmechanisme: De introductie van een leave-one-out verscheidenheidsbijdrage mechanisme stelt het systeem in staat krediet toe te wijzen aan individuele kandidaten die set-verscheidenheid werkelijk ondersteunen, waardoor het probleem van het optimaliseren van een set-eigenschap met individuele updates wordt opgelost.
Robuustheid voor Groottte van Groepen: De methode blijft effectief zelfs met kleine groepsgroottes, waardoor het rekenkundig haalbaar is voor grootschalig biomoleculair ontwerp.

4. Experimentele Resultaten

De auteurs hebben SGRPO geëvalueerd in drie verschillende biomoleculaire generatie-instellingen:

De Novo Ontwerp van Kleine Moleculen: Met gebruik van GenMol (discrete diffusie).
Pocket-gebaseerd Ontwerp van Kleine Moleculen: Met gebruik van GenMol-P (pocket-geconditioneerde diffusie).
De Novo Eiwitontwerp: Met gebruik van ProGen2 (autoregressief).

Prestatiemetrieken:
De evaluatie concentreerde zich op de Nuttigheid-Verscheidenheid Pareto-grens, gemeten door:

Hypervolume (HV): Het gebied gedomineerd door de niet-gedomineerde operationele punten.
Afstand tot Ideaal Punt (DIP): Afstand tot de theoretisch beste nuttigheid en verscheidenheid.
R2 Indicator: Gemiddelde gewogen worst-case tekortkoming.

Vondsten:

Uitbreiding van de Grens: Over alle taken en decoding sweeps heen breidde SGRPO consistent de behaalde nuttigheid-verscheidenheid Pareto-grens uit in vergelijking met vooraf getrainde generatoren, standaard GRPO en geheugen-ondersteunde GRPO.
Behoud van Verscheidenheid: In regimes met hoge nuttigheid, waar baselines (vooral GRPO) leden onder ernstige verscheidenheidsinzakking, handhaafde SGRPO aanzienlijk hogere verscheidenheid. Bijvoorbeeld, in pocket-gebaseerd ontwerp verschuift SGRPO de trajecten van operationele punten naar buiten, waarbij op vergelijkbare nuttigheidsniveaus duidelijk hogere verscheidenheid wordt behouden.
Ablatiestudies: Het verwijderen van de verscheidenheidsbeloning bracht de prestaties terug naar standaard GRPO-niveaus. Het verwijderen van de leave-one-out krediettoewijzing verzwakte de prestaties, wat het belang bevestigt van het herverdelen van verscheidenheidssignalen naar specifieke bijdragers.
Dynamiek van Distributie: Visualisaties van sequentieverdelingen toonden aan dat terwijl GRPO en geheugen-ondersteunde GRPO inkrompen tot smalle gebieden of afweken, SGRPO meerdere clusters verkende en behield, wat wijst op bredere dekking van de sequenceruimte.

5. Betekenis en Claims

Het artikel claimt dat SGRPO een breed toepasbaar post-training principe biedt voor het uitbreiden van de operationele punten die beschikbaar zijn voor biomoleculaire generatiemodellen. Door divers gegenereerde sets direct te belonen, duwt de methode de nuttigheid-verscheidenheidsgrens naar buiten, waardoor modellen betere nuttigheid kunnen bereiken bij vaste verscheidenheidsniveaus (en omgekeerd) zonder dekking op te offeren.

De auteurs benadrukken dat deze aanpak een fundamentele beperking in huidige RL-gebaseerd biomoleculair ontwerp aanpakt: het onvermogen om verscheidenheid te behandelen als een objectief van de eerste orde tijdens policy-optimalisatie. De resultaten suggereren dat het direct optimaliseren van verscheidenheid op set-niveau een praktische en robuuste strategie is om mode-collapse te mitigeren in zowel kleine-molecuul- als eiwitgeneratietaken. De code is beschikbaar gesteld om verder onderzoek en instantiatie in verschillende domeinen te faciliteren.