🧬 biology

Pushing Biomolecular Utility-Diversity Frontiers with Supergroup Relative Policy Optimization

Das Papier stellt Supergroup Relative Policy Optimization (SGRPO) vor, ein flexibles Framework, das aus Kandidaten-Superguppen Diversitätsbelohnungen auf Set-Ebene konstruiert, um sowohl Nutzen als auch Diversität bei der Generierung von Biomolekülen effektiv zu entkoppeln und gleichzeitig zu optimieren, wodurch die Nutzen-Diversitäts-Pareto-Grenze über verschiedene Benchmarks für das Design von Molekülen und Proteinen erweitert wird.

Ursprüngliche Autoren: Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein neues Gericht zu erfinden. Sie haben zwei Hauptziele:

Geschmack (Nutzen): Das Gericht muss köstlich sein und bestimmte Kriterien erfüllen (z. B. „kalorienarm", „scharf" oder „glutenfrei").
Vielfalt (Diversität): Sie möchten nicht 100 Versionen exakt derselben scharfen Pasta zubereiten. Sie wollen eine Speisekarte mit vielen verschiedenen, einzigartigen Optionen.

Das Problem:
In der Welt der KI-generierten Moleküle (für Medikamente) oder Proteine (für die Biologie) sind aktuelle KI-Köche hervorragend darin, ein perfektes Gericht zu zaubern. Doch wenn man sie bittet, 100 Gerichte zu kreieren, die alle „köstlich" sind, geraten sie leicht in eine Sackgasse. Sie könnten 100 leicht unterschiedliche Versionen desselben Pasta-Gerichts produzieren. Sie verlieren an Vielfalt, weil sie so sehr auf den „perfekten Geschmack" fokussiert sind.

Bestehende Methoden versuchen dies zu beheben, indem sie der KI sagen: „Erstelle nichts, was du bereits gemacht hast." Doch das ist, als würde man einem Koch sagen: „Verwende kein Salz, weil du es gestern benutzt hast." Es ist eine indirekte Lösung, die manchmal dazu führt, dass das Essen seltsam schmeckt oder der Koch in die Produktion von ungenießbarem Unsinn abdriftet.

Die Lösung: SGRPO (Supergroup Relative Policy Optimization)
Die Arbeit stellt eine neue Trainingsmethode namens SGRPO vor. Denken Sie daran als Strategie eines „Gruppen-Geschmackstests".

Anstatt jedes einzelne Gericht einzeln zu bewerten, organisiert SGRPO die Versuche der KI in Gruppen (wie eine „Supergroup" aus 100 Gerichten).

So funktioniert es, Schritt für Schritt, unter Verwendung unserer Küchenanalogie:

Die Gruppenherausforderung: Die KI wird gebeten, eine Charge von 100 Gerichten für eine spezifische Anfrage zu kreieren (z. B. „Erstellen Sie eine scharfe, kalorienarme Mahlzeit").
Die Gruppenbewertung: Das System betrachtet die gesamte Charge und fragt: „Wie unterschiedlich sind diese 100 Gerichte voneinander?"
- Wenn die Charge 100 einzigartige Rezepte enthält (ein Salat, ein Curry, eine Suppe, ein Taco usw.), erhält die Gruppe eine hohe Diversitätsbewertung.
- Wenn die Charge 100 Versionen derselben Pasta enthält, erhält die Gruppe eine niedrige Diversitätsbewertung.
Der Vergleich: Die KI erstellt mehrere dieser Chargen. Sie vergleicht sie. „Charge A war sehr vielfältig; Charge B war langweilig."
Der „Leave-One-Out"-Trick (Die geheime Zutat): Dies ist der clevere Teil. Das System belohnt nicht nur die gesamte Gruppe; es ermittelt, welche spezifischen Gerichte die Gruppe vielfältig gemacht haben.
- Es fragt: „Wenn wir dieses spezifische Taco aus der Gruppe entfernen, wäre die Gruppe dann immer noch vielfältig?"
- Wenn das Entfernen des Tacos die Gruppe langweilig macht, erhält dieses Taco einen riesigen Bonus für seine Einzigartigkeit.
- Wenn das Entfernen des Tacos nicht viel verändert (weil es noch 10 andere Tacos gibt), erhält dieses Taco einen kleineren Bonus.
Die Belohnung: Die KI lernt, dass sie für die beste Bewertung Gerichte kreieren muss, die sowohl köstlich sind als auch echte, einzigartige Beiträge zur Vielfalt der Gruppe leisten.

Warum ist das besser?

Keine „Echokammern" mehr: Alte Methoden zwangen die KI oft, nur um der Unterschiedlichkeit willen unterschiedlich zu sein, was zu schlechten Ergebnissen führte. SGRPO belohnt nützliche Vielfalt.
Die „Pareto-Grenze": In mathematischen Begriffen behauptet diese Arbeit, dass SGRPO die „Grenze" nach außen drückt. Stellen Sie sich ein Diagramm vor, bei dem die X-Achse „Geschmack" und die Y-Achse „Vielfalt" darstellt.
- Alte KI konnte hohen Geschmack, aber geringe Vielfalt erzielen, oder hohe Vielfalt, aber geringen Geschmack.
- SGRPO ermöglicht der KI, hohen Geschmack UND hohe Vielfalt gleichzeitig zu erreichen. Es erweitert die Speisekarte möglicher Optionen.

Wo wurde dies getestet?
Die Autoren testeten diesen „Gruppen-Geschmackstest" an drei realen Kochherausforderungen:

Erfindung neuer kleiner Moleküle (wie das Erstellen neuer chemischer Strukturen für Medikamente von Grund auf).
Design von Molekülen, die in eine spezifische Tasche passen (wie das Entwerfen eines Schlüssels, der in ein spezifisches Schloss passt, beispielsweise eine Protein-Bindungsstelle).
Design neuer Proteine (Erstellung neuer biologischer Sequenzen).

Die Ergebnisse:
In allen drei Fällen produzierte SGRPO eine breitere Palette hochwertiger Optionen als frühere Methoden. Es machte die KI nicht nur „zufällig"; es machte die KI schlauer darin, das Bedürfnis nach einer spezifischen Funktion mit dem Bedürfnis nach kreativer Vielfalt ins Gleichgewicht zu bringen.

Kurz gesagt:
SGRPO ist eine Trainingsmethode, die der KI beibringt, aufzuhören, sich selbst zu kopieren. Anstatt jeden Versuch isoliert zu bewerten, bewertet sie Gruppen von Versuchen und belohnt die KI dafür, Chargen zu erstellen, bei denen jedes einzelne Element etwas Neues und Wertvolles zur Mischung beiträgt. Dies führt zu einer breiteren, nützlicheren Auswahl wissenschaftlicher Entdeckungen.

Technische Zusammenfassung: Vorantreiben der Grenzen von Nutzen und Vielfalt biomolekularer Anwendungen mittels Supergroup Relative Policy Optimization

1. Problemstellung

Die Generierung biomolekularer Strukturen zielt darauf ab, Kandidaten (kleine Moleküle oder Proteine) zu produzieren, die spezifische chemische oder biologische Ziele erfüllen. Obwohl Reinforcement Learning (RL) ein Standardrahmen für das Nachtrainieren vortrainierter Generatoren zur Maximierung des Nutzens (z. B. Arzneimittelähnlichkeit, Docking-Scores, Stabilität) ist, führt die Optimierung nur nach Nutzen häufig zu einem Mode Collapse, bei dem der Generator die Wahrscheinlichkeitsmasse auf eine schmale Familie hochbewerteter Kandidaten konzentriert. Umgekehrt ist die Aufrechterhaltung der Vielfalt schwierig, da Vielfalt eine Eigenschaft auf Set-Ebene (definiert über Sammlungen von Proben) ist, während Standard-Policy-Optimierungen einzelne Rollouts aktualisieren.

Bestehende RL-Methoden zur Förderung der Vielfalt verlassen sich oft auf indirekte Proxy-Metriken, wie etwa Neuheitsstrafen im Verhältnis zu historischen Proben oder speicherbasierte Filter. Diese Ansätze können nützliche Hochdichtemodes überstrafen oder zu Verteilungsdrift führen. Die zentrale Herausforderung, die von diesem Papier adressiert wird, lautet: Wie können wir die Vielfalt von Proben-Sets direkt als Primäroptimierungsziel optimieren und gleichzeitig nützliches Gutschriften für einzelne generierte Kandidaten zuweisen?

2. Methodik: Supergroup Relative Policy Optimization (SGRPO)

Die Autoren schlagen Supergroup Relative Policy Optimization (SGRPO) vor, ein flexibles Framework, das von der Group Relative Policy Optimization (GRPO) inspiriert ist und den Trade-off zwischen Nutzen auf Rollout-Ebene und Vielfalt auf Set-Ebene direkt optimiert.

Kernmechanismus

SGRPO arbeitet, indem es mehrere Kandidatensets (Gruppen) unter denselben Bedingungen abtastet und diese vergleicht, um Vielfaltsbelohnungen neu zu verteilen. Der Prozess umfasst vier Schlüsselschritte:

Same-Condition Supergroup Sampling (Abtastung von Supergroups unter gleichen Bedingungen):
Für eine gegebene Bedingung $C$ (z. B. eine spezifische Proteintasche oder keine Bedingung) sampelt die Policy $M$ Gruppen, wobei jede $K$ unabhängig generierte Rollouts enthält. Diese Sammlung $S(C) = \{G_1, \dots, G_M\}$ bildet eine „Supergroup" von $N=MK$ Kandidaten. Vergleiche sind auf diese Supergroup beschränkt, um die Qualität der Policy nicht mit der intrinsischen Schwierigkeit verschiedener Bedingungen zu vermischen.
Vielfaltsbewertung auf Gruppenebene:
Jeder Gruppe $G_m$ wird ein Vielfalts-Score $R_m = D(G_m)$ basierend auf einer vom Benutzer spezifizierten Metrik zugewiesen (z. B. interne Tanimoto-Distanz für Moleküle, Levenshtein-Ähnlichkeit für Proteine). Das relative Vielfalts-Signal auf Gruppenebene wird über einen Leave-One-Out-Vergleich mit anderen Gruppen in der Supergroup berechnet:
$A_m^{grp} = R_m - \frac{1}{M-1}\sum_{h \neq m} R_h$
Ein positives $A_m^{grp}$ zeigt an, dass die Gruppe vielfältiger ist als ihre Alternativen.
Set-bewusste Neuverteilung (Leave-One-Out-Beitrag):
Um die Lücke zwischen Signalen auf Set-Ebene und individuellen Policy-Updates zu überbrücken, verteilt SGRPO die Gruppenvielfaltsbelohnung auf einzelne Rollouts basierend auf ihrem Beitrag zur Vielfalt der Gruppe.
- Für jedes Rollout $x_{m,i}$ wird ein Leave-One-Out-Beitrag berechnet: $c_{m,i} = D(G_m) - D(G_m \setminus \{x_{m,i}\})$ .
- Diese Beiträge werden standardisiert und verwendet, um gewichtete Softmax-Gewichte mit Vorzeichenbewusstsein zu bilden.
- Wenn eine Gruppe hochdivers ist ( $A_m^{grp} > 0$ ), wird das positive Signal auf Kandidaten mit hohen Vielfaltsbeiträgen konzentriert. Wenn eine Gruppe weniger divers ist ( $A_m^{grp} < 0$ ), wird das negative Signal auf Kandidaten mit niedrigen Beiträgen konzentriert.
- Dies stellt sicher, dass die durchschnittliche Gruppenbelohnung erhalten bleibt, während Gutschriften für die spezifischen Moleküle vergeben werden, die die Vielfalt vorantreiben.
Supergroup-relative Policy-Aktualisierung:
Die finale Belohnung für ein Rollout kombiniert seinen individuellen Nutzen $r_{m,i}$ und die neu verteilte Vielfaltsbelohnung $\tilde{R}_{m,i}$ :
$\bar{r}_{m,i} = (1-\lambda)r_{m,i} + \lambda \tilde{R}_{m,i}$
wobei $\lambda$ den Trade-off zwischen Nutzen und Vielfalt steuert. Die Vorteilsfunktion wird als Leave-One-Out-Baseline über alle Rollouts in der Supergroup berechnet, und die Policy wird unter Verwendung eines abgeschnittenen PPO-ähnlichen Ziels mit KL-Regularisierung aktualisiert.

3. Hauptbeiträge

Direkte Optimierung auf Set-Ebene: SGRPO ist das erste Framework, das die Vielfalt auf Set-Ebene als primäres Ziel in der Generierung biomolekularer Strukturen direkt optimiert, anstatt sich auf indirekte Neuheits-Proxy-Metriken oder historisch abhängige Strafen zu verlassen.
Entkoppeltes Design: Die Methode ist von spezifischen Generatorarchitekturen (autoregressiv oder Diffusion), Nutzenbelohnungen oder Vielfaltsmetriken entkoppelt, was die Instanziierung mit verschiedenen GRPO-artigen Optimierern ermöglicht (z. B. Standard-GRPO für autoregressive Modelle, Coupled-GRPO für diskrete Diffusion).
Mechanismus zur Gutschriftenvergabe: Die Einführung eines Leave-One-Out-Vielfaltsbeitrags-Mechanismus ermöglicht es dem System, Gutschriften für einzelne Kandidaten zu vergeben, die die Set-Vielfalt tatsächlich unterstützen, und löst so das Problem der Optimierung einer Set-Eigenschaft mit individuellen Updates.
Robustheit gegenüber der Gruppengröße: Die Methode bleibt auch bei kleinen Gruppengrößen effektiv, was sie für das biomolekulare Design im großen Maßstab rechnerisch machbar macht.

4. Experimentelle Ergebnisse

Die Autoren bewerteten SGRPO in drei verschiedenen Szenarien zur Generierung biomolekularer Strukturen:

De-novo-Design kleiner Moleküle: Verwendung von GenMol (diskrete Diffusion).
Taschenbasiertes Design kleiner Moleküle: Verwendung von GenMol-P (taschenkonditionierte Diffusion).
De-novo-Proteindesign: Verwendung von ProGen2 (autoregressiv).

Leistungsmetriken:
Die Bewertung konzentrierte sich auf die Nutzen-Vielfalt-Pareto-Grenze, gemessen durch:

Hypervolumen (HV): Die Fläche, die von den nicht-dominierten Betriebspunkten beherrscht wird.
Abstand zum Idealpunkt (DIP): Abstand zum theoretisch besten Nutzen und zur besten Vielfalt.
R2-Indikator: Durchschnittlicher gewichteter Worst-Case-Defizitwert.

Ergebnisse:

Erweiterung der Grenze: Über alle Aufgaben und Decodierungs-Sweeps hinweg erweiterte SGRPO konsistent die erreichbare Nutzen-Vielfalt-Pareto-Grenze im Vergleich zu vortrainierten Generatoren, Standard-GRPO und speicherunterstütztem GRPO.
Erhaltung der Vielfalt: In Regimen mit hohem Nutzen, in denen Basismodelle (insbesondere GRPO) unter schwerem Diversitätskollaps litten, behielt SGRPO eine signifikant höhere Vielfalt bei. Beispielsweise verschob SGRPO im taschenbasierten Design die Trajektorie des Betriebspunkts nach außen und behielt bei vergleichbaren Nutzenlevels eine deutlich höhere Vielfalt bei.
Ablationsstudien: Das Entfernen der Vielfaltsbelohnung führte die Leistung auf das Niveau von Standard-GRPO zurück. Das Entfernen der Leave-One-Out-Gutschriftenvergabe schwächte die Leistung, was die Bedeutung der Neuverteilung von Vielfaltsignalen auf spezifische Beitragsleister bestätigt.
Verteilungsdynamik: Visualisierungen von Sequenzverteilungen zeigten, dass sich GRPO und speicherunterstütztes GRPO in schmale Bereiche zusammenzogen oder drifteten, während SGRPO mehrere Cluster erkundete und bewahrte, was auf eine breitere Abdeckung des Sequenzraums hindeutet.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass SGRPO ein allgemein anwendbares Prinzip für das Nachtraining bietet, um die Betriebspunkte zu erweitern, die für Modelle zur Generierung biomolekularer Strukturen verfügbar sind. Durch die direkte Belohnung vielfältiger generierter Sets schiebt die Methode die Nutzen-Vielfalt-Grenze nach außen und ermöglicht es Modellen, bei festen Vielfaltsniveaus einen besseren Nutzen zu erzielen (und umgekehrt), ohne die Abdeckung zu opfern.

Die Autoren betonen, dass dieser Ansatz eine fundamentale Einschränkung im aktuellen RL-basierten biomolekularen Design adressiert: die Unfähigkeit, Vielfalt während der Policy-Optimierung als Primäroptimierungsziel zu behandeln. Die Ergebnisse deuten darauf hin, dass die direkte Optimierung der Vielfalt auf Set-Ebene eine praktische und robuste Strategie zur Minderung von Mode Collapse sowohl bei der Generierung kleiner Moleküle als auch von Proteinen ist. Der Code wird bereitgestellt, um weitere Forschung und Instanziierung in verschiedenen Domänen zu erleichtern.