🤖 machine learning

GFlowNet Training by Policy Gradients

Dit artikel stelt een nieuw GFlowNet-trainingsframework voor dat de flow-balans overbrugt met de optimalisatie van de verwachte beloning om nieuwe beleidsgebaseerde methoden af te leiden, met een gekoppelde strategie voor het gezamenlijk trainen van voorwaartse beleidsregels en het ontwerpen van achterwaartse beleidsregels, wat theoretisch gegarandeerd en empirisch aangetoond is de prestaties te verbeteren op zowel gesimuleerde als real-world datasets.

Oorspronkelijke auteurs: Puhua Niu, Shili Wu, Mingzhou Fan, Xiaoning Qian

Gepubliceerd 2026-08-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Puhua Niu, Shili Wu, Mingzhou Fan, Xiaoning Qian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je het perfecte recept moet vinden, de meest efficiënte bezorgroute, of een nieuw medicijnmolecuul, maar het aantal mogelijke combinaties zo groot is dat het langer zou duren dan de leeftijd van het universum om ze allemaal één voor één te controleren. Dit is de uitdaging van "combinatorische explosie", een probleem dat alles teistert van biologie tot techniek. Om dit op te lossen, gebruiken wetenschappers een slim instrument genaamd een Generative Flow Network (GFlowNet). Denk niet aan een GFlowNet als een rigide regelboek, maar als een magisch watersysteem. Het bouwt complexe objecten stap voor stap op, zoals een rivier die een pad door een kloof slijpt. Het doel is om ervoor te zorgen dat het "water" (of de waarschijnlijkheid) zo stroomt dat de rivier precies even vaak in de meest prachtige, hoog-belonende valleien (de beste oplossingen) eindigt als die valleien verdienen.

Traditioneel is het aanleren van deze waterstroom een kwestie van het balanceren van een enorme, onzichtbare weegschaal. De oude methoden, bekend als "waarde-gebaseerde" benaderingen, richten zich op het controleren of de waterniveaus bij elke splitsing voldoen aan een specifieke vergelijking. Het is een beetje alsof een loodgieter constant de druk bij elke pijp meet om te zorgen dat er niets lekt. Hoewel dit werkt, kan het traag en onhandig zijn, vooral wanneer het landschap vol zit met geïsoleerde, hoog-belonende pieken die moeilijk te bereiken zijn. De onderzoekers in dit artikel vroegen zich af: Is er een manier om het watersysteem te leren stromen door simpelweg de weg die het aflegt te belonen, in plaats van alleen de druk bij elk stoppunt te controleren? Ze stellen een nieuwe manier voor om deze netwerken te trainen die meer voelt als een personage in een videogame dat leert een doolhof te rennen door punten te verzamelen, in plaats van een wiskundige die een vergelijking oplost.

De Nieuwe Manier om de Flow te Trainen

De auteurs, Puhua Niu en hun team, hebben een frisse trainingsmethode voor GFlowNets ontwikkeld die de focus verlegt van "het controleren van de wiskunde" naar "het volgen van de beloning". In de oude school van denken werd het netwerk getraind om de doorstroom van water over de hele kaart in balans te houden, een methode die lijkt op hoe traditioneel Reinforcement Learning (RL) vroeger werkte door de waarde van elke toestand te schatten. De nieuwe aanpak behandelt het trainingsproces echter als een directe policy gradient-probleem.

Om dit te begrijpen, stel je voor dat je een hond leert om een bal te halen.

De Oude Manier (Waarde-gebaseerd): Je staat op elke mogelijke plek in de tuin en berekent precies hoeveel "haalwaarde" die plek heeft. Je past vervolgens het gedrag van de hond aan om ervoor te zorgen dat de wiskunde op elke locatie perfect klopt. Het is nauwkeurig, maar het vereist veel mentale energie om de waarde van elk grassprietje te berekenen.
De Nieuwe Manier (Policy-gebaseerd): Je zegt simpelweg: "Goed zo!" wanneer de hond naar de bal rent en "Slecht!" wanneer de hond de verkeerde kant op rent. Je hoeft niet de waarde van elke plek in de tuin te weten; je past alleen de renstijl van de hond aan op basis van de beloningen die hij onderweg krijgt.

Het artikel introduceert een speciaal soort "beloning" die afhangt van de strategie (of policy) die het netwerk momenteel gebruikt. Door dit te doen, overbruggen ze de kloof tussen de complexe flow-balansvergelijkingen van GFlowNets en de eenvoudigere, meer directe "beloon-en-straf"-leerstijl van moderne AI. Ze ontdekten dat deze methode het netwerk veel sneller en robuuster laat leren, vooral wanneer de "schat" (de hoog-belonende oplossingen) verborgen is in geïsoleerde plekken die moeilijk te vinden zijn.

Wat Ze Vonden en Wat Ze Vermeden

De onderzoekers testten hun nieuwe "belonings-gebaseerde" training op verschillende verschillende uitdagingen, waaronder het simuleren van rasters (zoals een gigantisch schaakbord), het ontwerpen van biologische sequenties (zoals DNA-strengen) en het creëren van moleculaire structuren (zoals nieuwe medicijnen).

In deze simulaties presteerde hun nieuwe methode, die ze RL-G noemen (wanneer een slimme gids wordt gebruikt) en RL-T (met een "trust region" om veranderingen veilig te houden), consequent beter dan de oude methoden.

Snelheid: De nieuwe methoden convergeerden (vonden de oplossing) veel sneller. In het 256x256 rasterexperiment bereikten de nieuwe methoden een lage foutmarge in minder stappen dan de oude "Trajectory Balance" (TB) methoden.
Nauwkeurigheid: De uiteindelijke resultaten waren vaak nauwkeuriger. In het 256x256 raster bereikte hun beste methode (RL-G) bijvoorbeeld een Total Variation-fout van ongeveer 0,439, terwijl de op één na beste traditionele methode (TB-U) rond de 0,728 lag. In de tests voor moleculair ontwerp vonden hun methoden meer unieke "modi" (verschillende hoogwaardige oplossingen) dan de oude manieren.

Cruciaal is dat het artikel pleit tegen het idee dat we altijd moeten vertrouwen op complexe, off-policy samplers (zoals Thompson Sampling of willekeurige menging) om de ruimte te verkennen. Hoewel die methoden proberen "exploratie" (nieuwe dingen proberen) en "exploitatie" (gebruiken wat werkt) in evenwicht te houden, laten de auteurs zien dat door hun policy-gebaseerde aanpak met robuuste gradiëntschatting te gebruiken, het netwerk van nature de beste paden kan vinden zonder die ingewikkelde externe trucjes nodig te hebben. Ze suggereerden dit niet alleen; ze maten het over meerdere datasets en lieten zien dat de nieuwe strategieën een stabielere en efficiëntere manier bieden om deze netwerken te trainen.

De "Trust Region" en de "Guide"

Om te voorkomen dat het netwerk in de war raakt of in een slechte gewoonte vervalt, voegden de auteurs twee speciale ingrediënten toe:

De Trust Region (RL-T): Stel je voor dat je een hond leert te rennen. Als je hem te snel te vroeg vertelt om te rennen, kan hij struikelen. De "Trust Region" is als een riem die beperkt hoe meget de renstijl van de hond in één stap kan veranderen. Dit houdt het leerproces stabiel en voorkomt dat het netwerk wilde, slechte gokken doet. Het artikel laat zien dat dit het trainen soepeler en betrouwbaarder maakt.
De Guided Policy (RL-G): Soms heeft de hond een klein zetje nodig. De auteurs introduceerden een "geleide" policy die fungeert als een kaart, die het netwerk voorzichtig wegstuurt van doodlopende wegen (gebieden met lage beloning) en richting de schat. Dit hel help het netwerk om doodlopende gebieden ("reward deserts") te vermijden waar geen goede oplossingen in de buurt zijn.

Waarom Dit Er Toe Doet

Het artikel concludeert dat door de training van GFlowNets te herformuleren als een direct beloningsoptimalisatieprobleem, we betere, snellere en betrouwbaardere AI kunnen bouwen voor het genereren van complexe objecten. Of het nu gaat om het ontwerpen van een nieuw medicijn, het optimaliseren van een toeleveringsketen, of het begrijpen van de structuur van het universum, deze methode biedt een directer pad naar de oplossing. De auteurs zijn vol vertrouwen in hun resultaten omdat ze hun claims hebben onderbouwd met rigoureuze wiskundige bewijzen en uitgebreide experimenten op echte en gesimuleerde data. Ze hebben niet alleen gegokt dat dit zou werken; ze hebben aangetoond dat het werkt, en bieden daarmee een veelbelovende nieuwe richting voor hoe we AI leren te creëren en te ontdekken.

Probleemstelling
Generative Flow Networks (GFlowNets) zijn ontworpen om combinatorische objecten te samplen uit een ruimte $\mathcal{X}$ met een waarschijnlijkheid die proportioneel is aan een niet-negatieve beloningsfunctie $R(x)$ . Hoewel effectief, zijn bestaande GFlowNet-trainingsmethoden voornamelijk waarde-gebaseerd, waarbij ze vertrouwen op het onderhouden van flow-balansvergelijkingen (bijv. Trajectory Balance, Detailed Balance) over een Directed Acyclic Graph (DAG). Deze methoden kampen met uitdagingen bij het ontwerpen van krachtige samplers die exploratie en exploitatie in balans houden, met name in hoogdimensionele ruimtes met geïsoleerde modi. Bovendien kunnen standaard waarde-gebaseerde benaderingen lijden onder numerieke instabiliteit door de explosie van flow-waarden en kunnen ze vast komen te zitten in lokale optima bij het gebruik van typische annealing- of random-mixingstrategieën. Het artikel stelt dat het overbruggen van GFlowNet-training met policy-gebaseerde Reinforcement Learning (RL) een robuustere gradiëntschatting en verbeterde trainingsefficiëntie kan bieden.

Methodologie
De auteurs stellen een nieuw trainingsframework voor dat de GFlowNet-training herformuleert als een policy-gebaseerd RL-probleem over een speciale Markov Decision Process (MDP).

Policy-afhankelijke Beloningen: De kerninnovatie is de definitie van policy-afhankelijke beloningsfuncties. Voor een forward policy $\pi_F$ en een backward policy $\pi_B$ , worden de beloningen gedefinieerd als de log-ratio's van deze policies (bijv. $R_F(s, a) = \log \frac{\pi_F(s, a)}{\pi_B(s', a)}$ ). Deze formulering maakt het mogelijk om de flow-balansconditie te herinterpreteren als het minimaliseren van de verwachte cumulatieve beloning, waardoor de kloof tussen flow-balans en RL-objectieven wordt overbrugd.
RL-Formulering: De training van de forward policy wordt gegoten in het minimaliseren van een verwachte waarde-functie $J_F$ , die overeenkomt met de Kullback-Leibler (KL) divergentie tussen de forward traject-distributie en een doelverdeling afgeleid van de backward policy. Vergelijkbaar hiermee wordt het ontwerp van de backward policy geformuleerd als een RL-probleem om een apart objectief $J_B$ te minimaliseren.
Gekoppelde Trainingsstrategie: Het artikel introduceert een gekoppelde trainingsstrategie die zowel de forward policy als het ontwerp van de backward policy gezamenlijk optimaliseert. In tegen tegenstelling tot eerdere twee-fasen benaderingen, maakt deze methode simultane updates mogelijk, wat theoretisch prestatieverbeteringen garandeert.
Geavanceerde Optimalisatietechnieken: Puttend uit de gevestigde policy-gebaseerde RL-literatuur, integreren de auteurs:
- Variantiereductie: Het gebruik van functionele baselines (critics) en generalized advantage estimation (gecontroleerd door een parameter $\lambda$ ) om de bias-variance trade-off in gradiëntschatting te beheren.
- Trust Region Constraints: Het aanpassen van Trust Region Policy Optimization (TRPO) en Proximal Policy Optimization (PPO) concepten om stabiele, conservatieve policy-updates te waarborgen, wat voorkomt dat het model in lokale optima vast komt te zitten.
Theoretische Garanties: Het artikel biedt theoretische bewijzen die aantonen dat de voorgestelde policy-gebaseerde objectieven equivalent zijn aan het minimaliseren van de KL-divergentie tussen distributies. Het stelt convergentiegaranties vast voor de policy gradients onder policy-afhankelijke beloningen en absorberende Markov-ketens (specifiek voor de DAG-structuur van GFlowNets), die verschillen van de standaard ergodische MDP-aannames in traditionele RL.

Belangrijkste Bijdragen

Herformulering van GFlowNet-training: De auteurs hebben de GFlowNet-training succesvol geherformuleerd als een RL-probleem met policy-afhankelijke beloningen, waarbij de flow-balansvergelijking wordt getransformeerd naar een optimalisatie van verwachte cumulatieve beloningen.
Policy-gebaseerde Trainingsstrategieën: Ze leiden nieuwe trainingsstrategieën af die de forward policy direct optimaliseren via gradiënten, wat contrasteert met bestaande waarde-gebaseerde methoden. Dit omvat de adaptatie van TRPO en PPO-stijl objectieven voor GFlowNets.
Gekoppeld Backward Policy Ontwerp: Het artikel formuleert het ontwerp van backward policies als een RL-probleem en stelt een gezamenlijke trainingsstrategie voor die zowel de forward als de backward policies gelijktijdig optimaliseert, wat de trainingsefficiëntie verbetert.
Theoretische Analyse: Het werk biedt theoretische garanties voor de convergentie van deze policy-gebaseerde methoden, waarbij bewezen wordt dat ze asymptotisch convergeren naar stationaire punten en het vaststellen van bovengrenzen voor prestatieverbetering.

Experimentele Resultaten
De auteurs evalueerden hun methoden op drie domeinen: hyper-grid modellering, biologische/moleculaire sequentie-ontwerp (SIX6, QM9, PHO4, sEH datasets) en Bayesian Network structuurleren.

Prestaties: Over gesimuleerde en real-world datasets heen, vertoonden de voorgestelde policy-gebaseerde methoden (met name RL-G met guided policies en RL-T met TRPO-gebaseerde updates) consistent snellere convergentiesnelheden en een lagere Total Variation (TV) afstand vergeleken met state-of-the-art waarde-gebaseerde methoden (zoals TB-U, TB-B, TB-Sub, en DB-gebaseerde methoden).
Stabiliteit: De TRPO-gebaseerde variant (RL-T) vertoonde een grotere stabiliteit tijdens de training vergeleken met vanilla policy-gebaseerde methoden, wat het voordeel van conservatieve updates bevestigt.
Ablatie: Experimenten waarbij de bias-variance trade-off parameter $\lambda$ varieerde, toonden aan dat de policy-gebaseerde methoden een robuustere gradiëntschatting boden dan Trajectory Balance (TB) methoden, met name wanneer $\lambda$ werd afgestemd.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het bieden van alternatieve, policy-gebaseerde perspectieven voor GFlowNet-training die robuuste gradiëntschatting bieden. Door het probleem te herformuleren door de lens van policy gradients, argumenteren de auteurs dat GFlowNets geavanceerde RL-technieken (zoals trust regions en variantiereductie) kunnen benutten om de beperkingen van waarde-gebaseerde samplers te overwinnen. Het werk suggereert dat deze benadering bijzonder effectief is in omgevingen met grote, geïsoleerde modi waar traditionele exploratie-exploitatie balans moeilijk is. De auteurs merken bescheiden op dat hoewel hun methoden geen expliciet sampler-ontwerp vereisen (in tegen tegenstelling tot waarde-gebaseerde off-policy methoden), ze nog steeds te maken hebben met uitdagingen rond gradiëntvariantie in zeer grote toestandsruimtes, wat ruimte laat voor toekomstig werk op het gebied van verdere verbetering van gradiëntschattings-technieken. De code wordt beschikbaar gesteld om reproduceerbaarheid te faciliteren.

De Nieuwe Manier om de Flow te Trainen

Wat Ze Vonden en Wat Ze Vermeden

De "Trust Region" en de "Guide"

Waarom Dit Er Toe Doet

Meer zoals dit