🤖 machine learning

Beyond the Proxy: Trajectory-Distilled Guidance for Offline GFlowNet Training

Dit artikel introduceert Trajectory-Distilled GFlowNet (TD-GFN), een proxy-vrij kader dat gebruikmaakt van inverse versterkingsleer om dichte randbeloningen uit offline data te extraheren voor geleide exploratie, terwijl het uitsluitend vertrouwt op waarheidsgetrouwe terminale beloningen om robuuste training te waarborgen en de bestaande benchmarks te overtreffen in convergentiesnelheid en steekproefkwaliteit.

Oorspronkelijke auteurs: Ruishuo Chen, Xun Wang, Rui Hu, Zhuoran Li, Longbo Huang

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruishuo Chen, Xun Wang, Rui Hu, Zhuoran Li, Longbo Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe je de perfecte taart bakt. In een ideale wereld zou de robot een taart bakken, jij zou hem proeven, een score geven (een "beloning"), en hij zou het opnieuw proberen, waarbij hij van elke fout leert. Zo leert het merendeel van de AI tegenwoordig.

Maar in veel realistische situaties—zoals het ontwerpen van nieuwe medicijnen of het creëren van biologische sequenties—kun je niet zomaar elke mogelijkheid "proeven". De experimenten zijn te duur, duren te lang, of vereisen menselijke experts die schaars zijn. Je zit dus vast aan een "statisch kookboek": een stapel oude recepten (data) die door iemand anders zijn opgeschreven, samen met de uiteindelijke scores voor die specifieke taarten. Je kunt geen nieuwe scores vragen; je kunt alleen kijken naar wat er al is.

Dit is het probleem dat TD-GFN (Trajectory-Distilled GFlowNet) oplost.

Het probleem met de oude manier: de "neprechter"

Vroeger, toen wetenschappers probeerden AI te trainen met alleen deze oude kookboeken, moesten ze een "proxy" of een "neprechter" bouwen. Deze neprechter zou kijken naar een nieuw, ongetest recept en raden wat de score zou zijn.

De fout: Als de neprechter het fout heeft (wat vaak gebeurt omdat hij niet genoeg data heeft gezien), geeft hij slecht advies. De robot volgt dit slechte advies, maakt een fout, en de fout verspreidt zich, waardoor het hele systeem slechter wordt. Het is alsof je een foodcritic huurt die het eten nooit echt heeft geproefd om je te vertellen hoe je moet koken.

De TD-GFN-oplossing: de "kaart van de keuken"

In plaats van een neprechter te bouwen om scores te raden, bekijkt TD-GFN de paden die de robot heeft afgelegd om bij de uiteindelijke taarten in het oude kookboek te komen. Het vraagt zich af: "Welke stappen in deze recepten waren echt nuttig, en welke waren doodlopende wegen?"

Hier is hoe het werkt, stap voor stap, met een eenvoudige analogie:

1. De "reverse engineering" (IRL)

Stel je voor dat je een kaart hebt van een stad (de "DAG" of Directed Acyclic Graph) waar elke straat leidt naar een bestemming. Sommige bestemmingen zijn goudmijnen (hoge beloning), en sommige zijn moerassen (lage beloning).
TD-GFN gebruikt een techniek genaamd Inverse Reinforcement Learning. In plaats van te vragen "Wat is de score van deze straat?", kijkt het naar de verkeerspatronen in de oude data en vraagt het zich af: "Als ik een expert was die probeerde de goudmijnen te bereiken, welke straten zou ik dan hebben genomen?"
Het maakt een hittekaart voor elke enkele straat (edge) in de stad. Sommige straten krijgen een "hoge hitte"-score omdat ze cruciaal zijn voor het bereiken van het goud; anderen krijgen een "koude" score omdat ze nergens toe leiden.

2. De "wegafsluiting" (Pruning)

Nu stel je je voor dat je de robot bent. Je kijkt naar de hittekaart.

De oude manier: Je probeert elke straat, in de hoop dat de neprechter je vertelt welke er goed zijn.
De TD-GFN-methode: Je ziet dat de "koude" straten waarschijnlijk doodlopende wegen zijn. Dus sluit je ze af (prune de grafiek). Je verspillen geen tijd aan het nadenken over ze. Je houdt alleen de "hete" straten over die naar de goudmijnen leiden.
Dit maakt je werk veel gemakkelijker. Je raadt niet; je navigeert over een gestroomlijnde kaart die alleen veelbelovende paden toont.

3. De "slimme terugkeer" (Prioritized Sampling)

Tot slot, wanneer de robot moet leren, dwaalt het niet zomaar willekeurig rond. Het gebruikt een speciale truc: Backward Sampling.
Stel je voor dat je wilt leren hoe je bij de goudmijn komt. In plaats van bij de voordeur te beginnen en je weg vooruit te raden, begin je bij de goudmijn en loop je achteruit naar de voordeur, maar doe je dit op een slimme manier. Je bent waarschijnlijker om de "hete" straten te nemen (die de hittekaart als belangrijk aanwees) en minder waarschijnlijk de koude.
Dit zorgt ervoor dat de robot zijn tijd besteedt aan het bestuderen van de waardevolste paden, waardoor het veel sneller leert.

Waarom dit een groot verschil maakt

Het artikel beweert dat TD-GFN, door deze "kaart van de keuken"-aanpak te gebruiken:

Sneller is: Het vindt de beste oplossingen (hoogbelonende moleculen of sequenties) veel sneller dan andere methoden.
Slimmer is: Het kopieert niet zomaar de oude recepten; het begrijpt de structuur van wat een goed recept maakt en kan nieuwe, zelfs betere recepten bedenken die niet in het originele kookboek stonden.
Veiliger is: Omdat het niet vertrouwt op een "neprechter" om scores te raden voor nieuwe ideeën, vermijdt het de valstrik van het volgen van slecht advies. Het vertrouwt alleen op de werkelijke, bekende scores van de uiteindelijke resultaten.

De kern

Beschouw TD-GFN als een meesterkok die niet elke schotel hoeft te proeven om te weten hoe te koken. In plaats daarvan kijkt hij naar de geschiedenis van succesvolle schotels, begrijpt welke specifieke ingrediënten en stappen de "geheime saus" waren (de edge rewards), verwijdert de nutteloze stappen, en leert vervolgens de leerling zich alleen te concentreren op de stappen die er toe doen. Het resultaat is een kok die sneller leert, minder fouten maakt en betere schotels creëert dan wie dan ook die alleen het oude receptenboek gebruikt.

Technische Samenvatting: Voorbij de Proxy: Traject-gedistilleerde Gids voor Offline GFlowNet-training

Probleemstelling

Generative Flow Networks (GFlowNets) zijn krachtige modellen voor het bemonsteren van compositieve objecten evenredig aan hun beloningen. Echter, in veel praktische toepassingen—zoals het ontdekken van moleculen, het ontwerpen van biologische sequenties en aanbevelingssystemen—is actieve interactie met de omgeving om beloningen te bevragen onuitvoerbaar vanwege hoge experimentele kosten of de noodzaak van menselijke evaluatie. Bijgevolg moeten GFlowNets worden getraind met behulp van statische offline datasets.

Huidige offline trainingsparadigma's vertrouwen doorgaans op het trainen van een proxy-beloningsmodel om beloningssignalen uit de dataset te benaderen, waarna de GFlowNet deze raadpleegt voor beleidsoptimalisatie. Deze aanpak staat voor aanzienlijke uitdagingen:

Data-schaarste en kosten: Het construeren van een betrouwbaar proxy-model vereist vaak grote, diverse datasets en aanzienlijke domeinkennis.
Foutpropagatie: Beloningsbevragingen voor out-of-distribution (OOD) samples of staten die onnauwkeurig worden geschat door de proxy, kunnen fouten doorgeven via gradiënten, waardoor het geleerde beleid wordt ondermijnd.
Beperkingen van proxy-vrije methoden: Bestaande proxy-vrije benaderingen (bijv. RO-GFlowNets, COFlowNet) leggen vaak grove beperkingen op om het beleid af te stemmen op de dataset. Deze beperkingen kunnen generalisatie beperken, effectieve exploratie remmen en de gevoeligheid voor datakwaliteit vergroten.

De centrale vraag die wordt behandeld is: Hoe kunnen we offline trajecten effectief benutten om GFlowNets te trainen wanneer terminale beloningen ontoereikend zijn om een betrouwbaar proxy-model te construeren?

Methodologie: Traject-gedistilleerde GFlowNet (TD-GFN)

De auteurs stellen TD-GFN voor, een nieuw proxy-vrij raamwerk dat rijke structurele informatie uit de gerichte acyclische graaf (DAG) van de omgeving extrahert om beleidstraining te sturen zonder afhankelijk te zijn van een proxy-beloningsmodel. De methodologie bestaat uit drie hoofdfasen:

1. Rand-beloningsextractie via Inverse Reinforcement Learning (IRL)

In plaats van terminale beloningen te voorspellen, maakt TD-GFN gebruik van IRL om transitie-niveau rand-beloningen ( $R_E$ ) te distilleren uit offline trajecten.

Herbalancing: Om het probleem aan te pakken dat offline data mogelijk geen expert-gedrag vertegenwoordigt, introduceren de auteurs een herbalancing-strategie. Trajecten worden bemonsterd met een waarschijnlijkheid evenredig aan hun terminale beloningen ( $P(\tau) \propto R(s_T)$ ), waardoor een pseudo-expert dataset wordt gecreëerd.
Adversariale training: Met behulp van een gewijzigd GAIL (Generative Adversarial Imitation Learning) raamwerk onderscheidt een discriminator $D_\phi$ tussen transities in de herbalanced dataset en die gegenereerd door een beleid $\pi_\psi$ .
Beloningsafleiding: Een onbevooroordeelde rand-niveau beloningsfunctie wordt geëxtraheerd uit de discriminator:
$R_E(s, s') = \log D_\phi(s, s') - \log(1 - D_\phi(s, s'))$
Theoretisch benadert deze beloning de log-voorwaardelijke instromings-score ( $\log P_B(s|s')$ ), wat de belangrijkheid van specifieke transities voor het leren van een effectief beleid kwantificeert. Cruciaal bieden deze beloningen dichte, intermediaire gids in plaats van terminale voorspellingen.

2. Beloningsgeleide DAG-bewerking

Om robuustheid te waarborgen en foutpropagatie van mogelijk onnauwkeurige IRL-schattingen te voorkomen, gebruikt TD-GFN rand-beloningen niet om beleidsgradiënten direct te vormen. In plaats daarvan gebruikt hij ze om de omgeving-DAG te bewerken.

Drempelwaarden: Randen met beloningen die onder een statistische drempel vallen (gemiddelde min $K$ keer de standaardafwijking van de beloningsverdeling) worden verwijderd.
Theoretische garantie: De auteurs bewijzen dat deze bewerkingsstrategie alle "hoog-bottleneck" modi behoudt (terminale staten die bereikbaar zijn via paden met hoge rand-scores) terwijl laag-utility transities worden verwijderd. Dit creëert een compacte, expressieve actieruimte die hoogwaardige trajecten prioriteert en het beleid isoleert van IRL-benaderingsfouten.

3. Geprioriteerde achterwaartse bemonstering

Training wordt uitgevoerd op het bewerkte subgraaf met behulp van een geprioriteerde achterwaartse bemonsteringsmechanisme.

Bemonsteringsstrategie: Terminale staten worden bemonsterd uit de doorsnede van de dataset en het bewerkte graf met een waarschijnlijkheid evenredig aan hun grond-waarheid beloningen.
Achterwaartse trajectconstructie: Vanuit elke bemonsterde terminale worden trajecten in omgekeerde richting naar de wortel geconstrueerd met behulp van een geleerde achterwaartse beleid $P_B$ , gedefinieerd door de geleerde rand-beloningen:
$P_B(s_t | s_{t+1}) = \frac{\exp\{R_E(s_t, s_{t+1})\}}{\sum \exp\{R_E(s, s_{t+1})\}}$
Gradiëntupdates: Het GFlowNet-beleid wordt geoptimaliseerd met behulp van deze bemonsterde trajecten en hun grond-waarheid terminale beloningen. Door uitsluitend te vertrouwen op opgenomen terminale beloningen voor gradiëntupdates, vermijdt de methode de foutpropagatieproblemen die inherent zijn aan proxy-gebaseerde methoden.

Belangrijkste Bijdragen

Een Nieuw Proxy-vrij Paradigma: TD-GFN elimineert afhankelijkheid van proxy-modellen en OOD-beloningsbevragingen. Het maakt gebruik van IRL om transitie-niveau rand-beloningen te distilleren uit herbalanced datasets, waardoor gestructureerde gids voor beleidstraining en generalisatie wordt geboden.
Robuust Gidsmechanisme: Het raamwerk introduceert twee indirecte gidsmechanismen: DAG-bewerking en geprioriteerde achterwaartse bemonstering. Dit ontwerp zorgt ervoor dat gradiëntupdates uitsluitend afhankelijk zijn van grond-waarheid beloningen, waardoor foutpropagatie wordt voorkomen terwijl toch dichte structurele gids wordt benut voor efficiënte exploratie.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat TD-GFN superieure convergentiesnelheid en samplekwaliteit bereikt in vergelijking met een breed scala aan baselines, waaronder proxy-gebaseerde methoden (Proxy-GFN), offline RL-algoritmen (CQL, IQL) en andere proxy-vrije GFlowNet-varianten (COFlowNet, Dataset-GFN).

Experimentele Resultaten

De auteurs hebben TD-GFN geëvalueerd op drie benchmarks:

Hypergrid (Synthetisch): Op een 84-dimensionaal rooster met schaarse, multi-modale beloningen identificeerde TD-GFN alle 16 beloningsmodi met minder dan 5.000 statenbezoeken (een zesvoudige verbetering ten opzichte van baselines) en convergeerde tweemaal zo snel als de beste concurrent (COFlowNet) naar de laagste Empirische L1-fout. Het toonde sterke robuustheid onder ruwe data (Mixed dataset) en dataschaarste (10% van de data).
Bio-sequentieontwerp (Antimicrobiële Peptiden): TD-GFN genereerde sequenties met de hoogste beloningen en de grootste diversiteit onder de top 100 sequenties, en presteerde beter dan zowel proxy-gebaseerde als andere offline methoden.
Molecuulontwerp: TD-GFN ontdekte meer hoog-belonende moleculen en diverse modi dan baselines, terwijl het aanzienlijk minder trajecten vereiste om te convergeren (2,75 × 10^4 versus 43,7 × 10^4 voor Proxy-GFN). Het kwam overeen met de prestaties van een Oracle-GFN (die direct grond-waarheid beloningen gebruikt) bij het identificeren van hoog-belonende moleculen.

Betekenis en Claims

Het artikel beweert dat TD-GFN een meer robuust, stabiel en efficiënt paradigma vestigt voor offline GFlowNet-training. Door de structurele informatie die inherent is aan offline trajecten te benutten via IRL, overbrugt de methode de kloof tussen beperkte offline datasets en de complexe exploratie-eisen van generatieve modellering.

De auteurs benadrukken dat TD-GFN:

Potentieel Ontgrendelt: Het maakt de inzet van GFlowNets mogelijk in complexe domeinen waar actieve beloningsbevraging onhaalbaar is.
Foutpropagatie Voorkomt: Door het gidsmechanisme (rand-beloningen) te ontkoppelen van het gradiëntupdate-mechanisme (terminale beloningen), vermijdt het de valkuilen van proxy-modellen.
Exploratie Versterkt: De dichte structurele gids stelt het model in staat om effectief hoog-belonende gebieden te verkennen, zelfs wanneer deze schaars vertegenwoordigd zijn of niet worden waargenomen in de trainingsdata.

Het werk suggereert dat traject-niveau informatie, die vaak wordt over het hoofd gezien in proxy-gebaseerde methoden, een hoeksteen is voor effectieve offline GFlowNet-training, en een schaalbare oplossing biedt voor real-world toepassingen in medicijnontdekking, biologisch ontwerp en combinatorische optimalisatie.