Technische Samenvatting: Routing by Reaching

Probleemstelling

Generatieve Flow Networks (GFlowNets) zijn effectief in het samplen van diverse kandidaten proportioneel aan een beloningsfunctie, een capaciteit die cruciaal is voor wetenschappelijke ontdekkingsprocessen zoals molecuulgeneratie. Bestaande benaderingen voor multi-objective GFlowNets vallen over het algemeen uiteen in twee categorieën: scalarisatie (het trainen van een enkel model geconditioneerd op preferentievectoren) en logische operatoren (het combineren van distributies via classifiers).

Deze bestaande methoden lijden onder twee kritieke beperkingen:

1. Gebrek aan herbruikbaarheid: Ze vereisen gezamenlijke training voor elke specifieke combinatie van doelstellingen. Het introduceren van een nieuwe doelstelling of een nieuwe afweging in voorkeuren vereist het opnieuw trainen van het model vanaf nul of het trainen van een nieuwe hulp-classifier, wat enorme computationele overhead met zich meebrengt.
2. Gefragmenteerde frameworks: Huidige methoden adresseren doorgaans ofwel scalarisatie ofwel logische compositie in isolatie, en missen een verenigd framework dat in staat is om diverse compositieschema's te verwerken (van lineaire sommen tot complexe niet-lineaire operatoren) zonder opnieuw te trainen.

Methodologie

De auteurs stellen een framework voor getiteld "Routing by Reaching," dat vooraf getrainde GFlowNets bij de inferentie samenstelt door hun forward policies te mengen. Het kerninzicht is dat de reaching probability $u(s)$ — de waarschijnlijkheid om een toestand $s$ te bezoeken onder een specifieke forward policy — natuurlijke gewichten biedt voor het combineren van generatieprocessen. Intuïtief gezien wordt een model dat meer waarschijnlijkheidsmassa door een huidige toestand routeert, als relevanter beschouwd voor de doelstelling van die toestand.

De Mengregel

Gegeven $k$ vooraf getrainde GFlowNets met forward policies $p_{i,F}$, reaching probabilities $u_i$, en terminerende distributies $p_i$, is de voorgestelde mengpolicy $p_{M,F}$ voor een transitie van toestand $s$ naar $s'$ gedefinieerd als:

$$p_{M,F}(s'|s) = \frac{G(u_1(s)p_{1,F}(s'|s), \dots, u_k(s)p_{k,F}(s'|s))}{N_M(s)}$$

waarbij:

• $G$ de compositiefunctie is (bijv. gewogen som voor scalarisatie, harmonisch gemiddelde voor conjunctie),
• $N_M(s)$ een lokale normalisatieconstante is die ervoor zorgt dat de policy optelt tot 1,
• De reaching probability $u_i(s)$ fungeert als een gewicht dat de transitiekans van de $i$-de model schaalt.

Berekenen van Reaching Probabilities

Om dit te implementeren zonder opnieuw te trainen, bieden de auteurs twee routes om $u_i(s)$ te verkrijgen uit vooraf getrainde modellen:

1. Model F: Voor modellen getraind met Flow Matching, Detailed Balance, of Sub-Trajectory Balance, is de state flow $F_i(s)$ expliciet geparametriseerd. $u_i(s)$ wordt direct afgeleid als $F_i(s)/Z_i$.
2. DB F: Voor modellen getraind met Trajectory Balance (waar state flow niet expliciet is), wordt $u_i(s)$ on-the-fly gereconstrueerd tijdens de trajectgeneratie met behulp van de detailed balance identiteit: $u_i(s_t) = \prod_{j=1}^t \frac{p_{i,F}(s_j|s_{j-1})}{p_{i,B}(s_{j-1}|s_j)}$.

Theoretische Analyse

• Lineaire Scalarisatie ($\beta=1$): De auteurs bewijzen dat voor lineaire gewogen sommen van beloningen, de mengpolicy exact de doelverdeling herstelt. De distortiefactor tussen de geïnduceerde en de doelverdeling wordt constant.
• Niet-lineaire Operatoren: Voor niet-lineaire composities (bijv. $\beta \neq 1$, harmonisch gemiddelde, contrast), is een constante distortiefactor niet gegarandeerd. Echter, empirische analyse laat zien dat de distortie ongeveer constant blijft in gebieden met een hoge dichtheid (waar de doelbeloning hoog is), wat zorgt voor nauwkeurige benaderingen waar dit het belangrijkst is voor sampling.

Belangrijkste Bijdragen

1. Training-vrije Compositie: Een methode om vooraf getrainde GFlowNets te componeren voor willekeurige verzamelingen doelstellingen en diverse compositieschema's (lineair en niet-lineair) zonder enige aanvullende training of fine-tuning.
2. Theoretische Garanties: Bewijs van exacte herstel voor lineaire scalarisatie en een kwantificering van de benaderingskwaliteit voor niet-lineaire operatoren via een distortiefactor.
3. Verenigd Framework: Een enkele aanpak die zowel preferentie-geconditioneerde scalarisatie als logische operatoren (conjunctie/subtractie) afhandelt, waarmee de fragmentatie in de eerdere literatuur wordt overwonnen.
4. Efficiëntie: Een significante reductie in inferentietijd voor logische operatoren vergeleken met classifier-guided baselines, omdat het niet nodig is om alle opvolgende staten te enumereren en te evalueren voor een guidance term.

Experimentele Resultaten

Het framework werd geëvalueerd op een synthetische 2D-grid en real-world molecuulgeneratietaken (fragment-gebaseerd en atoom-gebaseerd/QM9).

• Synthetische 2D-grid:
  • Scalarisatie: De methode bereikte substantieel lagere L1-fouten dan preferentie-geconditioneerde baselines (MOGFN, HN-GFN) over 2 tot 5 doelstellingen. In tegenstelling tot de baselines bleef de prestatie stabiel naarmate het aantal doelstellingen toenam.
  • Logische Operatoren: De methode presteerde vergelijkbaar met classifier-guided baselines voor harmonisch gemiddelde en contrast-operaties, maar vereiste geen extra training. Het presteerde significant beter dan een "ensemble"-baseline die policies mengde zonder de weging met reaching probability.
• Molecuulgeneratie:
  • Scalarisatie: De aanpak evenaarde of overtrof de steekproefkwaliteit (gemiddelde beloning en diversiteit) en de hypervolume van baselines die gezamenlijke training voor elke combinatie van doelstellingen vereisen.
  • Logische Operatoren: De methode bereikte hoge target bin percentages voor harmonisch gemiddelde en contrast-operaties, en presteerde vaak beter dan classifier guidance. Cruciaal is dat de moleculaire validiteit vergelijkbaar bleef met de basismodellen.
  • Inferentiekosten: Voor scalarisatie veroorzaakte de methode minimale overhead (8–40 ms per sample). Voor logische operatoren was de methode 30–65 keer sneller dan classifier guidance, omdat het de volledige enumeratie van staten vermijdt die door de laatste vereist wordt.

Betekenis en Claims

Het artikel claimt dat "Routing by Reaching" het mogelijk maakt om vooraf getrainde GFlowNets te gebruiken als herbruikbare bouwstenen. Door deze modellen bij de inferentie samen te stellen, kunnen praktijkgebruikers snel adapteren aan diverse combinaties van doelstellingen en het Pareto-front verkennen zonder de prohibitieve kosten van hertraining.

De auteurs benadrukken dat hoewel de methode theoretisch exact is voor lineaire scalarisatie, het nauwkeurige benaderingen biedt voor complexe niet-lineaire operatoren in regio's met een hoge beloning. De primaire betekenis ligt in het ontkoppelen van de training van individuele doelstellingen van de compositiefase, waardoor flexibele multi-objective exploratie in domeinen van wetenschappelijke ontdekking, zoals medicijnontwerp, wordt gefaciliteerd waarbij eisen vaak dynamisch verschuiven. Het werk claimt niet fundamenteel nieuwe generatieve capaciteiten te introduceren, maar eerder een mechanisme om bestaande getrainde modellen efficiënt te benutten voor complexe, multi-objective taken.