🤖 machine learning

Routing by Reaching: Composition of Pre-trained GFlowNets for Multi-Objective Generation

Questo articolo propone un framework che compone GFlowNet pre-addestrate al momento dell'inferenza per gestire efficientemente compiti di generazione multi-obiettivo senza riaddestramento, offrendo il recupero esatto per la scalarizzazione lineare e un'approssimazione limitata per gli operatori non lineari, pur ottenendo prestazioni paragonabili ai baseline addestrati congiuntamente.

Autori originali: Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

Pubblicato 2026-07-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un maestro chef che cerca di inventare un nuovo piatto perfetto. Hai una lista di ingredienti, ma hai anche una lista di regole: deve essere piccante, ma non troppo; deve essere dolce, ma non stucchevole; e deve essere economico da preparare, ma deve comunque sembrare raffinato. Nel mondo dell'intelligenza artificiale, gli scienziati usano strumenti speciali chiamati "Generative Flow Networks" (o GFlowNet) per agire come questi chef. Invece di cucinare, essi "cucinano" nuove cose, come molecole per medicinali o grafi complessi. Questi strumenti sono ottimi perché non si limitano a trovare un unico "migliore" risultato; esplorano un'intera cucina piena di opzioni diverse e promettenti, offrendoti una varietà di piatti che si adattano a gusti differenti.

Tuttavia, la vita reale è disordinata. Di solito, non vuoi solo una cosa; vuoi bilanciare diverse cose contemporaneamente, come creare una molecola che sia allo stesso tempo forte e sicura. Il problema è che il vecchio modo di fare questo era come assumere un nuovo chef per ogni singola combinazione di regole. Se volevi cambiare la ricetta da "piccante ed economica" a "dolce e sicura", dovevi licenziare il vecchio chef e addestrarne uno completamente nuovo da zero. Questo è lento, costoso e sprecone. La grande domanda che gli scienziati si sono posti è: possiamo prendere un team di chef che sono già esperti nelle proprie specialità e farli lavorare insieme istantaneamente per creare un nuovo, complesso sapore senza doverli riaddestrare?

Questo articolo introduce un nuovo metodo intelligente chiamato "Routing by Reaching" che risponde "sì" a questa domanda. Gli autori propongono un framework che agisce come un direttore d'orchestra intelligente, prendendo un gruppo di chef IA pre-addestrati (GFlowNet) e mescolando le loro istruzioni al volo per creare nuove ricette multi-obiettivo. Invece di addestrare un nuovo modello per ogni nuova combinazione di obiettivi, il sistema osserva semplicemente quanto è probabile che ciascun modello esistente raggiunga un certo passaggio e usa questo valore come peso per fondere le loro decisioni insieme.

I ricercatori hanno scoperto che per combinazioni semplici, come sommare diversi obiettivi con dei pesi (un processo chiamato scalarizzazione lineare), questo metodo di miscelazione è matematicamente perfetto — crea esattamente la distribuzione di risultati che otterresti se avessi addestrato un nuovo modello da zero. Per combinazioni più complesse e non lineari (come usare la logica per dire "deve essere A ma NON B"), il metodo non è matematicamente perfetto in ogni singolo caso, ma gli autori dimostrano attraverso delle simulazioni che è incredibilmente accurato nelle aree più importanti: le regioni ad alta qualità e ad alto rendimento dove si vogliono effettivamente trovare le soluzioni.

Per testare questo, il team ha condotto esperimenti su due fasi molto diverse. Prima, hanno utilizzato un semplice gioco su una griglia 2D, come la mappa di un videogioco, dove potevano vedere esattamente quanto bene l'IA navigasse verso le zone di ricompensa. Qui, il loro metodo è stato significamente più accurato rispetto agli approcci precedenti, specialmente aggiungendo più obiettivi alla miscela. Poi, si sono spostati nel mondo reale: la generazione di nuove molecole per la scoperta di farmaci. Hanno testato il metodo su due tipi di costruzione di molecole: una in cui si incastrano pezzi pre-fatti (frammenti) e un'altra in cui si costruisce atomo per atomo. In questi test del mondo reale, il loro metodo ha eguagliato o addirittura superato le prestazioni di modelli che richiedevano un massiccio riaddestramento per ogni nuovo obiettivo. Forse più impressionante, quando hanno usato regole "logiche" (come "alta affinità di legame ma bassa tossicità"), il loro metodo è stato circa 30 o 65 volte più veloce nel generare risposte rispetto al precedente miglior metodo, che richiedeva calcoli pesanti ad ogni singolo passaggio.

L'articolo suggerisce che questo approccio trasforma i modelli IA pre-addestrati in blocchi costruttivi riutilizzabili. Proprio come un musicista può mescolare diversi tracce pre-registrate per creare una nuova canzone senza registrare nuovamente gli strumenti, questo metodo permette agli scienziati di comporre nuovi comportamenti dell'IA istantaneamente. Sebbene il metodo non sia una soluzione magica che risolve ogni possibile problema (funziona meglio quando i modelli sottostanti sono ben addestrati e gli obiettivi non sono troppo contraddittori), offre un modo flessibile, veloce e altamente accurato per esplorare problemi scientifici complessi senza l'ingente costo di un costante riaddestramento.

Riepilogo Tecnico: Routing by Reaching

Definizione del Problema

Le reti Generative Flow Networks (GFlowNets) sono efficaci nel campionare candidati diversificati proporzionalmente a una funzione di ricompensa, una capacità cruciale per compiti di scoperta scientifica come la generazione di molecole. Tuttavia, le applicazioni del mondo reale richiedono spesso di bilanciare più obiettivi, frequentemente in conflitto tra loro (ad esempio, affinità di legame, accessibilità sintetica e drug-likeness). Gli approcci esistenti alle GFlowNet multi-obiettivo appartengono generalmente a due categorie: scalarizzazione (addestramento di un singolo modello condizionato a vettori di preferenza) e operatori logici (combinazione di distribuzioni tramite classificatori).

Questi metodi esistenti soffrono di due criticità fondamentali:

Mancanza di Riutilizzabilità: Richiedono un addestramento congiunto per ogni specifica combinazione di obiettivi. L'introduzione di un nuovo obiettivo o di una nuova preferenza di trade-off richiede l'addestramento da zero di un nuovo modello o di un nuovo classificatore ausiliario, comportando un enorme overhead computazionale.
Framework Frammentati: Gli approcci attuali affrontano solitamente la scalarizzazione o la composizione logica in isolamento, mancando di un framework unificato capace di gestire diversi schemi di composizione (dalle somme lineari agli operatori non lineari complessi) senza necessità di riaddestramento.

Metodologia

Gli autori propongono un framework intitolato "Routing by Reaching", che compone GFlowNet pre-addestrate al tempo di inferenza miscelando le loro policy forward. L'intuizione centrale è che la probabilità di raggiungimento $u(s)$ — la probabilità di visitare uno stato $s$ sotto una specifica policy forward — fornisce pesi naturali per combinare i processi generativi. Intuitivamente, un modello che instrada più massa di probabilità attraverso uno stato corrente è considerato più rilevante per l'obiettivo di quello stato.

La Regola di Miscelazione (Mixing Rule)

Date $k$ GFlowNet pre-addestrate con policy forward $p_{i,F}$ , probabilità di raggiungimento $u_i$ e distribuzioni di terminazione $p_i$ , la policy di miscelazione proposta $p_{M,F}$ per una transizione da uno stato $s$ a uno stato $s'$ è definita come:

$p_{M,F}(s'|s) = \frac{G(u_1(s)p_{1,F}(s'|s), \dots, u_k(s)p_{k,F}(s'|s))}{N_M(s)}$

dove:

$G$ è la funzione di composizione (ad esempio, somma pesata per la scalarizzazione, media armonica per la congiunzione).
$N_M(s)$ è una costante di normalizzazione locale che assicura che la policy sommi a 1.
La probabilità di raggiungimento $u_i(s)$ agisce come un peso, scalando la probabilità di transizione del $i$ -esimo modello.

Calcolo delle Probabilità di Raggiungimento

Per implementare questo processo senza riaddestramento, gli autori forniscono due strade per ottenere $u_i(s)$ da modelli pre-addestrati:

Modello F: Per i modelli addestrati con Flow Matching, Detailed Balance o Sub-Trajectory Balance, il flusso di stato $F_i(s)$ è esplicitamente parametrizzato. $u_i(s)$ viene derivato direttamente come $F_i(s)/Z_i$ .
DB F: Per i modelli addestrati con Trajectory Balance (dove il flusso di stato non è esplicito), $u_i(s)$ viene ricostruito on-the-fly durante la generazione di traiettorie utilizzando l'identità di dettaglio (detailed balance): $u_i(s_t) = \prod_{j=1}^t \frac{p_{i,F}(s_j|s_{j-1})}{p_{i,B}(s_{j-1}|s_j)}$ .

Analisi Teorica

Scalarizzazione Lineare ( $\beta=1$ ): Gli autori dimostrano che, per somme pesate lineari di ricompense, la policy di miscelazione recupera esattamente la distribuzione target. Il fattore di distorsione tra le distribuzioni indotte e quelle target diventa costante.
Operatori Non Lineari: Per composizioni non lineari (ad esempio, $\beta \neq 1$ , media armonica, contrasto), il fattore di distorsione non è garantito essere costante. Tuttavia, l'analisi empirica mostra che la distorsione rimane approssimativamente costante nelle regioni ad alta densità (dove la ricompensa target è elevata), garantendo approssimazioni accurate dove sono più necessarie per il campionamento.

Contributi Chiave

Composizione Senza Addestramento (Training-Free): Un metodo per comporre GFlowNet pre-addestrate per arbitrarie set di obiettivi e diversi schemi di composizione (lineari e non lineari) senza alcun addestramento o fine-tuning aggiuntivo.
Garanzie Teoriche: Dimostrazione del recupero esatto per la scalarizzazione lineare e quantificazione della qualità dell'approssimazione per gli operatori non lineari tramite un fattore di distorsione.
Framework Unificato: Un unico approccio che gestisce sia la scalarizzazione condizionata alle preferenze sia gli operatori logici (congiunzione/sottrazione), superando la frammentazione della letteratura precedente.
Efficienza: Significativa riduzione del tempo di inferenza per gli operatori logici rispetto ai baselines guidati da classificatori, poiché evita la necessità di enumerare ed valutare tutti gli stati successivi per un termine di guida.

Risultati Sperimentali

Il framework è stato valutato su una griglia 2D sintetica e su compiti di generazione molecolare reali (basati su frammenti e basati su atomi/QM9).

Griglia 2D Sintetica:
- Scalarizzazione: Il metodo ha ottenuto un errore L1 sostanzialmente inferiore rispetto ai baselines condizionati alle preferenze (MOGFN, HN-GFN) su 2 a 5 obiettivi. A differenza dei baselines, le prestazioni sono rimaste stabili all'aumentare del numero di obiettivi.
- Operatori Logici: Il metodo ha ottenuto prestazioni comparabili ai baselines guidati da classificatori per le operazioni di media armonica e contrasto, ma non ha richiesto addestramento aggiuntivo. Ha superato significativamente un baseline "ensemble" che miscelava le policy senza il pesatura della probabilità di raggiungimento.
Generazione Molecolare:
- Scalarizzazione: L'approccio ha eguagliato o superato la qualità del campione (ricompensa media e diversità) e l'ipervolume dei baselines che richiedono un addestramento congiunto per ogni combinazione di obiettivi.
- Operatori Logici: Il metodo ha raggiunto alte percentuali di target bin per le operazioni di media armonica e contrasto, spesso superando la guida tramite classificatore. Fondamentalmente, ha mantenuto una validità molecolare comparabile ai modelli base.
- Costo di Inferenza: Per la scalarizzazione, il metodo ha comportato un overhead minimo (8–40ms per campione). Per gli operatori logici, è stato 30–65 volte più veloce della guida tramite classificatore perché evita l'enumerazione esaustiva degli stati richiesta da quest'ultimo.

Significato e Claim

Il paper sostiene che "Routing by Reaching" permetta alle GFlowNet pre-addestrate di fungere da blocchi costruttivi riutilizzabili. Componendo questi modelli al tempo di inferenza, i professionisti possono adattarsi rapidamente a diverse combinazioni di obiettivi ed esplorare il fronte di Pareto senza il costo proibitivo del riaddestramento.

Gli autori sottolineano che, sebbene il metodo sia teoricamente esatto per la scalarizzazione lineare, fornisce approssimazioni accurate per operatori non lineari complessi nelle regioni ad alta ricompensa. Il significato primario risiede nel disaccoppiare l'addestramento dei singoli obiettivi dalla fase di composizione, facilitando così una flessibile esplorazione multi-obiettivo nei domini della scoperta scientifica, come il drug design, dove i requisiti cambiano spesso dinamicamente. Il lavoro non pretende di introdurre capacità generative fondamentalmente nuove, bensì un meccanismo per sfruttare efficientemente modelli già addestrati per compiti multi-obiettivo complessi.