Riepilogo Tecnico: Oltre il Proxy: Guida Distillata dalle Traiettorie per l'Addestramento Offline di GFlowNet

Enunciato del Problema

Le Reti di Flusso Generativo (GFlowNet) sono modelli potenti per il campionamento di oggetti compositi proporzionali alle loro ricompense. Tuttavia, in molte applicazioni pratiche—come la scoperta di molecole, la progettazione di sequenze biologiche e i sistemi di raccomandazione—l'interazione attiva con l'ambiente per interrogare le ricompense è non fattibile a causa di elevati costi sperimentali o della necessità di valutazione umana. Di conseguenza, i GFlowNet devono essere addestrati utilizzando dataset statici offline.

I paradigmi attuali di addestramento offline si basano tipicamente sull'addestramento di un modello proxy di ricompensa per approssimare i segnali di ricompensa dal dataset, che il GFlowNet interroga poi per l'ottimizzazione della politica. Questo approccio affronta sfide significative:

1. Scarsità e Costo dei Dati: La costruzione di un modello proxy affidabile richiede spesso grandi dataset diversificati e una significativa competenza di dominio.
2. Propagazione degli Errori: Le interrogazioni di ricompensa per campioni o stati fuori distribuzione (OOD) stimati in modo inaccurato dal proxy possono propagare errori attraverso i gradienti, compromettendo la politica appresa.
3. Limitazioni dei Metodi Senza Proxy: Gli approcci esistenti privi di proxy (ad es. RO-GFlowNets, COFlowNet) impongono spesso vincoli grossolani per allineare la politica al dataset. Questi vincoli possono limitare la generalizzazione, inibire un'esplorazione efficace e aumentare la sensibilità alla qualità dei dati.

La domanda centrale affrontata è: Come possiamo sfruttare efficacemente le traiettorie offline per addestrare GFlowNet quando le ricompense terminali sono insufficienti per costruire un modello proxy affidabile?

Metodologia: GFlowNet Distillato dalle Traiettorie (TD-GFN)

Gli autori propongono TD-GFN, un nuovo framework privo di proxy che estrae informazioni strutturali ricche dal Grafo Aciclico Diretto (DAG) dell'ambiente per guidare l'addestramento della politica senza fare affidamento su un modello proxy di ricompensa. La metodologia consta di tre fasi principali:

1. Estrazione della Ricompensa sugli Archi tramite Apprendimento per Rinforzo Inverso (IRL)

Invece di prevedere le ricompense terminali, TD-GFN utilizza l'IRL per distillare ricompense sugli archi a livello di transizione ($R_E$) dalle traiettorie offline.

• Ribilanciamento: Per affrontare il problema che i dati offline potrebbero non rappresentare un comportamento esperto, gli autori introducono una strategia di ribilanciamento. Le traiettorie vengono campionate con probabilità proporzionale alle loro ricompense terminali ($P(\tau) \propto R(s_T)$), creando un dataset pseudo-esperto.
• Addestramento Avversariale: Utilizzando un framework GAIL (Generative Adversarial Imitation Learning) modificato, un discriminatore $D_\phi$ distingue tra le transizioni nel dataset ribilanciato e quelle generate da una politica $\pi_\psi$.
• Derivazione della Ricompensa: Una funzione di ricompensa sugli archi non distorta viene estratta dal discriminatore:
  $$R_E(s, s') = \log D_\phi(s, s') - \log(1 - D_\phi(s, s'))$$
  Teoricamente, questa ricompensa approssima il punteggio logaritmico del flusso in ingresso condizionato ($\log P_B(s|s')$), quantificando l'importanza di transizioni specifiche per l'apprendimento di una politica efficace. Crucialmente, queste ricompense forniscono una guida intermedia densa piuttosto che previsioni terminali.

2. Potatura del DAG Guidata dalla Ricompensa

Per garantire robustezza e prevenire la propagazione di errori da stime IRL potenzialmente inaccurate, TD-GFN non utilizza le ricompense sugli archi per modellare direttamente i gradienti della politica. Invece, le utilizza per potare il DAG dell'ambiente.

• Soglia: Gli archi con ricompense inferiori a una soglia statistica (media meno $K$ volte la deviazione standard della distribuzione delle ricompense) vengono rimossi.
• Garanzia Teorica: Gli autori dimostrano che questa strategia di potatura preserva tutti i modi "ad alto collo di bottiglia" (stati terminali raggiungibili tramite percorsi con alti punteggi sugli archi) rimuovendo al contempo le transizioni a bassa utilità. Ciò crea uno spazio di azioni compatto ed espressivo che privilegia le traiettorie ad alto valore, isolando al contempo la politica dagli errori di approssimazione IRL.

3. Campionamento Indietro Prioritario

L'addestramento viene condotto sul sottografo potato utilizzando un meccanismo di campionamento indietro prioritario.

• Strategia di Campionamento: Gli stati terminali vengono campionati dall'intersezione tra il dataset e il grafo potato con probabilità proporzionale alle loro ricompense di verità fondamentale (ground-truth).
• Costruzione della Traiettoria Indietro: Da ogni terminale campionato, le traiettorie vengono costruite all'indietro verso la radice utilizzando una politica indietro appresa $P_B$, definita dalle ricompense sugli archi apprese:
  $$P_B(s_t | s_{t+1}) = \frac{\exp\{R_E(s_t, s_{t+1})\}}{\sum \exp\{R_E(s, s_{t+1})\}}$$
• Aggiornamenti dei Gradienti: La politica GFlowNet viene ottimizzata utilizzando queste traiettorie campionate e le loro ricompense terminali di verità fondamentale. Affidandosi esclusivamente alle ricompense terminali registrate per gli aggiornamenti dei gradienti, il metodo evita le problematiche di propagazione degli errori intrinseche ai metodi basati su proxy.

Contributi Chiave

1. Un Nuovo Paradigma Senza Proxy: TD-GFN elimina la dipendenza dai modelli proxy e dalle interrogazioni di ricompensa OOD. Impiega l'IRL per distillare ricompense sugli archi a livello di transione da dataset ribilanciati, fornendo una guida strutturata per l'addestramento e la generalizzazione della politica.
2. Meccanismo di Guida Robusto: Il framework introduce due meccanismi di guida indiretti: la potatura del DAG e il campionamento indietro prioritario. Questo design garantisce che gli aggiornamenti dei gradienti dipendano esclusivamente dalle ricompense di verità fondamentale, prevenendo la propagazione degli errori mentre si sfrutta comunque una guida strutturata densa per un'esplorazione efficiente.
3. Prestazioni all'Avanguardia: Esperimenti estensivi dimostrano che TD-GFN raggiunge una velocità di convergenza e una qualità del campione superiori rispetto a un'ampia gamma di baseline, inclusi metodi basati su proxy (Proxy-GFN), algoritmi di RL offline (CQL, IQL) e altre varianti di GFlowNet senza proxy (COFlowNet, Dataset-GFN).

Risultati Sperimentali

Gli autori hanno valutato TD-GFN su tre benchmark:

• Hypergrid (Sintetico): Su una griglia a 84 dimensioni con ricompense sparse e multi-modali, TD-GFN ha identificato tutti i 16 modi di ricompensa con meno di 5.000 visite agli stati (un miglioramento di sei volte rispetto alle baseline) e ha convergito all'errore L1 empirico più basso due volte più velocemente del miglior concorrente (COFlowNet). Ha dimostrato una forte robustezza sotto dati rumorosi (dataset Misto) e scarsità di dati (10% dei dati).
• Progettazione di Sequenze Biologiche (Peptidi Anti-Microbici): TD-GFN ha generato sequenze con le ricompense più elevate e la maggiore diversità tra le prime 100 sequenze, superando sia i metodi basati su proxy che altri metodi offline.
• Progettazione di Molecole: TD-GFN ha scoperto più molecole ad alta ricompensa e modi diversi rispetto alle baseline, richiedendo al contempo significativamente meno traiettorie per convergere (2,75 × 10^4 contro 43,7 × 10^4 per Proxy-GFN). Ha eguagliato le prestazioni di un Oracle-GFN (che utilizza direttamente le ricompense di verità fondamentale) nell'identificare molecole ad alta ricompensa.

Significato e Affermazioni

Il documento afferma che TD-GFN stabilisce un paradigma più robusto, stabile ed efficiente per l'addestramento offline di GFlowNet. Sfruttando le informazioni strutturali intrinseche nelle traiettorie offline attraverso l'IRL, il metodo colma il divario tra dataset offline limitati e i complessi requisiti di esplorazione della modellazione generativa.

Gli autori sottolineano che TD-GFN:

• Sblocca il Potenziale: Permette il dispiegamento di GFlowNet in domini complessi dove le interrogazioni attive di ricompensa sono proibitive.
• Previene la Propagazione degli Errori: Disaccoppiando il meccanismo di guida (ricompense sugli archi) dal meccanismo di aggiornamento del gradiente (ricompense terminali), evita le insidie dei modelli proxy.
• Migliora l'Esplorazione: La guida strutturata densa permette al modello di esplorare efficacemente le regioni ad alta ricompensa, anche quando sono scarsamente rappresentate o non osservate nei dati di addestramento.

Il lavoro suggerisce che le informazioni a livello di traiettoria, spesso trascurate nei metodi basati su proxy, sono una pietra angolare per un addestramento efficace di GFlowNet offline, offrendo una soluzione scalabile per applicazioni reali nella scoperta di farmaci, nella progettazione biologica e nell'ottimizzazione combinatoria.