Sintesi Tecnica: Flussi di Trasporto Controfattuali per il Raffinamento Conservativo di Traiettorie Offline

1. Formulazione del Problema

Il documento affronta un limite fondamentale nell'apprendimento per rinforzo (RL) offline: la difficoltà di migliorare il comportamento osservato senza estrapolare oltre il supporto dei dati registrati. Mentre il RL standard apprende mappature stato-azione reattive, spesso fallisce nel modellare esplicitamente come una specifica traiettoria a basso esito possa essere rivista localmente per avere successo. I metodi offline esistenti tendono o a vincolare le policy tramite penalità sul valore o a utilizzare modelli generativi (diffusion/flow) per creare nuovi comportamenti, operando spesso a livello di transizione o apprendendo policy globali piuttosto che miglioramenti specifici per ogni istanza.

Gli autori formulano il problema come raffinamento di traiettoria condizionato alla sorgente. Data una traiettoria candidata iniziale $\tau^-$ con un basso feedback dal mondo (ad esempio, basso ritorno, violazioni di sicurezza), l'obiettivo è apprendere una revisione locale verso un'alternativa vicina $\tau^*$ che offra un feedback migliore pur rimanendo comportamentalmente plausibile all'interno della distribuzione dei dati offline. Ciò è concettualizzato come la ricerca di una traiettoria fattibile che minimizzi la deviazione dalla sorgente soddisfacendo un margine di miglioramento $\delta$:
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.t.} \quad R(\tau') \ge R(\tau^-) + \delta$$
dove $R(\tau)$ rappresenta il feedback misurabile dal mondo e $d_\tau$ misura la deviazione a livello di traiettoria.

2. Metodologia: Flussi di Trasporto Controfattuali

Il framework proposto, Counterfactual Transport Flows, impara a trasportare una traiettoria sorgente verso un'alternativa migliore in uno spazio latente di traiettorie utilizzando il conditional flow matching. Il metodo opera in tre fasi principali:

A. Costruzione di Coppie di Preferenza Locale

Invece di apprendere una policy globale, il metodo costruisce deboli coppie di preferenza locale dai dati offline. Per una data traiettoria sorgente $\tau^-$, l'algoritmo:

1. Codifica le traiettorie in uno spazio latente utilizzando un encoder $\phi$.
2. Identifica un vicinato latente locale $\mathcal{N}(\tau^-)$ di traiettorie simili.
3. Seleziona una traiettoria target $\tau^+$ da questo vicinato che soddisfi il criterio di miglioramento ($R(\tau^+) \ge R(\tau^-) + \delta$).
4. Forma una coppia $(\tau^-, \tau^+)$ che rappresenta una revisione "controfattuale": ciò che l'agente avrebbe potuto fare diversamente in condizioni simili per ottenere un feedback migliore.

B. Flow Matching Condizionato alla Sorgente

Il raffinamento è modellato come un processo di trasporto continuo piuttosto che una predizione istantanea.

• Interpolazione Latente: Per ogni coppia, viene definita una via di interpolazione lineare: $z_s = (1-s)z^- + s z^+$, dove $z^- = \phi(\tau^-)$ e $z^+ = \phi(\tau^+)$, con $s \sim U(0, 1)$.
• Campo Vettoriale Condizionato: Il modello apprende un campo vettoriale $v_\theta(z_s, s \mid z^-)$ condizionato specificamente sulla traiettoria sorgente $z^-$. Ciò assicura che la direzione di raffinamento sia specifica per l'istanza, apprendendo come questa particolare traiettoria può essere rivista, piuttosto che apprendere una direzione globale verso regioni ad alto feedback.
• Obiettivo di Addestramento: Il modello è addestrato utilizzando l'obiettivo di flow matching per minimizzare la differenza tra la velocità predetta e la velocità target ($z^+ - z^-$):
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. Inferenza con Forza di Raffinamento

In fase di inferenza, il metodo prende una traiettoria candidata iniziale $\tau^-$, la codifica in $z^-$ e integra il campo vettoriale appreso. L'integrazione viene interrotta a un parametro di forza di raffinamento $\alpha \in [0, 1]$:
$$\tilde{z} = z_\alpha$$
Lo stato latente risultante viene decodificato per produrre la traiettoria raffinata $\tau^* = \psi(\tilde{z})$.

• $\alpha = 0$: Recupera la traiettoria originale (conservativo).
• $\alpha = 1$: Trasporta completamente la traiettoria verso il target locale ad alto feedback.
• $0 < \alpha < 1$: Permette un compromesso continuo tra la preservazione del comportamento originale e l'applicazione di un miglioramento più forte.

3. Contributi Chiave

Gli autori evidenziano tre contributi primari:

1. Formulazione: Riformulano il miglioramento delle decisioni offline come raffinamento di traiettoria condizionato alla sorgente dal feedback del mondo, distinto dall'ottimizzazione di policy globale o dalla generazione di traiettorie non vincolata.
2. Metodologia: Propongono la costruzione di coppie di preferenza locale a partire dagli esiti osservati e l'utilizzo del conditional flow matching per apprendere direzioni di raffinamento specifiche per l'istanza nello spazio latente delle traiettorie.
3. Validazione: Validano l'approccio su benchmark D4RL (AntMaze e MuJoCo), dimostrando un miglioramento del feedback con deviazioni di traiettoria conservative, senza richiedere etichette di preferenza umana o modelli di ricompensa separati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset D4RL, inclusi i compiti AntMaze e MuJoCo (HalfCheetah), utilizzando un autoencoder di traiettoria per la costruzione dello spazio latente.

• Baseline: Il metodo è stato confrontato con:
  • Nearest Improved Neighbor: Sostituzione diretta della sorgente con la traiettoria più vicina a feedback più alto.
  • Random Improved Trajectory: Sostituzione della sorgente con una traiettoria casuale a feedback più alto.
  • Non-local Flow Matching: Addestramento del modello di flow senza vincoli di località nella selezione del target.
• Performance:
  • AntMaze: Il metodo proposto ha ottenuto un miglioramento del feedback di +69.44 con la più bassa deviazione d'azione (1.41) e deviazione latente (27.00). Al contrario, la baseline "Random Improved Trajectory" ha ottenuto guadagni grezzi superiori (+117.50) ma con deviazioni significativamente maggiori (Azione: 2.18, Latente: 62.50), indicando una mancanza di conservatività. La baseline "Non-local Flow Matching" ha effettivamente degradato il feedback (-11.48).
  • MuJoCo: Sono stati osservati trend simili. Il metodo proposto ha ottenuto un miglioramento del feedback di +1180.20 con deviazioni di 1.58 (azione) e 31.40 (latente). La baseline "Nearest Improved Neighbor" ha ottenuto un miglioramento grezzo leggermente inferiore (+1050.30) ma con deviazioni maggiori (2.14/42.50).
• Analisi: I risultati indicano che sia la costruzione del target locale che il condizionamento alla sorgente sono necessari per un raffinamento conservativo. Gli approcci globali o non locali falliscono nell'apprendere direzioni di raffinamento stabili, mentre le strategie di sostituzione diretta sacrificano troppo la fedeltà comportamentale.

5. Significato e Rivendicazioni

Il documento sostiene che i Counterfactual Transport Flows offrono una direzione promettente per un miglioramento offline affidabile poiché:

• Radicano il Miglioramento nei Dati: Il metodo migliora il comportamento utilizzando solo il feedback scalare del mondo (ad esempio, i ritorni) dai dati registrati, eliminando la necessità di etichette di preferenza umana, modelli di ricompensa separati o interazione online con l'ambiente.
• Interpretabilità: La prospettiva del trasporto fornisce un'interpretabilità a livello di traiettoria. Il campo vettoriale appreso traccia percorsi di raffinamento espliciti, offrendo spiegazioni in "stile controfattuale" di come i comportamenti a basso feedback possano essere rivisti.
• Controllabilità: Il parametro di forza di raffinamento $\alpha$ consente un compromesso regolabile tra conservatività (preservazione della proposta originale) e miglioramento aggressivo.

Gli autori mantengono una posizione modesta, notando che il termine "controfattuale" è usato nel senso di raffinamento della traiettoria (basato sui dati osservati) piuttosto che nella inferenza causale formale. Identificano direzioni di lavoro futuro, tra cui la selezione adattiva del vicinato, garanzie teoriche per le traiettorie decodificate e l'integrazione con modelli del mondo appresi per una pianificazione ipotetica iterativa.