Riepilogo Tecnico: L'Allineamento Bellman in Un Passo Abilita un Trasferimento Provabilmente Efficiente nell'RL Online

1. Enunciato del Problema

Il documento affronta la sfida dell'apprendimento per rinforzo (RL) di trasferimento online nei Processi Decisionali di Markov (MDP) episodici. Il contesto prevede un agente che interagisce con un compito target ($M^{(0)}$) avendo accesso all'esperienza derivata da compiti sorgente correlati ($M^{(m)}$). L'obiettivo è sfruttare i dati sorgente per accelerare l'apprendimento sul compito target senza compromettere l'esplorazione o le garanzie di rimpianto.

Un ostacolo fondamentale identificato è il disallineamento tra le definizioni di similarità dei compiti e i meccanismi di apprendimento dell'RL online:

• Similarità dei Compiti: Tipicamente definita tramite ricompense, transizioni o funzioni valore.
• Meccanismo di Apprendimento RL: Gli algoritmi moderni di RL online (ad esempio, Q-learning) operano regressando target Bellman in un passo, che dipendono congiuntamente dal valore di continuazione ($V_{h+1}$) e dalla distribuzione di transizione ($P_h$).

Gli autori sostengono che il pooling ingenuo degli aggiornamenti Bellman dai compiti sorgente introduce un bias sistematico. Anche se i compiti sono intrinsecamente vicini, sostituire il valore di continuazione target $V^{(0)}_{h+1}$ con un valore sorgente $V^{(m)}_{h+1}$ o utilizzare distribuzioni di transizione sorgente $P^{(m)}_h$ crea una discrepanza che dipende dalla funzione valore variabile per iterazione. Questo bias strutturale rompe l'esplorazione basata sull'ottimismo e invalida le garanzie standard di rimpianto, poiché l'errore non svanisce con dati target aggiuntivi.

2. Metodologia: Targeting Ri-Pesato (RWT)

Per risolvere il bias strutturale, il documento propone il Targeting Ri-Pesato (RWT), una correzione a livello di operatore che allinea gli operatori Bellman tra i compiti.

2.1 Allineamento Bellman in Un Passo

L'idea centrale è che il disallineamento Bellman tra i compiti può essere ridotto a una correzione fissa in un passo se il valore di continuazione è valutato sotto il compito target mentre il disallineamento di transizione è corretto tramite un cambio di misura.

Dato un compito sorgente $m$ e un compito target $0$, sia $\omega^{(m)}_h(s' | s, a) = p^{(0)}_h(s' | s, a) / p^{(m)}_h(s' | s, a)$ il rapporto di densità. L'operatore Bellman allineato RWT è definito come:
$$(B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) := R^{(m)}_h(s, a) + \gamma \mathbb{E}_{s' \sim P^{(m)}_h} \left[ \omega^{(m)}_h(s' | s, a) V^{(0)}_{h+1}(s') \right]$$
Crucialmente, il valore di continuazione $V^{(0)}_{h+1}$ è la funzione valore target. La differenza tra il vero operatore Bellman target e l'operatore sorgente allineato RWT si semplifica in:
$$\Delta^{(m)}_h(s, a) = (B^{(0)}_h V^{(0)}_{h+1})(s, a) - (B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) = R^{(0)}_h(s, a) - R^{(m)}_h(s, a)$$
Questo risultato mostra che il disallineamento dei compiti diventa una differenza fissa di ricompensa in un passo $\Delta^{(m)}_r$, indipendente dalla funzione valore $V_{h+1}$. Ciò trasforma il problema di trasferimento nell'apprendimento di un residuo strutturato piuttosto che in un bias complesso dipendente dall'iterazione.

2.2 Framework Algoritmico: Q-Learning RWT

Gli autori propongono un framework Q-learning RWT in due fasi (Algoritmo 1) che separa la riduzione della varianza dalla correzione del bias:

1. Fase I: Baseline Basata sulla Sorgente (Riduzione della Varianza)
   • Costruire pseudo-etichette allineate RWT dai dati sorgente utilizzando la stima corrente del valore target $V_{h+1}$.
   • Adattare un stimatore di baseline $Q^{base}_{n,h}$ utilizzando queste pseudo-etichette. Ciò sfrutta l'abbondanza di dati sorgente per ridurre la varianza di stima mantenendo la coerenza Bellman con il compito target fino alla differenza di ricompensa.
2. Fase II: Correzione Basata sul Target (Correzione del Bias)
   • Calcolare etichette residue utilizzando i dati target: $z_{i,h} = y^{(0)}_{i,h} - Q^{base}_{n,h}(s_{i,h}, a_{i,h})$.
   • Stimare un termine di correzione $\delta_{n,h}$ per catturare la differenza strutturata di ricompensa in un passo $\Delta^{(m)}_r$.
   • La stima finale di trasferimento è $Q^{trans}_{n,h} = Q^{base}_{n,h} + \delta_{n,h}$.
3. Esplorazione:
   • Un bonus di esplorazione $b_{n,h}$ viene aggiunto a $Q^{trans}_{n,h}$ per formare una stima ottimistica $Q^{ucb}_{n,h}$, tenendo conto dell'incertezza sia dalla baseline sorgente (inclusa la stima del rapporto di densità) che dalla correzione target.

2.3 Istanza Teorica (RKHS)

Il framework è istanziato sotto l'approssimazione funzionale dello Spazio di Hilbert a Nucleo Riproduttivo (RKHS):

• Si assume che il backup Bellman target risieda in un RKHS ad alta complessità $\mathcal{K}$.
• Si assume che lo spostamento del compito (la differenza di ricompensa $\Delta^{(m)}_r$) risieda in un RKHS a complessità inferiore $\tilde{\mathcal{K}} \subseteq \mathcal{K}$.
• La regressione a cresta kernelica è utilizzata sia per la fase di baseline che per quella di correzione.
• I bonus di esplorazione sono derivati in base al guadagno informativo e ai numeri di copertura dei rispettivi kernel.

3. Contributi Chiave

1. Concettuale: Identificazione dell'allineamento Bellman in un passo come l'astrazione corretta per il trasferimento online. Il documento dimostra che il riutilizzo ingenuo di Bellman è strutturalmente distorto a causa della dipendenza dal valore di continuazione, rendendolo incompatibile con le garanzie di rimpianto.
2. Algoritmico: Proposta del Targeting Ri-Pesato (RWT), una correzione a livello di operatore che consente un riutilizzo statisticamente valido dei dati sorgente. Ciò produce un framework Q-learning in due fasi che disaccoppia la riduzione della varianza (sorgente) dalla correzione del bias (target).
3. Teorico: Stabilimento di limiti di rimpianto sotto approssimazione RKHS che scalano con la complessità dello spostamento del compito (la differenza di ricompensa) piuttosto che con la complessità dell'MDP target completo. Ciò fornisce miglioramenti rigorosi rispetto all'apprendimento a compito singolo quando lo spostamento è strutturato.
4. Empirico: Dimostrazione di miglioramenti coerenti rispetto all'apprendimento a compito singolo e al pooling ingenuo sia in setting tabellari che con reti neurali, validando la necessità teorica dell'allineamento Bellman.

4. Risultati

Risultati Teorici

Sotto l'assunzione che lo spostamento del compito risieda in un RKHS a complessità inferiore $\tilde{\mathcal{K}}$, il limite di rimpianto per l'algoritmo OFU-RWT è:
$$\text{Regret}(N) \lesssim H \sqrt{N \beta_1} \left( N^{\beta_1+1} + N^{\alpha_1+1} \right) + \text{Termini Sorgente}$$

• Il termine dominante dipende dalla complessità dello spostamento del compito ($\tilde{\mathcal{K}}$), non dall'MDP target ambientale ($\mathcal{K}$).
• Quando lo spostamento è più semplice del problema ambientale (ad esempio, $\alpha_1 \leq \beta_1$), il rimpianto è strettamente inferiore al tasso $O(H N^{1/2+\beta_0})$ dell'apprendimento a compito singolo.
• Il termine di stima sorgente diminuisce all'aumentare del rapporto di campionamento sorgente-target $\kappa$.

Risultati Empirici

Gli esperimenti sono stati condotti su RandomRewardGridEnv, dove la ricompensa target è una tabella Q fissa e la ricompensa sorgente è una versione perturbata ($R_{source} = R_{target} + \Delta$).

• Pooling Ingenuo: Ha degradato costantemente le prestazioni rispetto all'apprendimento solo sul target, confermando il bias strutturale previsto dalla teoria.
• RWT-Q: Ha superato sia il pooling ingenuo che le baseline solo sul target sia in setting tabellari che con Deep Q-Network (DQN).
• Efficienza Campionaria: RWT-Q ha mostrato guadagni significativi nell'efficienza campionaria, in particolare quando lo spostamento di ricompensa era strutturato ma non banale.

5. Significato e Affermazioni

Il documento afferma che l'allineamento Bellman è un principio di trasferimento agnostico rispetto al modello essenziale per l'RL online.

• Strutturale vs Statistico: Il fallimento del trasferimento ingenuo è identificato come un problema strutturale (disallineamento dell'operatore) piuttosto che statistico (dati insufficienti).
• Decomposizione: Riducendo il disallineamento dei compiti a una correzione fissa in un passo, RWT permette di separare l'apprendimento in una fase di riduzione della varianza guidata dalla sorgente e una fase di correzione del bias guidata dal target.
• Garanzie di Rimpianto: A differenza dei precedenti metodi di trasferimento che si basano su rappresentazioni condivise o assunzioni offline, questo lavoro fornisce un trasferimento online provabilmente efficiente con limiti di rimpianto che si adattano alla complessità dello spostamento piuttosto che del compito.
• Generalità: Il meccanismo è indipendente dalla specifica strategia di esplorazione (compatibile con $\epsilon$-greedy o UCB) e dall'approssimatore funzionale (tabellare o neurale), rendendolo un principio generale per il trasferimento nell'RL online.