Riepilogo Tecnico: Rappresentazioni Quoziente-Categoriali per l'Apprendimento per Rinforzo Distribuzionale a Ricompensa Media Compatibile con Bellman

1. Enunciato del Problema

L'Apprendimento per Rinforzo Distribuzionale (DRL) ha ottenuto successi significativi nei Processi Decisionali di Markov (MDP) scontati, dove la geometria di contrazione dell'operatore di Bellman facilita l'analisi e la progettazione degli algoritmi. Tuttavia, il setting a ricompensa media presenta una sfida strutturale fondamentale per la modellazione distribuzionale.

Negli MDP a ricompensa media, la valutazione si basa su due oggetti: il guadagno (ricompensa media a lungo termine) e il bias (funzione di valore relativa). Il bias soddisfa l'equazione di Poisson, che è l'analogo a ricompensa media dell'equazione di Bellman. Una proprietà critica dell'equazione di Poisson è che le sue soluzioni sono uniche solo a meno di una costante additiva. Questa invarianza per traslazione crea un ostacolo per la modellazione distribuzionale standard: una famiglia di leggi di probabilità indicizzate per stato su $\mathbb{R}$ non può essere definita direttamente con un'origine fissa, poiché traslare la distribuzione del bias di ogni stato della stessa costante non dovrebbe alterare l'oggetto appreso.

Il lavoro esistente sul DRL a ricompensa media si concentra spesso sul perfezionamento del criterio di ricompessa stesso o utilizza rappresentazioni scalari. Questo articolo colma la lacuna nella costruzione di un analogo distribuzionale compatibile con Bellman del bias che rispetti la simmetria della costante additiva, consentendo la programmazione dinamica distribuzionale e l'apprendimento a differenza temporale (TD) nel regime a ricompensa media.

2. Metodologia

2.1 Formulazione dello Spazio Quoziente

Gli autori propongono di modellare le leggi del bias indicizzate per stato modulo traslazioni comuni.

• Spazio Quoziente: Sia $\mathcal{F}_S$ l'insieme delle collezioni indicizzate per stato di leggi di probabilità su $\mathbb{R}$. Viene definita una relazione di equivalenza $\approx$ tale che $\eta \approx \zeta$ se $\zeta$ è una traslazione comune di $\eta$. Lo spazio risultante $\mathcal{F}_S / \approx$ preserva la simmetria della costante additiva dell'equazione di Poisson.
• Operatore Distribuzionale: L'operatore distribuzionale a ricompensa media $T$ è definito su $\mathcal{F}_S$. L'articolo dimostra che $T$ commuta con le traslazioni comuni, inducendo così un operatore ben definito sullo spazio quoziente $\mathcal{F}_S / \approx$.

2.2 Parametrizzazione Categorie

Per rendere lo spazio quoziente computazionalmente trattabile, gli autori introducono una rappresentazione quoziente-categoriale:

• Rappresentazione: La legge del bias di ogni stato è rappresentata da una distribuzione categoriale su una griglia fissa $\Theta = \{\theta_1, \dots, \theta_d\}$.
• Equivarianza per Spostamento: Viene definita una famiglia rappresentativa come $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$, dove $c$ è uno spostamento arbitrario. Il vettore dei coefficienti $p$ caratterizza univocamente la classe quoziente $[\eta_{p,c}]$, indipendentemente da $c$.
• Proiezione: Viene definita una proiezione categoriale equivariante per spostamento $\Pi_{\Theta_c}^C$. L'articolo stabilisce che proiettare una legge traslata su una griglia traslata produce lo stesso vettore di coefficienti che proiettare la legge originale sulla griglia originale.

2.3 Operatore Proiettato e Non-Contrattività

Gli autori definiscono un operatore proiettato $G_g$ sui coefficienti categoriali, che corrisponde all'applicazione dell'operatore distribuzionale e alla successiva proiezione sulla griglia categoriale.

• Metrica: La convergenza è analizzata utilizzando la metrica di Cramér coordinata ($\ell_{\Theta, C, \infty}$), che coincide con la metrica di Cramér standard sulle leggi rappresentative.
• Proprietà Chiave: A differenza degli operatori DRL scontati che sono contrattivi, l'operatore proiettato $G_g$ nel setting a ricompensa media è non-espansivo. L'articolo dimostra che $G_g$ è ben definito, non-espansivo nella metrica di Cramér coordinata e ammette punti fissi (tramite il teorema del punto fisso di Brouwer).

2.4 Ricorsioni di Approssimazione Stocastica (SA)

Poiché l'operatore è non-espansivo anziché contrattivo, gli argomenti standard di contrazione non si applicano. Gli autori analizzano le ricorsioni campionate come rilassamenti asincroni dell'operatore proiettato:

1. Ricorsione Centrata: Assumendo che il guadagno $\bar{r}^\pi$ sia noto, definiscono un aggiornamento TD a uno stato (iterazione stocastica di Krasnosel'skiĭ–Mann) utilizzando ricompense centrate $B = R - \bar{r}^\pi$. Si dimostra che la mappa del campo medio di questa ricorsione è non-espansiva e condivide i punti fissi con $G$.
2. Ricorsione Accoppiata (Guadagno Sconosciuto): Quando il guadagno è sconosciuto, la ricorsione è arricchita con un stimatore online del guadagno $g_k$. Gli autori definiscono una metrica prodotto $d_\lambda$ che combina il residuo categoriale e l'errore del guadagno. Dimostrano che la mappa di aggiornamento accoppiata è non-espansiva in questa metrica prodotto e che i suoi punti fissi corrispondono alle corrette leggi di bias quoziente-categoriali e al vero guadagno.

3. Contributi Chiave

1. Fondamento dello Spazio Quoziente: L'articolo stabilisce che lo spazio quoziente delle famiglie di leggi indicizzate per stato rispetto alla traslazione comune è il dominio naturale per un analogo distribuzionale del bias scalare.
2. Operatore Proiettato Ben Definito: Definisce un operatore esatto sullo spazio quoziente e un algoritmo di proiezione quoziente-categoriale, dimostrando che l'operatore proiettato è ben definito, non-espansivo e possiede punti fissi.
3. Garanzie di Convergenza:
   • Per ricompense centrate (guadagno noto), l'articolo dimostra la convergenza quasi certa (q.c.) e i limiti del residuo per iterazioni finite per la ricorsione TD sia nel campionamento i.i.d. che markoviano.
   • Per guadagni sconosciuti, introduce una ricorsione accoppiata con uno stimatore online del guadagno, dimostrando la non-espansività e la convergenza markoviana dello schema congiunto.
4. Insight Strutturale: Il lavoro evidenzia un contrasto strutturale tra le distribuzioni quoziente ideali (dove le costanti di centratura inducono solo traslazioni comuni) e le rappresentazioni categoriali pratiche su griglia fissa (dove la proiezione può alterare i coefficienti, rendendo necessaria una corretta centratura).

4. Risultati Sperimentali

L'articolo convalida le sue affermazioni teoriche attraverso due esperimenti:

• MDP a Cinque Stati: Un esperimento tabellare che confronta le iterazioni KM esatte, SKM i.i.d. centrate, SKM markoviane centrate e SKM con guadagno stimato accoppiato.
  • I risultati confermano che le ricorsioni esatte e stocastiche convergono agli stessi punti fissi.
  • La ricorsione accoppiata apprende con successo sia la distribuzione del bias che il guadagno.
  • Uno studio di ablazione dimostra che l'uso di una costante di centratura errata ($g=0$ invece di $\bar{r}^\pi$) porta alla convergenza verso una soluzione degenere, validando la necessità di una corretta centratura nelle rappresentazioni su griglia fissa.
• Pendulum-v1 a Stato Continuo: Una prova di concetto che utilizza l'approssimazione di funzioni neurale.
  • Il critico quoziente-categoriale centrato sul guadagno proposto supera significativamente un critico grezzo a ricompensa ingenuo in termini di residui dell'operatore proiettato.
  • La ricorsione online del guadagno accoppiata scompone con successo l'errore in componenti categoriali e di guadagno, coerentemente con i limiti teorici.

5. Significato e Affermazioni

L'articolo afferma di porre la stima distribuzionale del bias a ricompensa media su fondamenta solide. Il suo significato primario risiede nel:

• Risolvere l'ambiguità della costante additiva del bias scalare introducendo una formulazione quoziente-categoriale.
• Fornire il primo analogo distribuzionale compatibile con Bellman del bias adatto a argomenti di programmazione dinamica e apprendimento TD nel setting a ricompensa media.
• Stabilire garanzie di convergenza per mappe non-espansive nel contesto del RL distribuzionale, colmando il divario tra i metodi teorici di punto fisso per operatori non-espansivi e gli algoritmi TD pratici.

Gli autori notano che il loro obiettivo è complementare al lavoro precedente volto a perfezionare il criterio a ricompensa media stesso; invece, perfezionano il bias come oggetto di apprendimento. La teoria è attualmente focalizzata sulla valutazione di politiche a stati finiti con supporti categoriali fissi, con approssimazione di funzioni più ricca e setting di controllo identificati come prossimi passi naturali.