A Contractive Feedback Semantics for Reinforcement Learning

Sintesi Tecnica: Una Semantica a Feedback Contrattivo per l'Apprendimento per Rinforzo

Enunciato del Problema
L'Apprendimento per Rinforzo (RL) standard è tipicamente formalizzato come programmazione dinamica su Processi Decisionali di Markov (MDP) chiusi. In questa visione, una politica è fissa, un operatore di Bellman è definito e la funzione valore è studiata come punto fisso di tale operatore. Sebbene efficace, questo approccio oscura la realtà strutturale secondo cui la transizione a un passo è un componente aperto con interfacce di input/output, un canale di ricompensa e una continuazione. Il valore a orizzonte infinito emerge solo quando la continuazione viene retroazionata nel componente. Le teorie esistenti spesso mancano di un linguaggio composizionale per analizzare rigorosamente se le sostituzioni locali (ad esempio, in sistemi modulari, filtri a stato di credenza o valutazioni off-policy) rimangano valide all'interno di sistemi circostanti arbitrari. Il lavoro affronta la necessità di una semantica che tratti i componenti RL come oggetti aperti e tipizzati, dove il feedback è esplicito e composizionale.

Metodologia
Il lavoro propone una visione composizionale in cui un processo decisionale a un passo è trattato come un componente stocastico aperto, e la valutazione della politica a orizzonte infinito è ottenuta chiudendo un anello di feedback contrattivo. La metodologia si basa su tre principi semantici:

1. Principio del Feedback: Il valore a orizzonte infinito è il risultato dell'invio di un output di continuazione indietro in un componente a un passo. Lo sconto rende questo feedback "protetto" (contrattivo), garantendo che il valore in anello chiuso sia univocamente definito dal teorema del punto fisso di Banach.
2. Principio Contestuale: I componenti sono confrontati alle loro interfacce. Se due componenti inducono trasformatori tipizzati vicini, la loro differenza dovrebbe rimanere controllata dopo l'inserimento in un circuito decisionale più ampio.
3. Principio del Contratto: I requisiti di correttezza (sicurezza, rischio, risorse) sono limiti superiori in un'algebra ordinata. Questi limiti dovrebbero comporsi localmente, elevandosi dai sottocomponenti a sistemi cablati più ampi tramite trasformatori monotoni e punti fissi minimi.

Lo sviluppo tecnico utilizza:

• Livello Stocastico: Kernel di Markov come morfismi nella categoria Stoch.
• Livello Valore (Metrica): Spazi di Banach di funzioni misurabili limitate ($B(S)$) per ritorni scontati additivi, utilizzando la contrazione $\gamma$.
• Livello Valore (Ordine): Reti complete arricchite da quantale per garanzie ordinate (rischio, sicurezza), utilizzando mappe monotone $\omega$-continue.
• Semantica delle Tracce: Una "traccia di Banach protetta" in cui l'operazione di traccia è definita solo per mappe il cui filo di feedback è uniformemente contrattivo, realizzata come un punto fisso unico.

Contributi e Risultati Chiave

1. Semantica di Bellman a Traccia Protetta:
   Il lavoro formula componenti decisionali scontati aperti (ODDC) e dimostra che la valutazione della politica è la traccia di Banach protetta di un circuito di feedback ammissibile. Non assume un'operazione di traccia globale su mappe arbitrarie; piuttosto, restringe la traccia alla classe ammissibile di circuiti protetti in cui il fattore di sconto garantisce la contrazione.

2. Composizionalità Tipizzata:
   Gli autori dimostrano che le operazioni di cablaggio corrispondono a operazioni strutturali sui trasformatori di Bellman:

   • Cablaggio in Serie: Corrisponde alla composizione di funzioni dei trasformatori di continuazione, con una contabilità esplicita dello sconto (le ricompense dalle fasi successive sono scontate più profondamente).
   • Cablaggio in Parallelo: Corrisponde al tensoring (prodotto) dei trasformatori, preservando le strutture di valore additive/separabili sotto indipendenza.
   • Feedback: Corrisponde a una traccia di punto fisso protetta.

3. Equivalenza Contestuale (Congruenza):
   Il lavoro definisce una metrica degli operatori su sfere di valore invarianti e dimostra che l'equivalenza approssimata è preservata dai contesti lineari ben tipizzati ammessi (contesti in cui il "buco" è utilizzato esattamente una volta).

   • Risultato: Se due componenti hanno un errore locale dell'operatore $\epsilon$, l'errore nel valore finale di punto fisso del circuito composto è limitato da $L(C) \cdot \frac{1}{1-\kappa(C)} \cdot \epsilon$, dove $L(C)$ è il guadagno del contesto e $\kappa(C)$ è il modulo di contrazione. Questo fornisce costanti di sensibilità esplicite e calcolabili per la propagazione dell'errore.

4. Astrazione Coalgebrica:
   Il framework si collega alla teoria delle rappresentazioni trattando gli MDP come coalgebre.

   • Astrazione Esatta: Dimostra che gli omomorfismi commutanti (che preservano le ricompense e i kernel di transizione) producono una conservazione esatta del valore tramite l'intreccio degli operatori.
   • Astrazione Approssimata: Quantifica la distorsione del valore sotto commutazione approssimata (disallineamento limitato delle ricompense e disallineamento della variazione totale delle transizioni), fornendo limiti espliciti nella norma sup che si propagano attraverso i contesti del circuito.

5. Contratti di Quantale:
   Il lavoro introduce un livello per specifiche di sicurezza, rischio e risorse utilizzando contratti a valori di quantale.

   • Risultato: Sotto una semantica di trasformatori di contratto $\omega$-continui e monotoni, i limiti induttivi locali (punti pre-fissi) si elevano attraverso cablaggi in serie, parallelo e feedback fino a garanzie globali tramite ragionamento sul punto fisso minimo. Questo separa il ragionamento sul punto fisso metrico (per le ricompense) dal ragionamento ordinale (per i vincoli).

6. Estensioni e Controlli di Coerenza:
   Il framework è mostrato per coprire:

   • Elevamento dello stato di credenza: Gli MDP parzialmente osservabili (POMDP) sono trattati elevando l'oggetto stato allo spazio delle credenze, applicando la stessa semantica a punto fisso.
   • Valutazione Off-policy: I cambiamenti nella misura delle traiettorie sono analizzati come cambiamenti composizionali della misura, con le derivate di Radon–Nikodym che si fattorizzano sotto specifiche decomposizioni del circuito.
   • Non stazionarietà: Gli operatori variabili nel tempo sono tracciati tramite metriche di deriva degli operatori, producendo limiti sull'errore di tracciamento del punto fisso.

Significato e Affermazioni
Il lavoro afferma esplicitamente di non essere un nuovo algoritmo di apprendimento, uno studio empirico o una proposta di una categoria monoidale tracciata globale per tutti i morfismi RL. Al contrario, il suo significato risiede in una riformulazione teorica della semantica RL attorno al feedback contrattivo.

L'affermazione centrale è che la valutazione di Bellman scontata ammette una semantica a feedback contrattivo sulla classe ammissibile di circuiti protetti. Questa prospettiva produce:

• Congruenza Contestuale: Gli errori locali dell'operatore rimangono controllati nei circuiti circostanti, con limiti espliciti.
• Limiti di Astrazione Espliciti: La conservazione e la distorsione del valore sono derivate dalle proprietà di commutazione coalgebrica.
• Sicurezza Composizionale: Le specifiche di sicurezza e rischio possono essere verificate localmente e elevate composizionalmente.

Il lavoro sostiene che questa visione espone la struttura composizionale soppressa dalla notazione standard degli MDP chiusi, fornendo una fondazione rigorosa per sistemi decisionali modulari, filtraggio a stato di credenza e valutazione off-policy, dove le sostituzioni locali devono essere validate all'interno di contesti arbitrari.