Sintesi Tecnica: Fondamenti di l'Apprendimento per Rinforzo Inverso e Modelli di Scelta Discreta Dinamica

1. Definizione del Problema

Il documento affronta il problema dell'Apprendimento per Rinforzo Inverso (IRza - Inverse Reinforcement Learning) nel contesto offline: dato un dataset fisso di tuple stato-azione-stato successivo generato da una policy esperta $\pi^*$, è possibile recuperare la funzione di ricompensa $r$ che l'esperto stava ottimizzando?

Questo problema si colloca all'intersezione di due distinte letteratura:

1. Econometria Strutturale (Scelta Discreta Dinamica - DDC): Modella agenti che massimizzano l'utilità più shock idiosincratici distribuiti secondo la Gumbel.
2. Machine Learning (IRza con Massima Entropia): Modella agenti che massimizzano il rendimento atteso più un bonus di entropia (Maximum Entropy IRL).

La sfida centrale è l'identificazione: senza ulteriori strutture, la funzione di ricompensa non è unicamente recuperabile dalla sola osservazione del comportamento a causa dell'invarianza della modellazione basata su potenziali (Ng et al., 1999). Inoltre, i metodi esistenti affrontano un "trilemma" di compromessi che coinvolgono la scalabilità, la necessità di stimare il kernel di transizione e la stabilità (la "triade letale").

2. Fondamenti Metodologici

2.1 Equivalenza tra DDC e MaxEnt-IRL

Il documento stabilisce innanzitutto una rigorosa equivalenza tra le due comunità.

• Formulazione DDC: Gli agenti scelgono azioni per massimizzare $r(s,a) + \epsilon_{t,a}$, dove $\epsilon$ segue una distribuzione di Tipo-1 Valore Estremo (Gumbel).
• Formulazione MaxEnt-IRL: Gli agenti massimizzano il rendimento atteso più un termine di entropia $\lambda H(\pi)$.
• Risultato: Sotto una normalizzazione a media zero per gli shock Gumbel ($\delta = -\gamma_E$) e impostando il coefficiente di entropia $\lambda=1$, entrambe le formulazioni producono la stessa identica policy softmax e la soft Bellman equation:
  $$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$$
  $$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$$
  Ciò prova che i modelli probabilistici sono statisticamente indistinguibili dalle osservazioni offline.

2.2 Limiti di Identificazione

Il documento analizza cosa può essere recuperato dal solo comportamento:

• Non-Identificazione: Senza ulteriori assunzioni, $r$ è identificabile solo fino a una funzione di potenziale dipendente dallo stato $\Phi(s)$. Nello specifico, $r$ e $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ inducono la stessa policy ottimale.
• L'Assunzione dell'Azione-Ancora (Magnac & Thesmar, 2002): Per risolvere questo problema, il documento adotta la classica assunzione econometrica secondo cui per ogni stato $s$, esiste un'azione "ancora" $a_s$ nota con una ricompensa nota $r(s, a_s) = 0$ (o costante nota). Questa assunzione fissa il potenziale e permette l'identificazione univoca di $Q^*$ e $r$ sul supporto dell'esperto.

3. Revisione degli Approcci Esistenti e dei Loro Limiti

Il documento esamina i metodi classici e moderni, evidenziando i loro specifici modi di fallimento:

3.1 Metodi DDC Classici

• Nested Fixed-Point (NFXP) di Rust: Risolve l'equazione di Bellman in un ciclo interno mentre massimizza la verosimiglianza in un ciclo esterno.
  • Limite: Soffre della maledizione della dimensionalità nello spazio degli stati $S$ e richiede la conoscenza esplicita o la stima del kernel di transizione $P$.
• Hotz-Miller / Probabilità di Scelta Condizionale (CCP): Inverte la softmax per trovare le differenze di $Q$ e risolve un'equazione di fixed-point lineare per la funzione valore.
  • Limite: Richiede la stima del kernel di transizione $P$ (maledizione statistica della dimensionalità) e soffre della propagazione dell'errore nella simulazione forward.
• Approcci Temporal-Difference (TD) (Adusumilli & Eckardt, 2019):
  • Semi-Gradiente Lineare TD: Evita il $P$ esplicito ma soffre della triade letale (approssimazione di funzione + bootstrapping + dati off-policy), portando alla divergenza.
  • Approximate Value Iteration (AVI): Più stabile ma converge a un punto fisso proiettato, che può differire dal vero $Q^*$ se la vera funzione valore non è realizzabile nella classe di funzioni utilizzata.
  • Nota: Le "target networks" (comuni nel deep RL) stabilizzano la traiettoria ma non cambiano la destinazione; esse convergono comunque al punto fisso proiettato, non al vero valore.

3.2 Metodi Moderni di IRza

• Adversarial IRL (AIRL): Utilizza un discriminatore per separare la ricompensa dal potenziale di shaping.
  • Limite: Identifica l'advantage soft $A^*(s,a) = \log \pi^*(a|s)$, non la ricompensa direttamente. Il recupero della ricompensa richiede assunzioni restrittive (dinamiche deterministiche, ricompense dipendenti solo dallo stato, grafi di transizione decomponibili) che sono spesso violate nella pratica.
• Occupancy Matching (GAIL): Minimizza la divergenza tra le misure di occupazione dell'esperto e della policy.
  • Limite: È un algoritmo di imitazione, non un algoritmo di recupero della ricompensa. Non impone la coerenza Bellman puntuale, rendendo impossibile l'estrazione della ricompensa senza ulteriori assunzioni.
• IQ-Learn: Parametrizza direttamente $Q$ e definisce una ricompensa tramite l'equazione di Bellman.
  • Limite: L'obiettivo è invariante rispetto agli shift che dipendono solo dallo stato; non identifica una ricompensa univoca senza una normalizzazione esterna (come l'azione ancora).
• Offline ML-IRL (Zeng et al., 2023): Una ri-parametrizzazione neurale di Hotz-Miller con penalità di conservatorismo.
  • Limite: Eredita la necessità di stima del kernel di transizione e cicli di ottimizzazione annidati.

4. Metodo Proposto: Il Framework ERM (GLADIUS)

Il documento propone un framework unificato di Minimizzazione del Rischio Empirico (ERM) che sintetizza il potere di identificazione della DDC con la scalabilità del moderno ML, evitando le insidie di entrambi.

4.1 Intuizione Centrale

Invece di parametrizzare $r$ e risolvere un problema forward annidato, il metodo parametrizza direttamente $Q$. Le condizioni di identificazione vengono tradotte in due funzioni di perdita:

1. Negative Log-Likelihood (NLL): Impone che la softmax di $Q$ corrisponda alla policy esperta $\pi^*$. Questo identifica le differenze entro lo stato.
2. Anchor Bellman Loss: Impone l'equazione di Bellman solo all'azione ancora $a_s$ dove la ricompensa $r(s, a_s)$ è nota. Questo fissa il livello di $Q$ per stato.

4.2 Il Bias del Double-Sampling e la Correzione

Una naiva loss di Bellman empirica utilizzando errori TD al quadrato è influenzata dal problema del double-sampling (la varianza dello stato successivo non svanisce con più dati).

• Correzione: Il documento deriva una formulazione minimax che sottrae il termine di varianza condizionale.
  $$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$$
  Qui, $\zeta(s,a)$ agisce come una funzione ausiliaria che apprende la media condizionale $\mathbb{E}[V_Q(s') | s, a]$. Questa correzione elimina la necessità di stimare esplicitamente il kernel di transizione $P$.

4.3 Algoritmo: GLADIUS

L'algoritmo GLADIUS (Gradient-based Learning with Ascent–Descent for Inverse Utility learning from Samples) alterna tra:

1. Step di Regressione (Ascent/Descent): Aggiorna $\zeta$ per minimizzare l'errore quadratico rispetto a $V_Q(s')$.
2. Step di Ottimizzazione (Descent): Aggiorna $Q$ per minimizzare la NLL più il residuo di Bellman corretto per il bias dell'azione ancora.

4.4 Garanzie di Convergenza

Il documento stabilisce la convergenza sotto assunzioni di geometria Polyak-Lojasiewicz (PL) piuttosto che di convessità.

• Assunzioni: Realizzabilità di $Q^*$ e $\zeta^*$ nelle classi di funzioni, e condizionamento del Jacobiano dell'output empirico (simile alle condizioni del Neural Tangent Kernel).
• Risultato: L'algoritmo converge al minimo globale del rischio empirico con un tasso di $O(1/T)$ per l'ottimizzazione e $O(1/\sqrt{N})$ per l'errore statistico.

5. Contributi Chiave e Significato

1. Unificazione: Dimostra l'equivalenza formale tra le formulazioni DDC e MaxEnt-IRL, colmando il divario tra econometria e machine learning.
2. Chiarezza di Identificazione: Chiarisce che i moderni metodi avversari (AIRL) non risolvono intrinsecamente il problema dell'identificazione della ricompensa senza forti assunzioni strutturali, spesso irrealistiche. Riafferma l'assunzione dell'azione-ancora come la via robusta per identificare le ricompense stato-azione.
3. Stima Senza Transizioni: Introduce un obiettivo minimax corretto per il bias che recupera $Q^*$ e $r$ senza stimare il kernel di transizione $P$, superando la maledizione statistica della dimensionalità inerente a CCP e NFXP.
4. Stabilità: Evita la divergenza della "triade letale" dei metodi TD off-policy attraverso la formulazione del problema come una diretta minimizzazione del rischio empirico corretto per il bias su $Q$.
5. Soluzione Algoritmica: Presenta GLADIUS, un estimatore basato sul gradiente e "one-shot" che evita i cicli di ottimizzazione annidati dei metodi DDC classici, mantenendo al contempo garanzie teoriche di convergenza sotto le standard assunzioni di sovra-parametrizzazione.

Il documento conclude che questo approccio ERM offre una via principiata, scalabile e statisticamente consistente per l'IRza/DDC offline, combinando il rigore di identificazione dell'econometria strutturale con l'efficienza computazionale del moderno apprendimento basato sul gradiente.