Riassunto Tecnico: Audit dei Claim di Rischio nel Reinforcement Learning Distribuzionale

Definizione del Problema

Il Reinforcement Learning (RL) distribuzionale sostituisce le funzioni di valore scalari con intere distribuzioni di rendimento ($Z^\pi(s, a)$). Sebbene queste distribuzioni abbiano guidato prestazioni allo stato dell'arte e siano sempre più utilizzate per l'interpretabilità, il controllo sensibile al rischio (ad esempio, tramite il Conditional Value-at-Risk, CVaR) e il monitoraggio della sicurezza, esse vengono spesso interpretate "al valore nominale". L'assunto fondamentale è che se una distribuzione appresa per un'azione differisce nella forma da un'altra (ad esempio, promettendo un piccolo rendimento sicuro rispetto a un azzardo di media uguale), l'ambiente contenga effettivamente quella specifica struttura di rischio.

Tuttavia, il lavoro teorico suggerisce che queste distribuzioni non debbano necessariamente coincidere con la vera distribuzione dei rendimenti (ad esempio, l'apprendimento Quantile Temporal-Difference converge a punti fissi non unici). Inoltre, i metodi distribuzionali spesso migliorano le prestazioni anche quando viene utilizzata solo la media, suggerendo che le distribuzioni apprese possano essere rappresentazioni utili senza essere fattualmente accurate. Il vuoto critico identificato è la mancanza di una misurazione diretta: I claim di rischio specifici fatti da un agente distribuionale addestrato sono veri? Le metriche di divergenza aggregata non riescono a distinguere tra errori che contano per il processo decisionale e quelli che non contano. Questo articolo affronta la domanda se il "rischio" riflesso nella testa di un agente addestrato sia una caratteristica genuina dell'ambiente o un artefatto dell'addestramento.

Metodologia

Gli autori propongono un framework di audit orientato alle decisioni che combina una metrica di screening, la generazione della verità fondamentale (ground truth) e un supporto statistico per evitare conclusioni errate.

1. Metrica di Audit Decision-Relevant

L'audit si concentra sul gap di Wasserstein in eccesso ($\Delta_x(s)$) tra le prime due azioni, in un dato stato $s$, classificate in base ai loro rendimenti medi.
$$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$$
Dove $W_1$ è la distanza 1-Wasserstein tra le rappresentazioni dei quantili delle due azioni, e $\mu$ rappresenta i loro rendimenti medi.

• Significatività: $\Delta_x(s) > 0$ accade se e solo se una azione non domina stocasticamente l'altra in primo ordine. Questa è la condizione precisa in cui una politica sensibile al rischio divergerebbe da una politica greedy sulla media. Pertanto, $\Delta_x$ isola i claim che portano contenuto decisionale.

2. Verità Fondamentale tramite Snapshot-Restart Monte Carlo

Per verificare i claim, gli autori generano la verità fondamentale tramite:

• Raccolta di stati unici dall'agente addestrato.
• Archiviazione di copie profonde (snapshot) dell'ambiente in tali stati.
• Esecuzione di 2.000 rollout per azione da ciascuno snapshot, forzando l'azione specifica e seguendo la politica greedy fino alla terminazione.
• Crucialmente, ogni copia riavviata è indipendentemente re-seedata per garantire che i rollout catturino la vera incertezza ambientale (incertezza aleatoria) piuttosto che riprodurre futuri identici.

3. Supporto Statistico

Per evitare che l'audit generi conclusioni false, gli autori impiegano:

• Permutation Nulls: Stabilire una linea di base per il rumore di stima dividendo i rollout di una singola azione.
• Bootstrap Refutation: Un claim è confutato se il $\Delta_x(s)$ appreso supera il 97,5° percentile della distribuzione MC dell'eccesso.
• Controllo del FDR: Utilizzo della procedura di Benjamini-Hochberg per controllare il False Discovery Rate attraverso gli stati.
• Indice di Aliasing: Una metrica per segnalare stati in cui l'osservabilità parziale potrebbe nascondere il vero stato dell'ambiente.

4. Affrontare i Pitfall Silenziosi

Il documento documenta due specifici modi di fallimento nei valutazioni basate su restart che in precedenza producevano audit convincenti ma errati:

• P1 (RNG Cloning): L'uso di deepcopy sugli ambienti spesso clona il generatore di numeri casuali interno, causando rollout "casuali" che riproducono futuri identici. Ciò crea un falso senso di determinismo.
• P2 (Empirical Wasserstein Noise Floor): Per campioni finiti dalla stessa distribuzione, la distanza di Wasserstein empirica converge a un valore non nullo ($O(n^{-1/2})$). Una soglia ingenua può "confermare" il puro rumore come un trade-off di rischio. L'audit si calibra contro i null per stato per tenere conto di questo.

Risultati Chiave

1. I Claim Più Forti Sono Quasi Tutti Falsi

Su QR-DQN, C51 e IQN su MinAtar (Breakout, Seaquest, Asterix) e un QR-DQN pre-addestrato di SB3-zoo su full Atari:

• Tassi di Confutazione: Nei primi 2% dei ranking di rischio dell'agente stesso (gli stati che un professionista segnalerebbe per primi), il 40–95% dei trade-off di rischio dichiarati è confutato con una confidenza del 95%.
• Zero Conferme: Attraverso 735 stati auditati in MinAtar, essenzialmente nessun claim è confermabile dopo la correzione FDR.
• Indistinguibilità Cieca rispetto alla Verità: La posizione dei claim più forti è statisticamente indistinguibile da una testa "cieca rispetto alla verità" (dove le magnitudo dei claim sono preservate ma assegnate casualmente agli stati). La correlazione tra l'eccesso appreso e il vero eccesso è vicina allo zero ($r \approx 0,02$).

2. Natura Strutturale dell'Artefatto

• Formazione Precoce: L'artefatto dell'overclaiming è completamente formato a 500k passi di addestramento e persiste anche quando il punteggio dell'agente raddoppia.
• Idiosincrasia del Seed: I claim falsi specifici sono unici per ogni seed casuale e non correlati con la performance finale.
• Stati Condannati: Negli stati in cui la palla è irrecuperabilmente persa (ogni futuro produce lo stesso rendimento), la testa dell'agente riporta comunque distribuzioni ampie e incrociate con un alto $\Delta_x$.

3. Impatto a Livello Decisionale

Agire sul consiglio CVaR dell'agente nei suoi stati più segnalati produce risultati misti e imprevedibili:

• Breakout: Il consiglio è genuinamente informativo (81% di scelta più sicura rispetto al 44% per la media-greedy).
• Seaquest: Il consiglio è anti-predittivo, scegliendo l'azione realmente più sicura solo il 24–34% delle volte (peggio del caso), triplicando il regret rispetto all'ignorare il rischio.
• Asterix: Il consiglio è effettivamente un lancio di moneta.
• Non esiste alcun segnale osservabile per dire a un professionista in quale regime si trova.

4. Fallimento delle Riparazioni

I rimedi standard non risolvono il problema:

• Addestramento Sensibile al Rischio: Addestrare un agente per essere CVaR-greedy produce la stessa firma di overclaiming.
• Ensemble: La media delle funzioni quantile attenua l'artefatto ma non calibra i top claim.
• Ricalibrazione: La ricalibrazione supera l'audit solo annullando i claim (collassandoli nel rumore), dimostrando che la testa è non informativa, non semplicemente mal calibrata.

5. Controlli Positivi

Per garantire che l'audit stesso non sia rotto, gli autori hanno testato su RISKYGRID, un ambiente con trade-off di rischio noti.

• L'audit ha confermato correttamente il 96–100% dei reali claim con un'alta correlazione ($r \approx 0,92$).
• Ciò conferma che l'audit misura l'incapacità degli agenti di catturare il rischio, non un fallimento della metodologia di audit o dei piccoli effetti di dimensione in MinAtar.

Significato e Claim

Il paper conclude che per gli agenti testati (QR-DQN, C51, IQN), il "rischio" appreso riflette un artefatto strutturale dell'addestramento piuttosto che l'incertezza ambientale.

• La "Maledizione del Vincitore" del Rischio: Gli stati in cui l'agente è più fiducioso in un trade-off di rischio (massimo $\Delta_x$) sono precisamente dove i claim sono meno affidabili.
• Teste Non Informative: Le teste distribuzionali non sono solo mal calibrate; sono non informative riguardo alla struttura del rischio. Esse confondono l'incertezza aleatoria e quella epistemica in un modo che produce segnali di rischio spuri.
• Implicazioni per la Pratica:
  1. Interpretabilità: Le distribuzioni di rendimento visualizzate non dovrebbero essere fidate senza una validazione della verità fondamentale.
  2. Sicurezza e Controllo: Le politiche sensibili al rischio derivate dalle raw quantile heads potrebbero agire su rischi spuri in stati critici, portando potenzialmente a risultati peggiori rispetto alle basi mean-greedy.
  3. Lavoro Futuro: Qualsiasi metodo che dichiara di stimare l'incertezza o il rischio deve essere valutato contro un audit a livello decisionale. Gli autori rilasciano un toolkit e uno standard: una testa che passa l'audit deve confermare i suoi top claim.

Gli autori sottolineano la modestia: i loro claim coprono algoritmi e ambienti specifici (MinAtar, specifici seed di Atari). Riconoscono che altre varianti calibrate o agenti addestrati sotto diverse condizioni (ad esempio, azioni "sticky" a scala completa) devono ancora essere testati, ma l'evidenza attuale suggerisce che il "rischio" nel RL distribuzionale standard è in gran parte un artefatto del processo di apprendimento.