🤖 machine learning

Performance Variation in Deep Reinforcement Learning

Questo articolo affronta la sfida della bassa robustezza run-to-run nel deep reinforcement learning criticando le stime convenzionali dell'incertezza e proponendo strumenti basati sui percentili (min-max IPR e run-wise percentile highlighting) per caratterizzare meglio la variazione delle prestazioni, i quali vengono poi utilizzati per dimostrare come specifiche scelte architettoniche e design algoritmici influenzino diversamente la stabilità attraverso varianti di PPO, SAC, TD-MPC e DQN.

Autori originali: Haruto Tanaka, A. Rupam Mahmood

Pubblicato 2026-06-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haruto Tanaka, A. Rupam Mahmood

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un allenatore che addestra una squadra di atleti (gli algoritmi AI) a percorrere un percorso a ostacoli specifico (il videogioco o il compito del robot). Dici loro: "Correte questo percorso 100 volte, e poi vi dirò quanto siete bravi".

Nel mondo del Deep Reinforcement Learning (RL), c'è un problema frustrante: anche se dai le stesse identiche istruzioni a 100 atleti identici, i loro risultati possono essere drasticamente diversi. Uno potrebbe correre una gara perfetta, mentre un altro inciampa sui propri piedi. Questo è chiamato variazione delle prestazioni (performance variation).

Questo articolo sostiene che gli scienziati abbiano usato gli strumenti sbagliati per misurare questa inconsistenza e propone due nuovi strumenti, più semplici, per vedere cosa sta realmente accadendo.

Il Problema: La Bugia della "Media"

Per molto tempo, i ricercatori hanno cercato di misurare quanto un algoritmo sia costante osservando il risultato medio e tracciando una "banda ombreggiata" attorno ad esso (come un margine di errore).

Gli autori affermano che questo è come guardare una previsione meteorologica che dice: "La temperatura media questa settimana è di 21°C", con una piccola banda ombreggiata. Sembra carino, ma nasconde il fatto che lunedì facevano -2°C e venerdì 38°C.

Il Difetto: Queste "bande ombreggiate" (incertezza statistica) si restringono man mano che si eseguono più esperimenti, facendo apparire l'algoritmo più costante di quanto non sia in realtà. Inoltre, non riescono a catturare gli "outlier" (i casi isolati): le corse in cui l'IA fallisce completamente.
L'Analogia: Immagina un bersaglio. Se lanci 100 freccette, e 90 colpiscono il centro ma 10 colpiscono il soffitto, la "media" potrebbe sembrare ottima. Ma se sei un ispettore della sicurezza, ti interessano quelle 10 freccette che hanno colpito il soffitto. I vecchi metodi ignorano gli impatti sul soffitto.

La Soluzione: Due Nuovi Strumenti

Gli autori propongono due nuovi modi per visualizzare e misurare questo caos:

1. Il "Min-Max IPR-90" (La Rete di Sicurezza al 90%)

Invece di guardare la media, questo strumento osserva il centro del 90% dei risultati.

Come funziona: Immagina di mettere in fila tutti i 100 atleti dal peggiore al migliore. Elimini il 5% peggiore (i disastri totali) e il 5% migliore (i miracoli fortunati). Calcoli quindi la distanza tra il peggiore dei corridori "buoni" e il migliore dei corridori "buoni".
Perché è migliore: Questo numero ti dice la "dispersione" delle prestazioni. Un numero piccolo significa che gli atleti corrono tutti a una velocità simile. Un numero enorme significa che la squadra è imprevedibile. È una percentuale semplice che non viene ingannata da trucchi matematici strani.

2. RPH (Run-Wise Percentile Highlighting) (Il "Video delle Luci Spettacolari")

Invece di disegnare una nuvola disordinata di linee o una banda ombreggiata, questo metodo evidenzia solo tre linee specifiche su un grafico:

Il 5° percentile (il "peggiore" delle corse affidabili).
Il 50° percentile (la "mediana" o la corsa tipica).
Il 95° percentile (il "migliore" delle corse affidabili).
Il Visual: Immagina una pista da corsa. Invece di mostrare il percorso di ogni singolo corridore come una sfocata macchia grigia, evidenzi il corridore più lento tra quelli affidabili, il corridore medio e il corridore più veloce tra quelli affidabili con colori vivaci. Vedi istantaneamente quanto è ampio il divario tra loro. Se il divario è enorme, l'algoritmo è instabile.

Cosa Hanno Scoperto (I Casi di Studio)

Gli autori hanno testato questi nuovi strumenti su tre diversi scenari per vedere cosa avrebbero rivelato:

1. L'Esperimento della "Normalizzazione" (Riparare il Motore)
Hanno provato ad aggiungere la "LayerNorm" (una tecnica per stabilizzare la matematica interna dell'IA) a due algoritmi popolari: PPO e SAC.

Il Risultato: Per PPO, i nuovi strumenti hanno mostrato che l'aggiunta di questi stabilizzatori ha reso i corridori molto più costanti (il divario tra il 5° e il 95° percentile si è ristretto). Per SAC, gli strumenti hanno mostrato che gli stabilizzatori non hanno fatto quasi nulla; i corridori erano ancora tutti sparsi ovunque.
La Conclusione: Ciò che funziona per un motore non necessariamente risolve il problema dell'altro.

2. Il Confronto tra "Superstar" (PPO, SAC, TD-MPC, TD-MPC2)
Hanno confrontato quattro diversi algoritmi su 48 compiti robotici differenti.

Il Risultato: Un algoritmo, TD-MPC, è stato il chiaro vincitore. Non si è limitato a vincere la gara (ottenendo punteggi alti); era anche il più costante. La sua "dispersione" era minuscola. Gli altri erano o più lenti o molto imprevedibili.
La Conclusione: Anche la migliore IA moderna ha ancora un alto "tasso di fallimento" (circa il 35% delle volte, il top 5% delle corse non riesce comunque a raggiungere un punteggio decente), ma TD-MPC era il più affidabile di tutti.

3. Lo Scontro "Atari" (DQN vs. Rainbow)
Hanno confrontato due algoritmi classici che giocano a videogiochi d'epoca (come BattleZone e Qbert*).

Il Risultato: Rainbow era molto più bravo a vincere rispetto a DQN. Tuttavia, i nuovi strumenti hanno rivelato una sorpresa: entrambi gli algoritmi erano altrettanto "nervosi" e imprevedibili l'uno dell'altro. Rainbow era solo un vincitore "nervoso", mentre DQN era un perdente "nervoso".
La Conclusione: Vincere più spesso non significa essere più stabili.

Il Punto Fondamentale

L'articolo conclude che dobbiamo smettere di nasconderci dietro ai numeri "medi" e alle "bande ombreggiate" che fanno apparire l'IA più stabile di quanto non sia. Utilizzando il Min-Max IPR-90 (per misurare la dispersione) e l'RPH (per visualizzare le corse migliori/peggiori affidabili), i ricercatori possono finalmente vedere la vera "fragilità" della loro IA.

È come passare da un rapporto meteorologico che fornisce solo una temperatura media a un rapporto che mostra chiaramente: "Potrebbe essere una giornata perfetta, o potrebbe essere un disastro. Ecco l'intervallo di ciò che puoi aspettarti".

Sintesi Tecnica: Variazione delle Prestazioni nel Deep Reinforcement Learning

Definizione del Problema

Gli algoritmi di Deep Reinforcement Learning (RL) sono noti per la loro capacità di apprendere comportamenti complessi, ma sono notoriamente soggetti a una sensibilità delle prestazioni di tipo "lotteria" tra diverse esecuzioni indipendenti di agenti con configurazioni identiche. Questa variazione delle prestazioni tra le varie esecuzioni ostacola il rigore scientifico, complicando la riproducibilità dei risultati, il confronto equo tra algoritmi e la sintonizzazione degli iperparametri. Inoltre, nelle applicazioni pratiche, tale variabilità pone rischi per la sicurezza, poiché comportamenti inefficaci possono verificarsi in modo imprevedibile.

Nonostante l'importanza di questo problema, gli studi empirici sul deep RL spesso trascurano la variazione delle prestazioni a favore di metriche di prestazione aggregate. Le attuali pratiche di valutazione si affidano pesantemente a:

Stime di incertezza (ad esempio, intervalli di confidenza tramite bootstrap dell'Interquartile Mean, errore standard), che misurano la discrepanza tra le statistiche campionarie e i veri parametri della popolazione piuttosto che la dispersione della distribuzione delle prestazioni stessa. Queste metriche svaniscono all'aumentare del numero di esecuzioni ( $O(1/\sqrt{n})$ ), fallendo nel catturare la variabilità intrinseca dei dati.
Deviazione standard, che assume una distribuzione Gaussiana. Tuttavia, le distribuzioni delle prestazioni nel deep RL sono frequentemente non-Gaussiane (asimmetriche o bimodali), portando a una "sottostima" del rischio laddove la deviazione standard non riesce a coprire porzioni significative della distribuzione, come le esecuzioni fallite o le code pesanti.

I metodi rigorosi esistenti come gli Intervalli di Tolleranza (TI) o i Profili di Prestazione sono spesso computazionalmente costosi o difficili da interpretare per l'analisi di un singolo compito. È necessario disporre di strumenti di valutazione che catturino accuratamente la variazione delle prestazioni di un singolo compito, pur rimanendo interpretabili e scalabili.

Metodologia

Gli autori propongono una suite di metodi di quantificazione e visualizzazione progettati per bilanciare accuratezza e interpretabilità:

1. Min-Max IPR-90 (Quantificazione)

Il documento introduce l'Inter-Percentile Range (IPR) Min-Max dal 5° al 95° percentile, normalizzato rispetto al range min-max teorico o empirico del compito.

Definizione: $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$ , dove $U(x)$ è il $x$ -esimo percentile dell'insieme delle prestazioni, e $M_T, m_T$ sono il massimo e il minimo possibili rendimenti del compito.
Razionale: A differenza della deviazione standard, i percentili non assumono una specifica distribuzione dei dati. Il range 5°-95° (copertura del 90%) è scelto per valutare il rischio (catturando la dispersione della maggior parte delle esecuzioni) evitando al contempo l'estrema sensibilità agli outlier che il range completo (0-100%) introdurrebbe.
Normalizzazione: La normalizzazione min-max consente il confronto diretto della variazione tra diversi algoritmi e compiti con diverse scale di ricompensa.

2. Run-wise Percentile Highlighting (RPH) (Visualizzazione)

Per visualizzare le curve di apprendimento senza i rischi di rappresentazione errata dell'aggregazione temporale (ad esempio, bande di media $\pm$ deviazione standard), gli autori propongono il Run-wise Percentile Highlighting.

Tecnica: Invece di aggregare le statistiche ad ogni timestep, l'RPH evidenzia le specifiche curve di apprendimento corrispondenti al 5°, 50° (mediana) e 95° percentile delle prestazioni finali.
Implementazione: Le curve del 5° e del 95° percentile sono evidenziate (ad esempio, con linee tratteggiate) per enfatizzare l'inviluppo della variazione, mentre il 50° percentile rappresenta la tendenza centrale. Le altre curve sono renderizzate con trasparenza.
Vantaggio: Questo preserva la forma delle singole curve di apprendimento ed evita l' "sottostima" della variazione comune nelle bande di errore ombreggiate. È computazionalmente più semplice e più interpretabile dei Functional Boxplots (FB).

Contributi Chiave e Casi di Studio

Il documento valida questi metodi attraverso tre casi di studio utilizzando 100 esecuzioni indipendenti per compito:

Caso di Studio 1: Effetto della Normalizzazione su PPO e SAC

Gli autori hanno analizzato l'impatto di LayerNorm e della normalizzazione dello strato penultimo (PNorm) su PPO e SAC.

Risultati: In PPO, l'applicazione di queste tecniche di normalizzazione (singolarmente o congiuntamente) ha ridotto significativamente la variazione delle prestazioni (riducendo il Min-Max IPR-90) e spesso ha migliorato la prestazione mediana. Al contrario, per SAC, queste modifiche generalmente hanno lasciato invariata la variazione delle prestazioni o l'hanno aumentata.
Implicazione: I benefici della normalizzazione sono specifici per l'algoritmo; ciò che stabilizza PPO non necessariamente stabilizza SAC.

Caso di Studio 2: Confronto tra Algoritmi di Controllo Continuo (PPO, SAC, TD-MPC, TD-MPC2)

È stato condotto un confronto sistematico su 48 compiti della DeepMind Control Suite (DMC).

Risultati: TD-MPC e TD-MPC2 hanno dimostrato prestazioni superiori in tutte le metriche (media, mediana, 5°/95° percentile) rispetto a PPO e SAC. Fondamentalmente, TD-MPC ha esibito la minore variazione delle prestazioni (Min-Max IPR-90 medio $\approx$ 10%) mantenendo un'alta efficienza dei dati.
Osservazione: Nonostante il basso valore di variazione di TD-MPC, un IPR-90 medio del 10% rimane significativamente più alto del $\approx$ 2% osservato nei baseline di apprendimento supervisionato, indicando che il deep RL fatica ancora a ottenere prestazioni costanti a bassa variazione.

Caso di Studio 3: Confronto tra Algoritmi di Controllo Discreto (DQN vs. Rainbow)

Lo studio ha confrontato DQN e Rainbow su cinque ambienti Atari (ALE).

Risultati: Rainbow ha superato significativamente DQN in termini di mediana e prestazioni percentili. Tuttavia, entrambi gli algoritmi hanno mostrato livelli di variazione delle prestazioni simili e alti (Min-Max IPR-90 $\approx$ 14–23%).
Implicazione: Sebbene Rainbow migliori la prestazione aggregata rispetto a DQN, non risolve il problema fondamentale dell'elevata variabilità tra le esecuzioni.

Significato e Rivendicazioni

Il documento sostiene che Min-Max IPR-90 e RPH forniscano un cambiamento necessario nel modo in cui vengono valutate le prestazioni del deep RL:

Correzione del Disallineamento: Correggono l'uso improprio delle stime di incertezza (come gli intervalli di confidenza) come proxy della variazione.
Robustezza: Basandosi sui percentili anziché su assunzioni parametriche (come la Gaussianità), questi metodi forniscono un riepilogo più accurato della dispersione delle prestazioni, in particolare per le distribuzioni non-Gaussiane comuni nel RL.
Interpretabilità: L'RPH offre una chiara rappresentazione visiva del comportamento tra le esecuzioni che è più facile da interpretare rispetto ai Functional Boxplots e più informativa delle classiche bande di errore.
Insight Pratici: Gli strumenti proposti rivelano che i miglioramenti algoritmici (ad esempio, in TD-MPC o Rainbow) non equivalgono automaticamente a una riduzione della variazione, evidenziando che la "robustezza" rimane un obiettivo distinto e impegnativo nella ricerca sul deep RL.

Gli autori concludono che, sebbene questi metodi siano efficaci, dovrebbero essere utilizzati insieme ad altri strumenti statistici per fornire insight complementari, poiché affidarsi a una singola statistica può comunque essere fuorviante. Il lavoro mira ad aiutare la ricerca futura fornendo un framework più rigoroso per valutare l'affidabilità e la robustezza degli agenti di deep RL.