A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

Riepilogo Tecnico: Una Formulazione della Media Armonica per l'Apprendimento per Rinforzo a Ricompensa Media in Processi Decisionali Semi-Markoviani

1. Enunciato del Problema

Il documento affronta la sfida di ottimizzare la ricompensa media non scontata nei Processi Decisionali Semi-Markoviani (SMDP) con orizzonti infiniti. A differenza dei Processi Decisionali di Markov (MDP) standard, dove le azioni richiedono un'unità di tempo fissa, gli SMDP coinvolgono azioni che generano stocasticamente sia ricompense che durate variabili (tempi di permanenza). L'obiettivo è massimizzare il tasso di ricompensa media (ricompensa per unità di tempo), piuttosto che la ricompensa totale accumulata.

Gli algoritmi esistenti privi di modello per questo contesto, in particolare SMART e Relaxed-SMART, soffrono di limitazioni critiche quando le ricompense e le durate sono non stazionarie o dipendenti:

• SMART si basa sulla media campionaria a lungo termine (ricompensa totale divisa per il tempo totale). Questo approccio è fragile; assume la stazionarietà e può essere dominato da valori anomali o fallire nell'adattarsi a cambiamenti di regime in ambienti non stazionari.
• Relaxed-SMART tenta di gestire la non stazionarietà utilizzando Medie Mobili Esponenziali (EMA) sia per le ricompense che per le durate, per poi calcolare il loro rapporto. Tuttavia, questo metodo approssima il tasso medio come il rapporto delle medie aritmetiche. Il documento dimostra che tale approssimazione è matematicamente corretta solo se le ricompense e le durate sono indipendenti. Quando sono correlate (relazione non lineare), il rapporto delle medie fornisce una stima errata del vero tasso medio.

2. Metodologia

Gli autori propongono un approccio innovativo basato sulla Media Armonica, che è l'operatore teoricamente corretto per la media dei tassi (ad esempio, velocità = distanza/tempo).

Limitazione della Media Armonica:
Sebbene la media armonica sia l'aggregazione corretta per i tassi, la definizione standard è inadatta all'Apprendimento per Rinforzo (RL) generale perché:

1. È indefinita per valori zero (divisione per zero).
2. Perde la proprietà di "internità" (la media che cade tra il minimo e il massimo) quando i valori hanno segni misti (ricompense positive e negative).

L'Operatore di Media Armonica Modificata ($\mathcal{H}$):
Per superare queste limitazioni, gli autori introducono un Operatore di Media Armonica Modificata ($\mathcal{H}$). Questo operatore:

• Partiziona i dati in tre insiemi: ricompense positive ($X_+$), ricompense negative ($X_-$) e ricompense nulle ($X_0$).
• Calcola la media armonica standard separatamente per i sottoinsiemi positivi e negativi.
• Calcola una media aritmetica ponderata di questi risultati, trattando i valori zero come aventi un valore di 0.
• Proprietà Teoriche: Gli autori dimostrano che $\mathcal{H}$ è una media generale (soddisfa internità, idempotenza, simmetria e monotonia) e generalizza la media armonica standard laddove quest'ultima è definita. Tuttavia, dimostrano che non è una media quasi-aritmetica, distinguendola dalla classe che contiene le medie aritmetiche, geometriche e armoniche standard.

Algoritmo di Apprendimento $R$ Armonico:
Gli autori integrano $\mathcal{H}$ in un algoritmo di RL privo di modello chiamato Apprendimento $R$ Armonico.

• Segue le regole di aggiornamento strutturali dell'$R$-Learning e di SMART (aggiornando i valori $Q$ in base alla ricompensa marginale rispetto al tasso medio).
• Invece di aggiornare il tasso medio $\rho$ utilizzando una semplice EMA aritmetica o un rapporto di EMA, mantiene una Media Mobile Esponenziale Armonica.
• L'algoritmo traccia i reciproci dei tassi ($r/\tau$) per le ricompense positive e negative separatamente, mantenendo medie mobili esponenziali di questi reciproci e dei loro pesi associati, per poi invertirli per calcolare la stima corrente di $\rho$.

3. Contributi Chiave

1. Analisi Teorica degli Algoritmi Esistenti: Il documento dimostra formalmente (tramite il Teorema 1) che il rapporto delle medie aritmetiche (utilizzato da Relaxed-SMART) è uguale alla media armonica solo se la covarianza tra le ricompense e il rapporto tempo-ricompensa è zero. In contesti non stazionari o dipendenti, ciò porta a una stima errata del tasso.
2. Nuovo Operatore: L'introduzione dell'Operatore di Media Armonica Modificata ($\mathcal{H}$), che è robusto a ricompense nulle e a segni misti, mantenendo al contempo la correttezza matematica richiesta per la media dei tassi.
3. Generalizzazione Algoritmica: Lo sviluppo dell'Apprendimento $R$ Armonico, un algoritmo privo di modello che generalizza le varianti esistenti di $R$-Learning agli SMDP senza le assunzioni di stazionarietà o indipendenza di SMART e Relaxed-SMART.
4. Dimostrazioni Assiomatiche: Dimostrazioni che stabiliscono che $\mathcal{H}$ è una media generale ma non una media quasi-aritmetica, chiarificando la sua posizione matematica rispetto alle medie tradizionali.

4. Risultati Empirici

Gli autori hanno valutato l'Apprendimento $R$ Armonico rispetto a SMART e Relaxed-SMART in due domini:

• SMDP Sintetico a Due Stati:

  • Configurazione: Un compito continuo con due azioni. L'azione A aveva ricompense e durate indipendenti. L'azione B aveva ricompense e durate dipendenti e non stazionarie (utilizzando funzioni seno/coseno in deriva con scalatura logaritmica).
  • Risultato: In contesti in cui la dipendenza tra ricompensa e durata rendeva difficile rilevare l'azione ottimale "vera" (Azione B) entro l'orizzonte di apprendimento, SMART e Relaxed-SMART fallivano (scendendo al 0% di successo in contesti più difficili). L'Apprendimento $R$ Armonico ha mantenuto un alto tasso di successo su tutte le combinazioni di parametri, dimostrando una superiora robustezza alla non stazionarietà e alla dipendenza.

• Trading di Bitcoin (Dati Reali):

  • Configurazione: Un ambiente ad alta volatilità e non stazionario utilizzando dati sui prezzi del Bitcoin a livello di minuto (2012–2025). Il compito prevedeva l'acquisto/vendita con durate delle azioni stocastiche (5–45 secondi). Sono state testate due versioni: una con durate casuali (indipendenti) e una in cui la durata era scalata dall'entità della ricompensa (dipendente).
  • Risultato:
    • Nella versione indipendente, tutti gli algoritmi hanno performato in modo simile, come previsto dalla teoria.
    • Nella versione dipendente (dove l'entità della ricompensa influenzava la durata), l'Apprendimento $R$ Armonico ha superato significativamente sia SMART che Relaxed-SMART, ottenendo un rapporto di vittorie più elevato su 21 segmenti di dati. Ciò conferma l'affermazione teorica secondo cui l'approssimazione del rapporto delle medie fallisce quando le ricompense e le durate sono accoppiate.

5. Significato e Affermazioni

Il documento afferma che l'Apprendimento $R$ Armonico fornisce una correzione necessaria per l'RL a ricompensa media negli SMDP dove le distribuzioni di ricompensa e durata sono non stazionarie o dipendenti.

• Sostiene che i metodi precedenti (SMART/Relaxed-SMART) sono fondamentalmente difettosi in queste condizioni specifiche perché si basano su approssimazioni aritmetiche che ignorano l'accoppiamento tra l'entità della ricompensa e il tempo.
• L'operatore di media armonica modificata è presentato come lo strumento matematicamente corretto per la media dei tassi nell'RL, estendendo l'applicabilità dell'$R$-Learning a scenari complessi e reali come il trading finanziario, dove tali dipendenze sono comuni.
• Il lavoro si posiziona come un miglioramento teorico ed empirico rispetto allo stato dell'arte per l'ottimizzazione della ricompensa media priva di modello in contesti semi-markoviani, affrontando specificamente le lacune "non stazionarie" e "dipendenti" nella letteratura attuale.