Generalization in offline RL: The structure is more important than the amount of pessimism

Titolo: La generalizzazione nell'RL offline: la struttura è più importante dell'entità del pessimismo

Problema
L'Apprendimento per Rinforzo (RL) offline mira a apprendere politiche ottimali da dataset fissi e statici senza ulteriore interazione con l'ambiente. Per mitigare il bias di sovrastima sulle azioni fuori distribuzione (OOD), la maggior parte dei metodi allo stato dell'arte impiega l'apprendimento di valori pessimistici o la conservatività. Tuttavia, la letteratura recente suggerisce che essere eccessivamente conservativi può ostacolare la generalizzazione a nuovi scenari o impedire il "trajectory stitching". Sebbene alcuni approcci sostengano una conservatività "moderata" per migliorare la generalizzazione, rimane poco chiaro se il grado di pessimismo o le proprietà strutturali della funzione di valore pessimistica siano il determinante primario delle prestazioni del trasferimento di politica zero-shot (ZSPT). Nello specifico, in ambienti con simmetrie sottostanti (ad esempio, invarianza rotazionale), non è noto se una funzione di valore altamente pessimista ma simmetrica generalizzi meglio di una funzione debolmente pessimista ma asimmetrica.

Metodologia
Gli autori indagano questa questione attraverso una combinazione di analisi teorica e validazione empirica nel contesto dei CMDP (Processi Decisionali di Markov Contestuali) all'interno del framework di Generalizzazione tramite Invarianza ZSPT (GTI-ZSPT).

1. Framework Teorico:

   • Gli autori formalizzano la generalizzazione come la capacità di un agente di apprendere il gruppo di simmetria $G$ corretto della soluzione ottimale, nonostante osservi solo un sottogruppo $B \leq G$ nei dati di addestramento.
   • Utilizzano la distillazione del Q-value come proxy per i meccanismi di RL offline. Questo isola l'effetto dell'apprendimento di una specifica funzione di valore pessimistica dalle complessità dell'algoritmo di RL.
   • L'analisi assume un limite di rete neurale a larghezza infinita, sfruttando il Neural Tangent Kernel (NTK) e i risultati di Gerken & Kessel (2024) riguardanti l'equi-varianza degli ensemble profondi.
   • Vengono dimostrati due teoremi chiave:
     • Teorema 1: Se una funzione di valore pessimistica rispetta il gruppo di simmetria $B$ dei dati di addestramento, l'agente può raggiungere prestazioni di generalizzazione ottimali nell'ambiente di test, indipendentemente da quanto sia grande il livello di pessimismo ($\eta_{max}$).
     • Teorema 2: Al contrario, esistono istanze in cui una funzione di valore debolmente pessimista che viola la struttura di simmetria ($\hat{Q}_{asym}$) è garantita per generalizzare arbitrariamente peggio di una funzione di valore altamente pessimista ma simmetrica ($\hat{Q}_{sym}$).

2. Validazione Empirica:

   • Ambiente: Un ambiente di controllo continuo "Rotational Reacher" con simmetria rotazionale. I contesti di addestramento coprono un sottogruppo $C_4$ (rotazioni di 90°), mentre il test copre l'intero gruppo $SO(2)$.
   • Algoritmi: Lo studio valuta l'Implicit Q-Learning (IQL) e il Conservative Q-Learning (CQL).
   • Strategie di Data Augmentation (DA): Il documento confronta la standard DA (addestramento su dataset aumentati) con la regolarizzazione della Coerenza di Augmentation dei Dati (DAC). La DAC impone la simmetria aggiungendo un termine di perdita che minimizza la differenza tra gli output della rete (o delle rappresentazioni latenti) per input originali e aumentati.
   • Ipotesi: Gli autori sostengono che la DAC sia superiore per l'RL offline perché impone esplicitamente la struttura (simmetria) della funzione di valore/politica, dando priorità alla simmetria rispetto all'accuratezza delle stime del valore, il che si allinea ai loro risultati teorici.

Contributi Chiave

• Insight Teorico: Il documento stabilisce che la struttura del pessimismo è più critica dell' entità del pessimismo per la generalizzazione. Dimostra che una generalizzazione ottimale è raggiungibile con un pessimismo arbitrariamente elevato, purché la funzione di valore rispetti le simmetrie dell'ambiente.
• Risultato Controintuitivo: Dimostra che un pessimismo moderato non è una garanzia di migliore generalizzazione; se il pessimismo moderato viola le simmetrie richieste, le prestazioni possono essere arbitrariamente scarse rispetto a un'alternativa simmetrica altamente pessimista.
• Proposta Metodologica: Gli autori propongono di applicare l'augmentation dei dati tramite una perdita di coerenza durante l'estrazione della politica (specificamente per l'attore in IQL) piuttosto che alla pratica standard di addestrare su dataset aumentati. Questo approccio impone direttamente la struttura simmetrica della politica/funzione di valore.
• Evidenza Empirica: Gli esperimenti su IQL e CQL mostrano che la DAC-Output (imporre la coerenza sull'output della rete) ottiene le migliori prestazioni di test, superando sia i baseline senza augmentation sia l'addestramento con augmentation standard (Aug-D).

Risultati

• Distillazione del Q-Value: Nella validazione teorica utilizzando il Rotational Reacher, un target pessimista simmetrico ($\hat{Q}^*_{sym}$) ha mantenuto prestazioni di test quasi ottimali anche all'aumentare del pessimismo di un ordine di grandezza. Al contrario, un target asimmetrico ($\hat{Q}^*_{asym}$) ha visto le prestazioni di test degradare significativamente all'aumentare del pessimismo.
• Esperimenti di RL Offline:
  • Per entrambi IQL e CQL, l'applicazione di DAC-Output ha costantemente ottenuto i rendimenti di test più elevati attraverso dataset esperti, misti e subottimali.
  • La standard data augmentation (Aug-D) ha migliorato rispetto al caso senza augmentation, ma generalmente è stata inferiore o uguale ai metodi di perdita di coerenza.
  • Applicare la DA solo al critico (senza l'attore) in IQL non ha mostrato miglioramenti rispetto al baseline, confermando che imporre la simmetria sulla componente di estrazione della politica è cruciale.

Significatività e Rivendicazioni
Il documento sostiene che l'intuizione prevalente — ovvero che ridurre la conservatività sia necessario per la generalizzazione — è incompleta. Invece, gli autori argomentano che imporre le corrette simmetrie strutturali è il driver primario di un successo del trasferimento zero-shot nell'RL offline.

La significatività di questo lavoro risiede nello spostare il focus da "quanto dovremmo essere conservativi?" a "la nostra conservatività rispetta le simmetrie dell'ambiente?". Gli autori sostengono che nell'RL offline, dove la copertura del dataset può indurre bias non simmetrici, tecniche come la Data Augmentation Consistency (DAC) sono essenziali. Dando priorità alla simmetria rispetto all'accuratezza del valore durante l'estrazione della politica, la DAC permette agli agenti di generalizzare in modo ottimale anche quando la funzione di valore sottostante è altamente pessimista. Ciò sfida la pratica standard di utilizzare l'augmentation dei dati semplicemente per aumentare la dimensione del dataset per l'addestramento regolare, suggerendo invece che debba essere usata come regolarizzatore per imporre l'invarianza strutturale.

Limitazioni
Gli autori riconoscono alcune limitazioni:

• Le prove teoriche si basano sul limite di larghezza infinita delle reti neurali, sebbene i risultati empirici su reti a larghezza finita supportino la teoria.
• L'analisi si concentra sulle simmetrie di gruppo intrinseche coerenti con la distribuzione dei dati. Non è ancora provato se queste conclusioni valgano per trasformazioni estrinseche o inconsistenti (ad esempio, rumore casuale) utilizzate esclusivamente per la regolarizzazione.
• Le scoperte sono attualmente validate sul compito Rotational Reacher e su due algoritmi specifici (IQL, CQL); è necessaria una validazione più ampia su ambienti e algoritmi complessi.