When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning

Sintesi Tecnica: Diagnosi dell'Apprendimento per Rinforzo Guidato da Esperto a Tempo di Query

Enunciato del Problema
Molti domini di controllo continuo (controllo industriale, locomozione, tracciamento di traiettorie) impiegano controllori competenti ma subottimali, come loop PID tarati, andature progettate manualmente o sistemi di Controllo Predittivo basato su Modello (MPC). Questi controllori spesso fungono da "pavimento" che gli agenti di Apprendimento per Rinforzo (RL) sono tenuti a superare. Tuttavia, la letteratura sull'RL guidato da esperto a tempo di query, in cui un agente può interrogare un controllore esperto preesistente durante l'addestramento, manca di un quadro di valutazione unificato. I metodi esistenti (ad es. IBRL, JSRL, Residual SAC) sono stati proposti in isolamento su diversi benchmark con qualità dell'esperto e budget di ottimizzazione degli iperparametri (HPO) variabili. Di conseguenza, i praticanti non hanno una chiara comprensione di quale meccanismo di integrazione estragga il massimo valore da un esperto, né comprendono le modalità di fallimento specifiche che sorgono quando gli esperti sono imperfetti (ad es. sottotarati, distorti o rumorosi).

Metodologia e Protocollo Sperimentale
Gli autori armonizzano il confronto di cinque metodi guidati da esperti (IBRL, due varianti di JSRL, Residual SAC e un nuovo metodo chiamato EDGE) su un'architettura di base SAC (Soft Actor-Critic) condivisa. Il protocollo di valutazione è rigoroso e standardizzato:

• Benchmark: Quattro task di controllo continuo: FourTank (tracciamento di setpoint MIMO), Plane3DCircle (tracciamento aereo 3D con fallimento catastrofico), GlassFurnace (controllo termico a lungo orizzonte) e CheetahRun (locomozione). Due di questi (Plane3DCircle e GlassFurnace) sono rilasciati come nuovi benchmark.
• Semi e Budget: 100 semi per i task di controllo e 50 per la locomozione, addestrati per 1 milione di step dell'ambiente.
• Qualità dell'Esperto: Una "scansione di degradazione" testa la robustezza contro sottotaratura dell'esperto, distorsione dell'azione e rumore nelle osservazioni.
• Metrica: Le prestazioni sono misurate utilizzando il Vantaggio Normalizzato rispetto all'Esperto (ENA), che normalizza i ritorni rispetto alle prestazioni dell'esperto e a un soffitto fisico teorico.

Principali Contributi

1. Un Benchmark con Protocollo Comune: Il documento stabilisce un confronto diretto tra metodi di RL guidati da esperto in condizioni identiche di HPO e valutazione, rivelando che nessun singolo metodo domina su tutte le strutture di task.
2. Tassonomia delle Modalità di Fallimento (F1–F3): Il confronto armonizzato evidenzia tre specifiche modalità di fallimento che le valutazioni su singoli documenti trascurano:
   • F1 (Punto Cieco del Critic): Nei metodi che utilizzano la selezione dell'azione argmax (come IBRL), il critic diventa "ancorato" all'azione dell'esperto sugli stati in cui l'esperto vince. Ciò impedisce al critic di ricevere nuovi target di Bellman per le azioni proprie della politica su quegli stati, causando un rendimento inferiore persino rispetto a una baseline SAC senza esperto quando l'esperto è molto forte (vicino al soffitto dell'RL).
   • F2 (Saturazione Residuale): I metodi di correzione additiva (Residual SAC) sono limitati dallo spazio delle azioni. Su task con esperti deboli, la correzione necessaria per superare gli errori strutturali dell'esperto supera questo limite, bloccando le prestazioni ben al di sotto di altri metodi. Al contrario, su esperti quasi ottimali, questo limite permette a Residual SAC di ereditare immediatamente le prestazioni dell'esperto.
   • F3 (Avvelenamento del Buffer di Avvio): I metodi che utilizzano un passaggio a tempo di addestramento (esecuzione dell'esperto per un periodo fisso di avvio prima di passare alla politica) soffrono quando l'esperto è imperfetto. Il buffer di replay raccolto durante l'avvio riflette lo stato specifico (potenzialmente difettoso) dell'esperto, e la politica non riesce a riprendersi quando viene distribuita su un sistema diverso o perturbato.
3. Regola di Decisione: Gli autori derivano una regola di decisione verificabile che mappa tre osservabili (qualità dell'esperto, terminazione del task e tipo di perturbazione attesa) su un metodo raccomandato. Ad esempio, se l'esperto è vicino al soffitto e non termina, si prevede che IBRL fallisca (F1); se l'esperto è debole e il task è terminante, si prevede che Residual SAC fallisca (F2).
4. EDGE (Esplorazione Guidata da Esperto): Il documento introduce EDGE, un nuovo metodo progettato per evitare le modalità di fallimento identificate. EDGE sostituisce il gate deterministico argmax con un meccanismo di miscelazione stocastica con pessimismo consapevole della qualità. Utilizza un ensemble di critic per calcolare un Limite Inferiore di Confidenza (LCB) e applica un gate softmax per selezionare probabilisticamente tra l'esperto e la politica. Crucialmente, arricchisce lo stato con lo stato interno del controllore dell'esperto (ad es. stato dell'integratore PID) per garantire che il critic abbia piena visibilità.

Risultati

• Nessun Metodo Dominante: Ogni metodo eccelle in un regime specifico ma fallisce prevedibilmente altrove. Ad esempio, Residual SAC pareggia per il primo posto su FourTank (esperto vicino al soffitto) ma crolla su Plane3DCircle (esperto debole). IBRL è superato da una SAC senza esperto su FourTank a causa di F1.
• Robustezza: Sotto perturbazioni dell'esperto (sottotaratura, distorsione, rumore), le classifiche pulite si invertono. I metodi che mantengono un fallback all'esperto a ogni step (JSRL-curriculum, EDGE) sono più robusti alla degradazione dell'esperto a tempo di addestramento, mentre Residual SAC è più robusto alla distorsione dell'azione a tempo di distribuzione grazie alla sua correzione limitata.
• Prestazioni di EDGE: EDGE è competitivo su tutti i task. Su Plane3DCircle, supera significativamente il campionamento di Thompson letterale e altre baseline, dimostrando che la combinazione di un gate stocastico e di un punteggio LCB è efficace.
• Il Muro "RL-Vicino al Soffitto": Su task in cui l'esperto è già molto vicino alle prestazioni di un agente RL senza esperto (ad es. FourTank al 98% del ritorno RL senza esperto), nessun metodo di esperto a tempo di query supera l'esperto entro il budget di 1 milione di step. Gli autori notano che ciò potrebbe essere un limite fondamentale o un effetto del budget, ma suggerisce che per esperti altamente competenti, il sovraccarico della miscelazione a tempo di query potrebbe non produrre guadagni entro gli orizzonti di addestramento standard.

Significato e Affermazioni
Il contributo principale del documento è il benchmark, la tassonomia e la regola di decisione, che forniscono ai praticanti un quadro per selezionare un metodo guidato da esperto in base alle caratteristiche specifiche del loro esperto e task. Gli autori affermano esplicitamente che EDGE è offerto come "sonda di progettazione" per dimostrare che gli assi identificati (forma del gate e regola di punteggio) sono individualmente sfruttabili, piuttosto che una pretesa di dominio SOTA (State-of-the-Art).

Il lavoro sottolinea che il meccanismo di integrazione è critico: un metodo che funziona bene con un esperto perfetto può fallire catastroficamente con uno leggermente imperfetto. Identificando F1, F2 e F3, il documento sposta il campo dalle proposte di metodi isolati a una comprensione sistematica di quando e perché l'RL guidato da esperto ha successo o fallisce. Gli autori concludono che per esperti che sono già vicini al soffitto fisico o dell'RL, la soluzione più pratica entro i budget attuali potrebbe essere distribuire direttamente l'esperto, poiché il guadagno marginale dall'integrazione RL è attualmente trascurabile.