Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

Riepilogo Tecnico: Clonazione Comportamentale Ponderata dal Rapporto di Densità

Enunciato del Problema
L'apprendimento per rinforzo (RL) offline consente l'ottimizzazione delle politiche a partire da dataset fissi, offrendo una soluzione critica per domini ad alta sicurezza come i veicoli autonomi e la robotica industriale, dove l'esplorazione online non è fattibile. Tuttavia, i dataset reali sono frequentemente compromessi da avvelenamento dei dati derivante da guasti dei sensori, attacchi cibernetico-fisici, errori di annotazione o manipolazioni avversariali. Gli algoritmi standard di Clonazione Comportamentale (BC) e di RL offline trattano implicitamente tutte le traiettorie come ugualmente affidabili, mescolando campioni puliti e corrotti durante l'ottimizzazione. Ciò porta a prestazioni degradate della politica, instabilità o violazioni della sicurezza, in particolare sotto avvelenamento da moderato a grave, dove anomalie sottili possono interrompere compiti di controllo come il tracciamento di traiettorie. Gli studi esistenti sulla robustezza si concentrano spesso su canali di corruzione specifici o assumono distribuzioni di miscela note, lasciando un vuoto nella gestione di meccanismi di contaminazione arbitrari e sconosciuti nei dataset di controllo offline.

Metodologia
Il documento propone la Clonazione Comportamentale Ponderata dal Rapporto di Densità (Weighted BC), un framework di apprendimento per imitazione robusto progettato per apprendere da dataset offline contaminati senza conoscenza preliminare del meccanismo di corruzione. La metodologia fondamentale si basa su tre fasi:

1. Utilizzo di un Set di Riferimento: L'approccio presuppone l'accesso a un piccolo set di riferimento ($D_{ref}$) verificato e disgiunto di traiettorie di esperti pulite, distinto dal dataset principale potenzialmente contaminato ($D$).
2. Stima del Rapporto di Densità Basata su Discriminatore: Un discriminatore binario $d_\phi$ viene addestrato per distinguere tra traiettorie provenienti dal set di riferimento pulito (classe 1) e il dataset principale contaminato (classe 0). Il discriminatore minimizza una perdita di entropia incrociata binaria. Sotto campionamento bilanciato, il rapporto di densità $r(\tau) = p_{clean}(\tau)/p(\tau)$ viene recuperato come $d_\phi(\tau) / (1 - d_\phi(\tau))$.
3. Obiettivo Ponderato: Questi rapporti stimati vengono troncati in un intervallo deterministico $[\epsilon, C]$ per garantire la stabilità numerica e utilizzati come pesi nell'obiettivo della Clonazione Comportamentale. La perdita empirica diventa:
   $$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$$
   dove $w_i = \text{clip}(r(\tau_i), \epsilon, C)$. Questo schema di ponderazione dà priorità alle traiettorie che assomigliano al comportamento dell'esperto pulito, riducendo il peso o scartando segmenti anomali.

Il metodo è stato valutato contro quattro protocolli specifici di avvelenamento applicati a benchmark di controllo continuo:

• Avvelenamento della Ricompensa: Inversione delle ricompense positive per penalizzare il buon comportamento.
• Avvelenamento dello Stato: Aggiunta di rumore gaussiano agli stati per simulare guasti dei sensori.
• Avvelenamento della Transizione: Mescolamento delle osservazioni dello stato successivo per interrompere le connessioni causali.
• Avvelenamento dell'Azione: Perturbazione delle azioni con rumore gaussiano.

Contributi Chiave
Il documento apporta tre contributi principali:

1. Proposta Algoritmica: Introduce la Weighted BC, che utilizza piccoli set di riferimento verificati per identificare e ridurre il peso delle traiettorie corrotte tramite ponderazione basata su discriminatore. Ciò consente un apprendimento robusto della politica senza richiedere la conoscenza del meccanismo specifico di corruzione.
2. Fondamenti Teorici: Gli autori stabiliscono garanzie teoriche, inclusi limiti di approssimazione del rischio pulito uniforme e garanzie di eccesso di rischio pulito per la politica appresa. Crucialmente, questi limiti sono mostrati indipendenti dal tasso di contaminazione ($\alpha$) sotto opportune soglie di troncamento, separando errori di campione finito, errori del discriminatore e bias di troncamento.
3. Framework di Valutazione: È stato stabilito un framework di valutazione completo, incorporando vari scenari di avvelenamento (azione, stato, transizione e ricompensa) su benchmark di controllo continuo (D4RL), colmando un vuoto nella letteratura esistente che spesso assume tipi specifici di corruzione.

Risultati
Gli esperimenti sono stati condotti sui benchmark D4RL (HalfCheetah, Ant, Hopper, Walker2d) con livelli di contaminazione che vanno dal 20% al 100% ($\alpha \in \{0.2, \dots, 1.0\}$). La Weighted BC è stata confrontata con BC Tradizionale, Batch-Constrained Q-learning (BCQ) e Behavior Regularized Actor-Critic (BRAC).

• Robustezza: La Weighted BC ha mantenuto prestazioni quasi ottimali anche ad alti rapporti di contaminazione ($\alpha \ge 0.8$), mentre le linee di base hanno subito un degrado significativo.
• Avvelenamento dell'Azione: In questo scenario, le linee di base sono collassate (ad esempio, la BC Tradizionale è degradata a ~2.500 di ritorno contro una Weighted BC che mantiene >10.000 in HalfCheetah a $\alpha=1.0$). Il discriminatore ha identificato con successo le traiettorie con azioni corrotte come deviazioni dal manifold comportamentale.
• Avvelenamento dello Stato e della Transizione: La Weighted BC ha mostrato stabilità coerente, mentre i vincoli basati su VAE di BCQ hanno fallito nel modellare dinamiche corrotte, e BRAC ha mostrato instabilità sotto corruzione dello stato.
• Avvelenamento della Ricompensa: Poiché la BC si basa su coppie stato-azione piuttosto che su segnali di ricompensa, la Weighted BC ha mantenuto l'80-90% delle prestazioni della linea di base, mentre BRAC ha fallito in diversi ambienti.
• Ritenzione: La Weighted BC ha mantenuto oltre l'80% delle prestazioni pulite fino al 60% di contaminazione per tutti i tipi di avvelenamento, superando significativamente il degrado lineare osservato nella BC Tradizionale.

Significato e Affermazioni
Il documento afferma che la Weighted BC fornisce una soluzione robusta per l'RL offline in presenza di avvelenamento arbitrario dei dati, un requisito critico per il deployment di controller basati sull'apprendimento in sistemi ad alta sicurezza. Sfruttando un piccolo set di riferimento verificato, il metodo filtra efficacemente i dati corrotti senza necessità di modellare la natura specifica dell'attacco. L'analisi teorica conferma che l'approccio converge alla politica dell'esperto pulito con limiti di campione finito che non dipendono dalla gravità della contaminazione. Sperimentalmente, il metodo dimostra una resilienza superiore rispetto agli algoritmi di RL offline all'avanguardia, in particolare in regimi ad alta contaminazione dove i metodi standard falliscono. Il lavoro sottolinea che la valutazione a livello di traiettoria è essenziale per catturare la coerenza temporale e le anomalie rilevanti per il controllo, distinguendosi dai metodi che affrontano solo artefatti isolati stato-azione.