Riepilogo Tecnico: Dividi le Differenze, Poola il Resto

Enunciato del Problema

Questo lavoro affronta l'Apprendimento per Imitazione Multi-Obiettivo (MOIL) all'interno del quadro dei Processi Decisionali di Markov Multi-Obiettivo (MOMDP). La sfida fondamentale è recuperare politiche che giacciono sul fronte di Pareto date le dimostrazioni di più esperti, dove ogni esperto ottimizza una distinta funzione di utilità su un reward vettoriale condiviso.

Gli autori identificano due modalità di fallimento critiche negli approcci esistenti:

1. Fallimento I (Inefficienza del Campione): Trattare ogni dataset di esperti indipendentemente (ad esempio, addestrando modelli di Clonazione Comportamentale separati per ciascuno) ignora la sovrapposizione strutturale tra gli esperti. Poiché le politiche Pareto-ottimali condividono spesso sostanziali accordi stato-azione, l'apprendimento indipendente richiede che la dimensione di ogni dataset scala linearmente con la cardinalità dello spazio degli stati ($N_\ell = \Omega(|X|)$), portando a una grave inefficienza nel campione.
2. Fallimento II (Violazione di Pareto): Mettere in pool in modo ingenuo tutte le traiettorie degli esperti in un singolo dataset e addestrare un modello congiunto (Clonazione Comportamentale a Singola Uscita) può risultare in politiche dominate. L'analisi teorica (Teorema 2.2) dimostra che la politica media di due esperti Pareto-ottimali non è necessariamente Pareto-ottimale. In ambienti non lineari, questa aggregazione causa alla politica appresa di "afflosciarsi" all'interno del politopo dei ritorni, fallendo nell'ottimizzare qualsiasi funzione di utilità coerente anche con dati infiniti.

Metodologia: Clonazione Comportamentale Augmentata Multi-Uscita (MA-BC)

Per risolvere questi fallimenti, gli autori propongono la Clonazione Comportamentale Augmentata Multi-Uscita (MA-BC). L'algoritmo si fonda su una nuova proprietà strutturale dei MOMDP: l'Esistenza del Percorso di Pareto (Teorema 2.1). Questo teorema stabilisce che due qualsiasi politiche adiacenti del fronte di Pareto che differiscono in $k$ stati possono essere connesse da una sequenza di $k$ politiche Pareto-ottimali intermedie, dove ogni passo differisce esattamente per una coppia stato-azione.

Passaggi Algoritmici:

1. Partizionamento: L'algoritmo identifica gli stati divergenti ($D_{div}$) dove gli esperti esibiscono azioni conflittuali. Viceversa, definisce un insieme di stati comuni ($D_{common}$) dove tutti gli esperti concordano sull'azione.
2. Cura dei Dati: Per ogni esperto target $\ell$, l'algoritmo costruisce un dataset curato $D_\ell \cup D_{common}$. Questo permette all'apprenditore di:
   • Utilizzare i dati specifici dell'esperto ($D_\ell$) per gli stati divergenti.
   • Mettere in pool i dati da tutti gli esperti per gli stati comuni, riutilizzando efficacemente i campioni dove non esiste conflitto.
3. Addestramento: Vengono addestrate $L$ politiche separate tramite Clonazione Comportamentale su questi dataset curati.

Estensione agli Spazi Continui:
Per spazi stato-azione continui, MA-BC viene esteso arricchendo il dataset di ogni esperto con coppie stato-azione compatibili provenienti dagli altri esperti. La compatibilità è definita da una tolleranza spaziale $\delta$ e dalla costante di Lipschitz della politica dell'esperto, creando un compromesso bias-varianza controllato da $\delta$.

Contributi Chiave

1. Caratterizzazione Strutturale (Percorso di Pareto): Il paper introduce una caratterizzazione geometrica novella dei MOMDP (Teorema 2.1), dimostrando che le politiche Pareto-ottimali sono strutturalmente simili e connesse tramite cambiamenti di singolo stato, anche quando più politiche mappano allo stesso vettore di ritorno (aliasing).
2. Soluzione Algoritmica (MA-BC): Gli autori introducono MA-BC, che partiziona sistematicamente i dati divergenti mentre mette in pool i dati non conflittuali.
3. Garanzie Teoriche:
   • Convergenza: Il Teorema 3.1 dimostra che MA-BC converge a politiche $\epsilon$-Pareto-ottimali. Crucialmente, la complessità del campione per il dataset congiunto scala con il numero totale di stati $|X|$, mentre le dimensioni dei dataset degli esperti individuali devono scalare solo con il numero di stati divergenti $K$ (dove $K \ll |X|$). Questo migliora il requisito $\Omega(|X|)$ degli apprenditori indipendenti.
   • Ottimalità Minimax: Viene stabilita una nuova limite inferiore (Teorema 3.2) per il MOIL offline, dimostrando che MA-BC è minimax ottimale. Il limite evidenzia che il guadagno di performance dipende dal coefficiente di concentrabilità ($C_{\pi_{data}}$), che misura la sovrapposizione nell'occupazione degli stati tra gli esperti.
4. Gestione di Dati Non Divisi: Il framework è esteso a scenari in cui le identità degli esperti sono latenti (dati non divisi), utilizzando un Grafo di Coerenza per clusterizzare le coppie stato-azione divergenti (Appendice D).

Risultati Sperimentali

Gli autori validano MA-BC su quattro domini:

• Benchmark Discreti: Deep Sea Treasure, Resource Gathering e Slippery Y-Maze.
  • Risultati: La BC ingenua fallisce costantemente nel convergere al fronte di Pareto (convalidando il Fallimento II). La BC isolata converge ma mostra una scarsa efficienza del campione (convalidando il Fallimento I). MA-BC converge al fronte di Pareto significativamente più velocemente, sfruttando la conoscenza strutturale condivisa.
• Analisi della Concentrabilità: Gli esperimenti mostrano che, all'aumentare della sovrapposizione tra le traiettorie degli esperti (abbassando il coefficiente di concentrabilità), il divario di performance tra MA-BC e gli apprenditori isolati si amplia, allineandosi con le previsioni teoriche.
• Controllo Continuo: Un compito LQR di un quadricottero a 6 gradi di libertà.
  • Risultati: Lo studio dimostra un "compromesso bias-dati". In regimi a bassa quantità di dati, una soglia di pooling $\delta$ più ampia migliora le performance condividendo aggressivamente i dati. In regimi ad alta quantità di dati, un $\delta$ più piccolo è ottimale per minimizzare il bias. L'algoritmo recupera con successo la politica dell'esperto Economico con una efficienza del campione superiore rispetto ai baseline.

Significato e Affermazioni

Il paper afferma di essere il primo a fornire un framework provabilmente efficiente per l'apprendimento per imitazione offline nei MOMDP. Il suo significato primario risiede nel colmare il divario tra la necessità teorica dell'ottimalità di Pareto e i vincoli pratici dell'efficienza dei dati.

Gli autori sostengono che le strategie di aggregazione standard sono fondamentalmente difettose in contesti multi-obiettivo perché distruggono la struttura geometrica del fronte di Pareto. Sfruttando la proprietà del Percorso di Pareto, MA-BC raggiunge un risultato "il meglio di entrambi i mondi": mantiene le garanzie teoriche dell'imitazione a singolo esperto (evitando politiche dominate) mentre raggiunge l'efficienza del campione dell'apprendimento in pool (utilizzando le sovrapposizioni stato-azione condivise). Il lavoro stabilisce che i dati provenienti da più esperti possono effettivamente essere utilizzati per apprendere efficientemente politiche Pareto-ottimali, a condizione che i dati siano partizionati in base ai conflitti comportamentali piuttosto che aggregati alla cieca o trattati interamente in modo indipendente.