Decoupled Delay Compensation: Enhancing Pre-trained MARL Policies via Learned Dynamics Filtering

Riepilogo Tecnico: Compensazione del Ritardo Disaccoppiata per Politiche MARL Pre-addestrate

Enunciazione del Problema
I sistemi di Apprendimento per Rinforzo Multi-Agente (MARL) nel mondo reale operano frequentemente in condizioni non ideali caratterizzate da ritardi di comunicazione stocastici, perdita intermittente di pacchetti e latenza nell'elaborazione dei sensori. Sebbene gli algoritmi MARL raggiungano il successo nelle simulazioni, spesso subiscono un significativo degrado delle prestazioni e instabilità di controllo quando vengono implementati in ambienti fisici. Questo divario "Sim-to-Real" nasce dal fatto che le politiche addestrate sotto ipotesi idealizzate e sincrone agiscono su osservazioni obsolete. Negli scenari decentralizzati, questi ritardi violano l'assunzione di Markov, costringendo gli agenti a prendere decisioni basate su flussi di informazioni non causali e temporalmente non allineati. Le strategie di mitigazione esistenti, come l'aumento dello stato o architetture di addestramento consapevoli del ritardo, richiedono tipicamente l'accesso agli interni della politica, un riaddestramento end-to-end e sono sensibili a specifici regimi di ritardo, limitandone l'applicabilità ai sistemi legacy o ai controller proprietari.

Metodologia
Gli autori propongono un livello modulare di stima dello stato, progettato per la fase di esecuzione, volto a disaccoppiare la compensazione del ritardo dal processo di addestramento della politica. Questo framework consente alle politiche MARL pre-addestrate di operare in modo robusto senza modifiche alla loro architettura sottostante, alle strutture di ricompensa o agli algoritmi di addestramento.

Il cuore dell'approccio è un Livello di Filtraggio delle Credenze che sostituisce le osservazioni comunicate ritardate con stime attuali dello stato di credenza. Il sistema opera come segue:

1. Stima Ricorsiva: Per ogni vicino, un agente mantiene una stima ricorsiva del vettore di stato comunicato (ad esempio, posizione, velocità). Questa viene aggiornata tramite un ciclo di previsione-aggiornamento.
2. Dinamiche Apprese (GRU): Per gestire dinamiche complesse e non lineari senza modelli costruiti a mano, il sistema impiega un'Unità Ricorrente a Cancelli (GRU) addestrata su buffer di rollout privi di ritardo dalla fase iniziale di addestramento della politica. La GRU approssima le dinamiche di transizione, prevedendo incrementi residui anziché stati assoluti per migliorare la stabilità a breve orizzonte.
3. Integrazione del Filtro di Kalman: La GRU funge da surrogato appreso per la matrice di transizione all'interno di una struttura ricorsiva di filtro di Kalman. Sebbene il Jacobiano esatto della GRU sia computazionalmente costoso, gli autori lo approssimano con una matrice identità per mantenere l'efficienza in tempo reale, assumendo una persistenza del primo ordine dell'incertezza.
4. Modalità di Esecuzione: Il framework gestisce tre regimi di comunicazione distinti:
   • Sincrono: Cicli standard di previsione-aggiornamento.
   • Burst Asincrono: Elaborazione di più pacchetti che arrivano all'interno di un singolo intervallo di controllo in ordine cronologico.
   • Perdita di Pacchetti: Ricorso alla previsione in anello aperto utilizzando l'ultimo stato verificato e lo stato nascosto della GRU fino all'arrivo di nuovi dati.

La politica riceve un vettore di caratteristiche di credenza sincronizzato ($b_{i,t}$) comprendente osservazioni locali e stime filtrate dei vicini, piuttosto che messaggi grezzi e obsoleti.

Contributi Chiave
Il documento identifica tre contributi principali:

• Un Framework di Esecuzione Modulare: Gli autori formulano la comunicazione multi-agente ritardata come un problema di stima ricorsiva dello stato di credenza. Ciò consente una robustezza al ritardo per le politiche pre-addestrate senza riaddestramento o modifica della politica, affrontando la "maledizione della dimensionalità" associata all'aumento della storia.
• Livello di Stima Ricorsiva Appresa: L'introduzione di un modulo plug-in che combina un modello del mondo basato su GRU con un aggiornamento di filtraggio di Kalman. Questo approccio ibrido gestisce ritardi stocastici e perdita intermittente di pacchetti, mitigando al contempo il rumore di osservazione comune nelle implementazioni reali dei sensori.
• Validazione Empirica Cross-Dominio: L'approccio è validato su benchmark diversificati (MPE, VMAS e ambienti MaMuJoCo ad alta fedeltà), dimostrando generalizzazione su diversi backbones MARL e sistemi dinamici. Il metodo preserva le prestazioni della politica anche sotto pattern di ritardo fuori distribuzione (OOD).

Risultati Sperimentali
La valutazione su sei ambienti (inclusi Spread, Tag, Buzz-wire, Balance, Reacher e Walker2d) ha prodotto i seguenti risultati:

• Robustezza alla Latenza: Il livello proposto supera costantemente i baseline inconsapevoli del ritardo e un filtro di Kalman cinematico smorzato "Naive". In compiti altamente dinamici come Walker2d, il baseline collassava sotto una latenza minima, mentre la politica filtrata manteneva una locomozione bipede stabile su un ampio intervallo di ritardi.
• Resilienza al Rumore: Negli studi di ablazione che confrontavano la GRU avvolta dal filtro di Kalman con un predittore GRU autonomo, il filtro ricorsivo ha dimostrato una resilienza superiore al rumore di osservazione. Il divario di prestazioni si è ampliato all'aumentare dell'ampiezza del rumore, in particolare in sistemi instabili come Walker2d.
• Confronto con SOTA: Negli ambienti MPE, il metodo ha raggiunto prestazioni comparabili al framework di compensazione del ritardo Rainbow Delay Compensation (RDC) all'avanguardia. Tuttavia, a differenza di RDC, che richiede un addestramento integrato, il metodo proposto è completamente disaccoppiato dalla pipeline di addestramento.
• Robustezza degli Iperparametri: Il metodo ha mostrato prestazioni stabili su dimensioni variabili della finestra storica, a differenza dei metodi baseline che si basano su buffer di memoria a lunghezza fissa.
• Efficienza Computazionale: Il passo di filtraggio ricorsivo ha comportato un sovraccarico computazionale modesto (~0,007s per un ritardo di sei passaggi), comparabile o inferiore ad altri modelli complessi di compensazione del ritardo.

Significato e Affermazioni
Il documento afferma che il significato principale di questo lavoro risiede nella sua modularità. Trattando il ritardo come un problema di stima dello stato nella fase di esecuzione piuttosto che come una sfida di ottimizzazione al momento dell'addestramento, il framework offre una capacità di transizione "zero-shot". Ciò consente di implementare politiche addestrate in simulazioni prive di ritardo su hardware con latenze variabili, sconosciute o stocastiche, senza il costo computazionale del riaddestramento.

Gli autori notano modestamente che, sebbene il framework sia efficace, non rivendica di essere un estimatore globalmente ottimale. I guadagni di prestazioni sono più pronunciati in compiti intensivi di coordinamento e dinamicamente instabili dove la coerenza temporale è critica. Il lavoro suggerisce che per sistemi legacy o controller proprietari dove la modifica dei parametri è non fattibile, questo approccio disaccoppiato fornisce una via pratica per un deployment robusto Sim-to-Real. Si suggerisce un lavoro futuro per esplorare l'addestramento congiunto della politica e dell'estimatore per sfruttare metriche di incertezza interne per un controllo consapevole del rischio, ma il contributo attuale è strettamente focalizzato sul wrapper del livello di esecuzione.