Riepilogo Tecnico: Addestramento di Politiche Collaborative ma Personalizzate tramite Attore-Critico Federato a Scala Temporale Singola

Formulazione del Problema

Il documento affronta la sfida dell'addestramento di politiche collaborative ma personalizzate nell'Apprendimento per Rinforzo Federato (FRL) in condizioni di eterogeneità ambientale. In molte applicazioni moderne, come l'IA incarnata (Embodied AI), gli agenti operano in ambienti distinti caratterizzati da diversi nuclei di transizione ($P^k$) e funzioni di ricompensa ($R^k$).

Gli approcci esistenti ricadono tipicamente in due categorie:

1. Ignorare l'Eterogeneità: Addestrare una singola politica condivisa tra tutti gli agenti, il che spesso porta a un degrado delle prestazioni a causa di segnali di apprendimento non allineati.
2. Abbandonare la Collaborazione: Addestrare politiche locali completamente indipendenti, rinunciando ai guadagni di efficienza del campione derivanti dalla collaborazione.

Sebbene l'Apprendimento Federato Personalizzato (PFL) abbia ottenuto successo nell'apprendimento supervisionato, la sua applicazione all'FRL rimane poco esplorata. Nello specifico, manca di framework teorici che gestiscano i metodi personalizzati Attore-Critico (AC) in condizioni di campionamento Markoviano (dove i dati sono correlati temporalmente) e nuclei di transizione eterogenei. I lavori precedenti si concentrano spesso su metodi basati sul valore, su politiche comuni o assumono dati indipendenti e identicamente distribuiti (i.i.d.), non riuscendo a catturare le dinamiche accoppiate degli aggiornamenti delle politiche e del rumore Markoviano eterogeneo in un contesto a scala temporale singola.

Metodologia: pFedAC

Gli autori propongono pFedAC, un algoritmo federato personalizzato Attore-Critico a scala temporale singola. L'innovazione architetturale fondamentale è una rappresentazione condivisa in sottospazio lineare combinata con testine locali personalizzate.

Struttura del Modello

La funzione valore per l'agente $k$ è approssimata come:
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
dove:

• $\phi(s) \in \mathbb{R}^d$ è una mappa di caratteristiche nota.
• $B \in \mathbb{R}^{d \times r}$ è un sottospazio ortonormale comune (condiviso tra tutti gli $K$ agenti) che rappresenta la struttura sottostante delle funzioni valore.
• $\omega^k_\theta \in \mathbb{R}^r$ sono parametri della testina locale specifici per ogni agente $k$, che consentono la personalizzazione.

Meccanica dell'Algoritmo

L'algoritmo opera in round $t = 0, \dots, T-1$ con tre passaggi di aggiornamento accoppiati per agente, seguiti da un passaggio di aggregazione sul server:

1. Aggiornamento del Critico (Testina Locale e Sottospazio):

   • Gli agenti eseguono un aggiornamento locale TD($L$) per stimare la funzione vantaggio.
   • Utilizzando l'errore TD $\delta^k_{t,L}$, gli agenti aggiornano la propria testina locale $\omega^k_t$ e la stima del sottospazio comune $B_t$.
   • L'aggiornamento di $B_t$ comporta un passo di gradiente stocastico proiettato seguito da una decomposizione QR per mantenere l'ortonormalità. Questa proiezione è cruciale per controllare l'amplificazione delle perturbazioni in presenza di rumore eterogeneo.

2. Aggiornamento dell'Attore (Politica):

   • Per mitigare la discrepanza tra la distribuzione limite degli stati (usata negli aggiornamenti del critico) e la distribuzione di visita degli stati scontata (usata nei gradienti della politica), gli autori impiegano un MDP compagno con un nucleo di transizione $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$.
   • Gli agenti campionano traiettorie da questa catena ausiliaria per calcolare i gradienti della politica, garantendo una stima più accurata del gradiente sotto campionamento Markoviano.

3. Aggregazione:

   • Gli agenti inviano le loro stime aggiornate del sottospazio $\bar{B}_{t+1}$ al server.
   • Il server calcola la media $\bar{B}_{t+1}$ ed esegue una decomposizione QR per trasmettere la base ortonormale aggiornata $B_{t+1}$ a tutti gli agenti.

Contributi Chiave

1. Primo AC Personalizzato nell'FRL

Il documento presenta il primo algoritmo che consente l'apprendimento Attore-Critico personalizzato in un contesto federato. A differenza dei lavori precedenti che si concentrano su politiche o funzioni valore condivise, pFedAC apprende esplicitamente una rappresentazione condivisa mantenendo componenti di politica specifiche per agente.

2. Analisi della Convergenza a Tempo Finito

Gli autori stabiliscono garanzie di convergenza a tempo finito per l'algoritmo sotto campionamento Markoviano e nuclei di transizione eterogenei. L'analisi introduce un nuovo framework di approssimazione lineare congiunta che traccia simultaneamente tre dinamiche di errore strettamente accoppiate:

• L'errore nelle stime della testina locale ($\omega^k$).
• L'errore nella stima del sottospazio condiviso ($B$).
• L'errore nel gradiente della politica (Attore).

Tassi di Convergenza:
Il documento dimostra che:

• L'errore del critico converge a zero con un tasso di $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$.
• La norma del gradiente della politica converge a zero con un tasso di $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$.

Qui, $T$ è il numero di round, $K$ è il numero di agenti e $\gamma$ è il fattore di sconto. La notazione $\tilde{O}$ nasconde fattori polilogaritmici e costanti dipendenti dal problema.

3. Accelerazione Lineare

I risultati dimostrano un'accelerazione lineare rispetto al numero di agenti $K$. Ciò implica che aggiungere più agenti al sistema federato riduce proporzionalmente la complessità del campione richiesta per raggiungere una precisione target, anche in presenza di traiettorie Markoviane eterogenee.

4. Innovazioni Tecniche nell'Analisi

Per ottenere questi risultati, gli autori hanno sviluppato diversi nuovi strumenti analitici:

• Analisi delle Perturbazioni per la Decomposizione QR: Una nuova analisi che delimita la distorsione causata dai passaggi di decomposizione QR in presenza di rumore Markoviano eterogeneo.
• Argomenti di Mixing Condizionale: Tecniche per gestire l'accoppiamento tra aggiornamenti della politica e campionamento Markoviano, caratterizzando specificamente le discrepanze tra le valutazioni delle funzioni sotto campionamento Markoviano rispetto a politiche temporaneamente congelate.
• Sfruttamento della Struttura Geometrica: Utilizzo delle proprietà geometriche del sottospazio condiviso e delle distanze degli angoli principali per controllare l'interazione tra errori della testina locale ed errori di stima del sottospazio.

Risultati Sperimentali

Gli autori hanno istanziato il framework all'interno dell'Ottimizzazione della Politica Prossimale (PPO), creando FedPer PPO, e lo hanno valutato su un benchmark federato Hopper-v5 con eterogeneità della mappa delle azioni (dove gli agenti condividono la dinamica ma hanno mappature delle azioni diverse).

• Prestazioni: FedPer PPO ha superato significativamente sia il Single PPO (addestrato in modo indipendente) che il FedAvg PPO (mediazione federata standard). Nel setting "6-UNIQUE" (dove ogni agente ha una mappa delle azioni distinta), FedPer ha ottenuto un miglioramento di 2.63$\times$ rispetto al Single PPO e di 3.78$\times$ rispetto al FedAvg PPO.
• Apprendimento per Transfer: Il "tronco" condiviso appreso (il sottospazio $B$) è stato dimostrato essere una base trasferibile. Quando il tronco è stato congelato e solo nuove testine sono state addestrate su compiti a valle (inclusi varianti fuori distribuzione), il modello ha raggiunto 5.42$\times$ le prestazioni dell'addestramento da zero su compiti vanilla e 3.50$\times$ su compiti OOD.

Significato e Affermazioni

Il documento afferma che pFedAC colma con successo il divario tra collaborazione e personalizzazione in ambienti FRL eterogenei. Sfruttando un sottospazio lineare condiviso, gli agenti possono beneficiare dell'apprendimento collettivo senza sacrificare l'adattabilità alle caratteristiche dell'ambiente locale.

Gli autori notano esplicitamente che, sebbene i tassi di convergenza dimostrino un'accelerazione lineare, la dipendenza dal fattore di sconto $(1-\gamma)$ potrebbe non essere ottimale, in particolare nel regime quasi non scontato ($\gamma \to 1$). Identificano il miglioramento di questa dipendenza come una direzione chiave per il lavoro futuro, suggerendo che analisi più precise della struttura Markoviana o tecniche di riduzione della varianza potrebbero portare a ulteriori miglioramenti.

In sintesi, questo lavoro fornisce una solida fondazione teorica e una validazione empirica per i metodi personalizzati di Attore-Critico federato, affrontando la necessità critica di un apprendimento per rinforzo scalabile, collaborativo e tuttavia adattabile in sistemi complessi ed eterogenei.