Technische Samenvatting: Collaboratieve maar Gepersonaliseerde Beleidstraining via Single-Timescale Federated Actor-Critic

Probleemformulering

Het artikel adresseert de uitdaging van collaboratieve maar gepersonaliseerde beleidstraining in Federated Reinforcement Learning (FRL) onder omgevingsheterogeniteit. In veel moderne toepassingen, zoals Embodied AI, opereren agenten in verschillende omgevingen die worden gekenmerkt door verschillende overgangskernen ($P^k$) en beloningsfuncties ($R^k$).

Bestaande benaderingen vallen doorgaans in twee categorieën:

1. Heterogeniteit negeren: Het trainen van één gedeeld beleid voor alle agenten, wat vaak leidt tot prestatiedegradatie door niet-afgestemde leersignalen.
2. Collaboratie opgeven: Het trainen van volledig onafhankelijke lokale beleidsregels, waardoor de winst in steekproeffixiteit van collaboratie wordt prijsgegeven.

Hoewel Gepersonaliseerde Federated Learning (PFL) succes heeft geboekt in supervised learning, blijft de toepassing ervan op FRL onderbelicht. Specifiek ontbreekt het aan theoretische kaders die gepersonaliseerde actor-critic (AC) methoden hanteren onder Markoviaanse bemonstering (waarbij data tijdsgecorreleerd is) en heterogene overgangskernen. Vorige werken focussen vaak op op waarde gebaseerde methoden, gemeenschappelijke beleidsregels, of veronderstellen onafhankelijke en identiek verdeelde (i.i.d.) data, waardoor ze de gekoppelde dynamiek van beleidsupdates en heterogene Markov-ruis in een single-timescale setting niet vastleggen.

Methodologie: pFedAC

De auteurs stellen pFedAC voor, een single-timescale gepersonaliseerd federated actor-critic algoritme. De kernarchitecturale innovatie is een gedeeld lineair subruimte-representatie gecombineerd met gepersonaliseerde lokale koppen.

Modelstructuur

De waardenfunctie voor agent $k$ wordt benaderd als:
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
waarbij:

• $\phi(s) \in \mathbb{R}^d$ een bekende kenmerkafbeelding is.
• $B \in \mathbb{R}^{d \times r}$ een gemeenschappelijke orthonormale subruimte is (gedeeld over alle $K$ agenten) die de onderliggende structuur van de waardenfuncties vertegenwoordigt.
• $\omega^k_\theta \in \mathbb{R}^r$ lokale kopparameters zijn die specifiek zijn voor elke agent $k$, wat personalisatie mogelijk maakt.

Algoritme-mechaniek

Het algoritme werkt in rondes $t = 0, \dots, T-1$ met drie gekoppelde update-stappen per agent, gevolgd door een server-aggregatiestap:

1. Critic Update (Lokale Kop & Subruimte):

   • Agenten voeren een lokale TD($L$) update uit om de voordeelfunctie te schatten.
   • Met behulp van de TD-fout $\delta^k_{t,L}$ updaten agenten hun lokale kop $\omega^k_t$ en de schatting van de gemeenschappelijke subruimte $B_t$.
   • De update voor $B_t$ omvat een geprojecteerde stochastische gradiënt stap gevolgd door een QR-decompositie om orthogonaliteit te behouden. Deze projectie is cruciaal voor het beheersen van verstoringversterking in aanwezigheid van heterogene ruis.

2. Actor Update (Beleid):

   • Om de discrepantie tussen de limiet-staatverdeling (gebruikt in critic-updates) en de afgetopte staatsbezoekingsverdeling (gebruikt in beleidsgradiënten) te mitigeren, hanteren de auteurs een gezel-MDP met een overgangskern $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$.
   • Agenten bemonsteren trajecten uit deze hulpketen om beleidsgradiënten te berekenen, waardoor nauwkeurigere gradiëntschattingen onder Markoviaanse bemonstering worden gegarandeerd.

3. Aggregatie:

   • Agenten sturen hun bijgewerkte subruimteschattingen $\bar{B}_{t+1}$ naar de server.
   • De server berekent het gemiddelde $\bar{B}_{t+1}$ en voert een QR-decompositie uit om de bijgewerkte orthonormale basis $B_{t+1}$ terug te zenden naar alle agenten.

Belangrijkste Bijdragen

1. Eerste Gepersonaliseerde AC in Federated RL

Het artikel presenteert het eerste algoritme dat gepersonaliseerde actor-critic learning mogelijk maakt in een federale setting. In tegenstelling tot eerdere werken die focussen op gedeelde beleidsregels of waardenfuncties, leert pFedAC expliciet een gedeelde representatie terwijl het agent-specifieke beleidscomponenten behoudt.

2. Convergentieanalyse in Eindige Tijd

De auteurs stellen convergentiegaranties in eindige tijd vast voor het algoritme onder Markoviaanse bemonstering en heterogene overgangskernen. De analyse introduceert een nieuw gezamenlijk lineair benaderingskader dat drie nauw gekoppelde foutdynamieken gelijktijdig bijhoudt:

• De fout in de lokale kop-schattingen ($\omega^k$).
• De fout in de gedeelde subruimteschatting ($B$).
• De fout in de beleidsgradiënt (Actor).

Convergentiesnelheden:
Het artikel bewijst dat:

• De critic-fout convergeert naar nul met een snelheid van $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$.
• De beleidsgradiëntnorm convergeert naar nul met een snelheid van $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$.

Hierbij is $T$ het aantal rondes, $K$ het aantal agenten, en $\gamma$ de disconteringsfactor. De notatie $\tilde{O}$ verbergt polylogaritmische factoren en probleemafhankelijke constanten.

3. Lineaire Snelheidswinst

De resultaten tonen een lineaire snelheidswinst aan met betrekking tot het aantal agenten $K$. Dit impliceert dat het toevoegen van meer agenten aan het federale systeem de steekproefcomplexiteit die nodig is om een doelnauwkeurigheid te bereiken, evenredig verlaagt, zelfs in aanwezigheid van heterogene Markoviaanse trajecten.

4. Technische Innovaties in Analyse

Om deze resultaten te bereiken, ontwikkelden de auteurs verschillende nieuwe analytische hulpmiddelen:

• Verstoringanalyse voor QR-decompositie: Een nieuwe analyse die de vervorming begrenst die wordt veroorzaakt door QR-decompositiestappen in aanwezigheid van heterogene Markoviaanse ruis.
• Conditionele Mengargumenten: Technieken om de koppeling tussen beleidsupdates en Markoviaanse bemonstering te hanteren, specifiek door discrepanties te karakteriseren tussen functiewaarden onder Markoviaanse bemonstering versus tijdelijk ingevroren beleidsregels.
• Uitbuiting van Geometrische Structuur: Het benutten van de geometrische eigenschappen van de gedeelde subruimte en afstanden tussen hoofdhoeken om de interactie tussen lokale kopfouten en subruimteschatfouten te beheersen.

Experimentele Resultaten

De auteurs hebben het kader geïmplementeerd binnen Proximal Policy Optimization (PPO), waardoor FedPer PPO is ontstaan, en dit geëvalueerd op een federale Hopper-v5 benchmark met actie-kaart-heterogeniteit (waarbij agenten dynamiek delen maar verschillende actie-mapping hebben).

• Prestaties: FedPer PPO presteerde aanzienlijk beter dan zowel Single PPO (onafhankelijk getraind) als FedAvg PPO (standaard federale middeling). In de "6-UNIQUE" setting (waarbij elke agent een distincte actie-kaart heeft), behaalde FedPer een verbetering van 2,63$\times$ ten opzichte van Single PPO en 3,78$\times$ ten opzichte van FedAvg PPO.
• Transfer Learning: De geleerde gedeelde "stam" (de subruimte $B$) bleek een overdraagbare basis te zijn. Wanneer de stam werd ingevroren en alleen nieuwe koppen werden getraind op downstream taken (inclusief varianten buiten de verdeling), bereikte het model 5,42$\times$ de prestaties van training vanaf nul op standaard taken en 3,50$\times$ op OOD-taken.

Betekenis en Claims

Het artikel claimt dat pFedAC succesvol de kloof overbrugt tussen collaboratie en personalisatie in heterogene FRL-omgevingen. Door gebruik te maken van een gedeelde lineaire subruimte, kunnen agenten profiteren van collectief leren zonder afbreuk te doen aan de aanpasbaarheid aan lokale omgevingskenmerken.

De auteurs merken expliciet op dat hoewel de convergentiesnelheden lineaire snelheidswinst aantonen, de afhankelijkheid van de disconteringsfactor $(1-\gamma)$ mogelijk niet optimaal is, met name in het bijna-onafgetopte regime ($\gamma \to 1$). Zij identificeren het verbeteren van deze afhankelijkheid als een belangrijke richting voor toekomstig werk, en suggereren dat scherpere analyses van Markoviaanse structuur of technieken voor variantiereductie verdere verbeteringen kunnen opleveren.

Kortom, dit werk biedt een rigoureuze theoretische onderbouwing en empirische validatie voor gepersonaliseerde federated actor-critic methoden, en adresseert de kritieke behoefte aan schaalbare, collaboratieve maar aanpasbare reinforcement learning in complexe, heterogene systemen.