Riepilogo Tecnico: Apprendimento per Rinforzo di Agenti Eterogenei $\alpha$-fair

Definizione del Problema

Nel Multi-Agent Reinforcement Learning (MARL), la cooperazione è tradizionalmente ottimizzata attraverso obiettivi utilitaristici che massimano la somma delle utilità di tutti gli agenti. Sebbene efficiente, questo approccio spesso trascura la distribuzione dei premi, portando a dinamiche "leader-follower" inequative in cui un sottoinsieme di agenti viene marginalizzato. I tentativi esistenti di integrare l'equità nel MARL si dividono generalmente in tre categorie: modellazione del premio (es. avversione all'inequità), vincoli di equità e obiettivi di benessere sociale. Tuttavia, questi metodi soffrono di critiche limitazioni:

1. Problemi di Stazionarietà: I metodi di modellazione del premio spesso si basano su premi dipendenti dalla storia, rompendo la proprietà stazionaria dei Giochi di Markov.
2. Mancanza di Garanzie Teoriche: Algoritmi popolari come l'Independent PPO (IPPO) o il Multi-Agent PPO (MAPPO), anche quando adattati per l'equità, mancano delle rigorose garanzie teoriche di convergenza presenti nell'apprendimento a regione di fiducia (Trust Region Learning - TRL) per singolo agente.
3. Generalizzazione e Interpretabilità: I metodi basati su vincoli sono spesso specifici per il dominio, mentre gli obiettivi di benessere sociale (come l' $\alpha$-fairness) spesso si affidano a obiettivi PPO estrapolati senza salvaguardie teoriche o si basano su assunzioni idealizzate (es. concavità).

Esiste un divario tra funzioni obiettivo equitable e framework di apprendimento teoricamente sicuri. Questo articolo mira a colmare tale divario introducendo un framework che garantisce il miglioramento monotono e la convergenza verso gli Equilibri di Nash ottimizzando l' $\alpha$-fairness.

Metodologia

Framework Teorico: $\alpha$-fair HATRL

Gli autori propongono un nuovo framework che combina l' $\alpha$-fairness con l'Heterogeneous-Agent Trust Region Learning (HATRL).

1. Obiettivo Globale Equo:
   Il framework definisce una funzione obiettivo globale $J(\vec{\pi})$ per un contesto totalmente cooperativo:
   $$J(\vec{\pi}) = \mathbb{E}_{s_0 \sim \rho_0} \left[ \sum_{i=1}^n U_\alpha(\nu + V_i^{\vec{\pi}}(s_0)) \right]$$
   dove $U_\alpha$ è la funzione di utilità $\alpha$-fair, $\nu$ è una costante positiva che garantisce la positività, e $V_i^{\vec{\pi}}$ è la funzione valore per l'agente $i$.

   • Quando $\alpha \to 0$, l'obiettivo si avvicina alla somma utilitaristica.
   • Quando $\alpha \to +\infty$, si avvicina alla funzione di benessere Rawlsiana (max-min).
   • A $\alpha = 1$, corrisponde alla fairness proporzionale.

2. Funzione di Vantaggio Equa:
   Per adattare l'HATRL, gli autori introducono una funzione di vantaggio equa $A_F^{\vec{\pi}}(s, \vec{a})$. A differenza delle standard funzioni di vantaggio multi-agente, questa è una somma pesata delle funzioni di vantaggio dei singoli agenti, dove i pesi sono determinati dinamicamente dall'inverso dei rendimenti attesi degli agenti ($1/V_j^{\vec{\pi}}(s)$). Questa ponderazione assicura che gli agenti con rendimenti attesi più elevati contribuiscano meno all'aggiornamento del gradiente, lasciando spazio per il miglioramento degli agenti con prestazioni inferiori.

3. Aggiornamento Sequenziale e Funzione Surrogata:
   Costruendo su HATRL, gli autori derivano una funzione surrogata $L_{\vec{\pi}}(\vec{\pi}')$ che funge da limite inferiore per il miglioramento dell'obiettivo globale equo. Dimostrano che la differenza $J(\vec{\pi}') - J(\vec{\pi})$ è limitata da questa funzione surrogata meno un termine di penalità della divergenza KL.
   Fondamentalmente, dimostrano che la funzione surrogata può essere decomposta in $n$ termini ordinati. Ciò consente uno schema di aggiornamento sequenziale in cui gli agenti aggiornano le proprie policy uno alla volta (in una permutazione casuale), massimizzando il proprio contributo locale all'obiettivo globale equo rispettando un vincolo di regione di fiducia.

4. Garanzie Teoriche:
   Il documento fornisce prove per:

   • Miglioramento Monotono: L'obiettivo globale equo $J(\vec{\pi})$ è garantito aumentare (o rimanere uguale) ad ogni iterazione.
   • Convergenza: La sequenza di policy congiunte converge a un punto limite.
   • Equilibrio di Nash: L'insieme dei punti limite è non vuoto, e ogni punto limite costituisce un Equilibrio di Nash per il gioco totalmente cooperativo.

Algoritmi Pratici

Per implementare questo framework in spazi ad alta dimensionalità, gli autori sviluppano due algoritmi di deep reinforcement learning:

1. $\alpha$-fair HATRPO: Un'estensione dell'Heterogeneous-Agent Trust Region Policy Optimization. Sostituisce lo standard multi-agent advantage con la funzione di vantaggio equa e risolve il problema di ottimizzazione vincolata utilizzando un vincolo KL e aggiornamenti del gradiente coniugato.
2. $\alpha$-fair HAPPO: Un'estensione dell'Heterogeneous-Agent PPO. Utilizza un'approssimazione del primo ordine con un meccanismo di clipping per evitare il calcolo dell'Essiano, rendendolo più efficiente dal punto di vista computazionale pur mantenendo la struttura di aggiornamento sequenziale.

Contributi Chiave

1. Ponte Teorico: Il documento introduce un framework teoricamente fondato che integra l' $\alpha$-fairness nell'Heterogeneous-Agent Trust Region Learning, fornendo sicurezza matematica (garanzie di miglioramento monotono e convergenza) per l'apprendimento di comportamenti pro-sociali.
2. Nuova Funzione Surrogata: La definizione di una funzione di vantaggio equa che pesa dinamicamente le utilità degli agenti in base ai rendimenti attesi, consentendo la transizione dall'efficienza utilitaristica al benessere dell' $\alpha$-fairness.
3. Sviluppo di Algoritmi: La proposta di due algoritmi pratici, $\alpha$-fair HATRPO e $\alpha$-fair HAPPO, che estendono il framework teorico a setting di policy parametriche.
4. Validazione Empirica: Dimostrazione che questi algoritmi raggiungono esiti sociali superiori (indici di Gini più bassi) mantenendo o superando l'efficienza utilitaristica rispetto ai baseline in dilemmi sociali sequenziali.

Risultati Sperimentali

Gli algoritmi sono stati valutati su due ambienti di Sequential Social Dilemma (SSD) della suite SocialJax: CleanUp e CommonHarvest.

• Baseline: I metodi proposti sono stati confrontati con lo standard HATRPO/HAPPO (utilitaristico) e FMAPPO (un metodo basato su PPO che utilizza la fairness proporzionale senza garanzie teoriche).
• Metriche: Le prestazioni sono state misurate in termini di Total Apples Consumed (TAC) per l'efficienza e Indice di Gini per l'equità.
• Risultati:
  • Equità: L'aumento del parametro $\alpha$ ha generalmente portato a esiti più equi (indici di Gini più bassi). Gli algoritmi $\alpha$-fair proposti hanno ottenuto indici di Gini significativamente inferiori rispetto ai baseline utilitaristici.
  • Efficienza: Nell'ambiente CommonHarvest, $\alpha$-fair HATRPO e HAPPO hanno performato leggermente meglio dei baseline utilitaristici in termini di TAC, pur ottenendo una migliore equità. In CleanUp, il vantaggio in efficienza è stato minimo, e FMAPPO ha talvolta superato i metodi proposti in pura efficienza, sebbene i metodi proposti abbiano comunque raggiunto risultati socialmente superiori (Gini più basso).
  • Confronto con FMAPPO: Sebbene FMAPPO abbia performato bene, i metodi proposti hanno offerto un'alternativa teoricamente sicura con esiti di equità comparabili o migliori.

Significato e Limitazioni

Significato:
Il documento afferma di aver stabilito una "base matematicamente sicura" per addestrare agenti ad adottare comportamenti pro-sociali sostenibili. Garantendo il miglioramento monotono e la convergenza verso gli Equilibri di Nash, il framework affronta la mancanza di garanzie teoriche negli approrenti approcci di MARL equa. Colma con successo il divario tra funzioni obiettivo equitable e framework di apprendimento sicuri.

Limitazioni:
Gli autori riconoscono diverse restrizioni:

1. Sensibilità agli Iperparametri: Valori elevati di $\alpha$ ($\alpha > 1$) possono portare a degradazione delle prestazioni e instabilità dell'addestramento. Ciò è attribuito alla funzione di vantaggio equa che diminuisce i pesi degli agenti ad alte prestazioni, rendendo l'obiettivo globale eccessivamente sensibile ai "peggiori apprendisti" che potrebbero rimanere bloccati in ottimi locali.
2. Vincoli Teorici: Il framework si basa sull'assunzione di ricompense positive e limitate, il che ne limita l'applicabilità in certi ambienti.
3. Osservabilità: Gli algoritmi richiedono stati completamente osservabili. In scenari reali con osservabilità parziale, sarebbero necessarie approssimazioni (es. usando RNN), ma queste mancherebbero delle attuali garanzie teoriche.

Il documento conclude suggerendo lavori futuri su meccanismi per migliorare l'esplorazione (es. normalizzazione dell'entropia) o vincoli adattivi per stabilizzare l'apprendimento quando $\alpha$ è elevato.