Résumé Technique : Apprentissage par Renforcement d'Agents Hétérogènes $\alpha$-équitable

Énoncé du Problème

Dans l'apprentissage par renforcement multi-agents (MARL), la coopération est traditionnellement optimisée via des objectifs utilitaires qui maximisent la somme des utilités de tous les agents. Bien qu'efficace, cette approche néglige souvent la distribution des récompenses, menant à des dynamiques « leader-suiveur » inéquitables où un sous-ensemble d'agents est marginalisé. Les tentatives existantes pour intégrer l'équité dans le MARL se classent généralement en trois catégories : le façonnage de la récompense (ex: aversion à l'iniquité), les contraintes d'équité et les objectifs de bien-être social. Cependant, ces méthodes souffrent de limitations critiques :

1. Problèmes de stationnarité : Les méthodes de façonnage de la récompense reposent souvent sur des récompenses dépendantes de l'historique, brisant la propriété de stationnarité des jeux de Markov.
2. Absence de garanties théoriques : Les algorithmes populaires comme l'IPPO (Independent PPO) ou le MAPPO (Multi-Agent PPO), même lorsqu'ils sont adaptés pour l'équité, manquent des garanties de convergence rigoureuses trouvées dans l'apprentissage de région de confiance (TRL) pour agent unique.
3. Généralisation et interprétabilité : Les méthodes basées sur des contraintes sont souvent spécifiques au domaine, tandis que les objectifs de bien-être social (comme l' $\alpha$-équité) reposent souvent sur des objectifs PPO extrapolés sans garde-fous théoriques ou s'appuient sur des hypothèses idéalisées (ex: concavité).

Il existe un fossé entre les fonctions d'objectif équitables et les cadres d'apprentissage théoriquement sûrs. Ce document vise à combler ce fossé en introduisant un cadre qui garantit une amélioration monotone et la convergence vers des Équilibres de Nash tout en optimisant l' $\alpha$-équité.

Méthodologie

Cadre Théorique : $\alpha$-fair HATRL

Les auteurs proposent un nouveau cadre combinant l' $\alpha$-équité avec l' Apprentissage de Région de Confiance pour Agents Hétérogènes (HATRL).

1. Objectif Global Équitable :
   Le cadre définit une fonction d'objectif globale $J(\vec{\pi})$ pour un contexte de coopération totale :
   $$J(\vec{\pi}) = \mathbb{E}_{s_0 \sim \rho_0} \left[ \sum_{i=1}^n U_\alpha(\nu + V_i^{\vec{\pi}}(s_0)) \right]$$
   où $U_\alpha$ est la fonction d'utilité $\alpha$-équitable, $\nu$ est une constante positive assurant la positivité, et $V_i^{\vec{\pi}}$ est la fonction de valeur pour l'agent $i$.

• Lorsque $\alpha \to 0$, l'objectif tend vers la somme utilitaire.
• Lorsque $\alpha \to +\infty$, il tend vers la fonction de bien-être Rawlsienne (max-min).
• À $\alpha = 1$, il correspond à l'équité proportionnelle.

2. Fonction d'Avantage Équitable :
   Pour adapter le HATRL, les auteurs introduisent une fonction d'avantage équitable $A_F^{\vec{\pi}}(s, \vec{a})$. Contra-rément aux fonctions d'avantage multi-agents standards, celle-ci est une somme pondérée des fonctions d'avantage individuelles des agents, où les poids sont déterminés dynamiquement par l'inverse des rendements attendus des agents ($1/V_j^{\vec{\pi}}(s)$). Cette pondération garantit que les agents ayant des rendements attendus plus élevés contribuent moins à la mise à jour du gradient, laissant de l'espace pour l'amélioration des agents moins performants.

3. Mise à Jour Séquentielle et Fonction de Substitution :
   S'appuyant sur le HATRL, les auteurs dérivent une fonction de substitution $L_{\vec{\pi}}(\vec{\pi}')$ qui sert de borne inférieure pour l'amélioration de l'objectif équitable global. Ils prouvent que la différence $J(\vec{\pi}') - J(\vec{\pi})$ est bornée par cette fonction de substitution moins un terme de pénalité de divergence KL.
   Crucialement, ils démontrent que la fonction de substitution peut être décomposée en $n$ sommandes ordonnées. Cela permet un schéma de mise à jour séquentielle où les agents mettent à jour leurs politiques un par un (dans une permutation aléatoire), maximisant leur contribution locale à l'objectif équitable global tout en respectant une contrainte de région de confiance.

4. Garanties Théoriques :
   Le document fournit des preuves pour :

• Amélioration Monotone : L'objectif équitable global $J(\vec{\pi})$ est garanti de croître (ou de rester égal) à chaque itération.
• Convergence : La séquence des politiques conjointes converge vers un point limite.
• Équilibre de Nash : L'ensemble des points limites est non vide, et chaque point limite constitue un Équilibre de Nash pour le jeu de coopération totale.

Algorithmes Pratiques

Pour implémenter ce cadre dans des espaces de haute dimension, les auteurs développent deux algorithmes d'apprentissage par renforcement profond :

1. $\alpha$-fair HATRPO : Une extension de l'Optimisation de Politique de Région de Confiance pour Agents Hétérogènes. Il remplace l'avantage multi-agent standard par la fonction d'avantage équitable et résout le problème d'optimisation contrainte à l'aide d'une contrainte KL et de mises à jour par gradient conjugué.
2. $\alpha$-fair HAPPO : Une extension de l'HAPPO (Heterogeneous-Agent PPO). Il utilise une approximation du premier ordre avec un mécanisme de clipping pour éviter de calculer l'Hessienne, ce qui le rend plus efficace sur le plan computationnel tout en maintenant la structure de mise à jour séquentielle.

Contributions Clés

1. Pont Théorique : Le document introduit un cadre théoriquement fondé qui intègre l' $\alpha$-équité dans l'apprentissage de région de confiance pour agents hétérogènes, fournissant une sécurité mathématique (garanties d'amélioration monotone et de convergence) pour l'apprentissage de comportements prosociaux.
2. Nouvelle Fonction de Substitution : La définition d'une fonction d'avantage équitable qui pondère dynamiquement les utilités des agents en fonction des rendements attendus, permettant la transition de l'efficacité utilitaire vers le bien-être de l' $\alpha$-équité.
3. Développement d'Algorithmes : La proposition de deux algorithmes pratiques, $\alpha$-fair HATRPO et $\alpha$-fair HAPPO, qui étendent le cadre théorique aux contextes de politiques paramétriques.
4. Validation Empirique : Démonstration que ces algorithmes atteignent des résultats sociaux plus élevés (indices de Gini plus faibles) tout en maintenant ou en dépassant l'efficacité utilitaire par rapport aux bases de référence dans des dilemmes sociaux séquentiels.

Résultats Expérimentaux

Les algorithmes ont été évalués sur deux environnements de Dilemmes Sociaux Séquentiels (SSD) de la suite SocialJax : CleanUp et CommonHarvest.

• Bases de Référence : Les méthodes proposées ont été comparées aux standards HATRPO/HAPPO (utilitaires) et FMAPPO (une méthode basée sur PPO utilisant l'équité proportionnelle sans garanties théoriques).
• Métriques : La performance a été mesurée par la Consommation Totale de Pommes (TAC) pour l'efficacité et l'indice de Gini pour l'équité.
• Constatations :
  • Équité : L'augmentation du paramètre $\alpha$ a généralement conduit à des résultats plus équitables (indices de Gini plus faibles). Les algorithmes $\alpha$-fair proposés ont obtenu des indices de Gini nettement inférieurs aux bases de référence utilitaires.
  • Efficacité : Dans l'environnement CommonHarvest, $\alpha$-fair HATRPO et HAPPO ont légèrement mieux performé que les bases de référence utilitaires en termes de TAC tout en atteignant une meilleure équité. Dans CleanUp, l'avantage d'efficacité était minimal, et FMAPPO a parfois surpassé les méthodes proposées en pure efficacité, bien que les méthodes proposées aient tout de même atteint des résultats socialement supérieurs (Gini plus faible).
  • Comparaison avec FMAPPO : Bien que FMAPPO ait bien performé, les méthodes proposées offrent une alternative théoriquement sûre avec des résultats d'équité comparables ou meilleurs.

Signification et Limites

Signification :
Le document affirme établir un « fondement mathématiquement sûr » pour entraîner des agents à adopter des comportements prosociaux durables. En garantissant l'amélioration monotone et la convergence vers des Équilibres de Nash, le cadre répond au manque de garanties théoriques des approches d'équité MARL existantes. Il comble avec succès le fossé entre les fonctions d'objectif équitables et les cadres d'apprentissage sûrs.

Limites :
Les auteurs reconnaissent plusieurs contraintes :

1. Sensibilité aux Hyperparamètres : Des valeurs élevées de $\alpha$ ($\alpha > 1$) peuvent entraîner une dégradation des performances et une instabilité de l'entraînement. Cela est attribué au fait que la fonction d'avantage équitable diminue le poids des agents performants, rendant l'objectif global excessivement sensible aux « pires apprenants » qui peuvent rester bloqués dans des optima locaux.
2. Contraintes Théoriques : Le cadre repose sur l'hypothèse de récompenses positives et bornées, ce qui limite son applicabilité à certains environnements.
3. Observabilité : Les algorithmes nécessitent des états entièrement observables. Dans des scénarios réels avec observabilité partielle, des approximations (ex: utiliser des RNN) seraient nécessaires, mais elles manqueraient des garanties théoriques actuelles.

Le document conclut en suggérant des travaux futurs sur des mécanismes pour améliorer l'exploration (ex: normalisation de l'entropie) ou des contraintes adaptatives pour stabiliser l'apprentissage lorsque $\alpha$ est élevé.