Résumé technique : Prism – Partage de paramètres spectraux pour l'apprentissage par renforcement multi-agents

Énoncé du problème

L'apprentissage par renforcement multi-agents (MARL) est confronté à un compromis fondamental entre scalabilité et hétérogénéité des politiques. Bien que le partage de paramètres soit une stratégie standard pour réduire la surcharge mémoire et améliorer l'efficacité de l'échantillonnage en faisant en sorte que tous les agents apprennent à partir d'un ensemble unique de poids, les architectures entièrement partagées convergent souvent vers des comportements homogènes, échouant à capturer les différences nécessaires entre les agents. Inversement, les méthodes qui induisent la diversité — telles que le regroupement d'agents ou l'application de masquage ou d'élagage au niveau des nœuds ou des arêtes — compromettent souvent l'efficacité des ressources ou dépendent fortement des distributions de données initiales, ce qui les rend sensibles aux environnements non stationnaires. Les approches existantes peinent à atteindre simultanément une haute performance, une efficacité mémoire et une différenciation robuste des agents.

Méthodologie : Le cadre Prism

Les auteurs proposent Prism, un cadre de partage de paramètres qui opère dans le domaine spectral plutôt que dans l'espace des poids. Au lieu de partager les poids bruts ou de masquer des nœuds/arêtes spécifiques, Prism décompose les poids des réseaux partagés à l'aide de la décomposition en valeurs singulières (SVD) et induit la diversité via des masques spectraux apprenables.

Mécanisme central

1. Paramétrage par SVD :
   La matrice de poids partagée $W \in \mathbb{R}^{d \times k}$ est décomposée en $W = U \Sigma V^\top$.

   • Composantes partagées : Les vecteurs singuliers gauches ($U$) et les vecteurs singuliers droits ($V$) sont partagés entre tous les agents, fournissant une base commune de représentation.
   • Composantes spécifiques à l'agent : Les valeurs singulières ($\Sigma$) sont adaptées par agent.

2. Masquage dans l'espace spectral :
   Chaque agent $i$ apprend un masque spécifique $m_i$ appliqué aux valeurs singulières. Les valeurs singulières spécifiques à l'agent $\sigma_i$ sont construites comme suit :
   $$\sigma_i = \text{concat}(\sigma_{\text{common}}, \sigma_{\text{separate}} \odot m_i)$$
   où $\odot$ désigne le produit de Hadamard. Cela permet aux agents d'activer ou de mettre à l'échelle sélectivement des modes spectraux spécifiques, allouant ainsi des sous-espaces distincts au sein du réseau partagé sans introduire de paramètres redondants.

3. Régularisation :
   Pour garantir une formation stable et une diversité significative, Prism utilise deux termes de régularisation :

   • Régularisation de la diversité : Pénalise la similitude entre les masques spectraux des agents (en utilisant un estimateur "Straight-Through" pour les masques binaires) afin d'encourager les agents à porter attention à différents composants spectraux.
   • Régularisation orthogonale : Impose l'orthogonalité sur les matrices de vecteurs singuliers partagés ($U$ et $V$) pour prévenir l'effondrement de la décomposition SVD et réduire l'interférence entre les composantes de la base.

Principales contributions

1. Partage de paramètres spectraux : Un nouveau cadre qui induit la différenciation des agents en allouant des sous-espaces spectraux distincts au sein d'un réseau partagé, allant au-delà du masquage traditionnel dans l'espace des poids.
2. Résolution du compromis scalabilité-hétérogénéité : En induisant la diversité uniquement dans l'espace spectral, Prism évite les paramètres redondants associés au masquage au niveau des nœuds ou des arêtes, améliorant considérablement l'efficacité des ressources tout en maintenant l'hétérogénéité des politiques.
3. Validation empirique : Des expériences approfondies démontrent que Prism atteint des performances compétitives ou supérieures sur diverses références tout en réduisant considérablement la surcharge mémoire par rapport aux méthodes de l'état de l'art.

Résultats expérimentaux

Les auteurs ont évalué Prism sur des environnements homogènes (LBF, SMACv2) et hétérogènes (MaMuJoCo), en le comparant à des bases de référence incluant No Parameter Sharing (NoPS), Full Parameter Sharing (FuPS), le clustering (SePS, AdaPS) et l'élagage structuré/masquage (SNP, Kaleidoscope).

• Performance :
  • Dans les environnements homogènes (LBF, SMACv2), Prism a atteint des performances comparables ou supérieures aux méthodes de partage total (FuPS), surpassant les approches basées sur le clustering qui peinent face à la stochasticité.
  • Dans les environnements hétérogènes (MaMuJoóc), Prism a systématiquement surpassé FuPS et a montré une performance robuste sur des tâches où d'autres méthodes (comme AdaPS) variaient considérablement. Il a notamment dépassé Kaleidoscope, qui applique des masques aux réseaux de critique.
• Efficacité des ressources :
  • Sous des contraintes de budget de paramètres (50 % des paramètres de NoPS), Prism a maintenu une performance stable, alors que les autres méthodes se sont davantage dégradées.
  • Scalabilité : À mesure que le nombre d'agents augmentait, Prism a présenté la plus faible croissance de la surcharge de ressources. Contrairement au masquage au niveau des arêtes (Kaleidoscope) ou des nœuds (SNP), où la surcharge augmente de manière linéaire ou super-linéaire avec le nombre d'agents, les masques spectraux de Prism restent compacts, ce qui se traduit par une surcharge de ressources normalisée nettement inférieure.
• Études d'ablation :
  • Régularisation de la diversité : Cruciale pour les environnements hétérogènes ; son retrait a provoqué des chutes de performance significatives dans MaMuJoCo.
  • Régularisation orthogonale : Essentielle pour la stabilité de l'entraînement sous la factorisation SVD.
  • Ratio de partage : Des ratios spectraux partagés plus élevés ont bénéficié aux tâches homogènes (améliorant la convergence), tandis que les tâches hétérogènes dépendaient davantage de la régularisation de la diversité que du ratio de partage lui-même.

Signification et affirmations

L'article affirme que Prism répond efficacement au défi de la scalabilité dans le MARL en découplant le besoin de partage de paramètres du besoin d'homogénéité des politiques. En exploitant le domaine spectral, la méthode permet aux agents de se spécialiser sans le coût mémoire de la maintenance de sous-réseaux séparés ou de structures de masquage complexes.

Les auteurs soulignent que Prism est particulièrement significatif pour les systèmes multi-agents à grande échelle où l'efficacité de la mémoire et la capacité à gérer l'hétérogénéité des agents sont critiques. Bien que la méthode introduise des hyperparamètres pour ajuster le ratio entre les composants partagés et spécifiques, les auteurs notent que l'approche est généralement robuste à ces réglages. L'article conclut que le partage de paramètres spectraux offre une direction prometteuse pour atteindre à la fois l'efficacité mémoire et la diversité comportementale, bien que des travaux futurs puissent explorer l'extension de ces principes aux algorithmes on-policy.