🤖 machine learning

Feedback Attribution and Representation Geometry: Metrics for Comparing Individual and Shared Rewards in MARL

Cet article propose des métriques à faible coût, EffRank/ $n$ et $D_\text{act}$ , pour démontrer que dans l'apprentissage par renforcement multi-agent coopératif, la géométrie des représentations apprises est principalement déterminée par l'information de rôle observée plutôt que par l'attribution de la récompense, tandis que l'attribution de la récompense se manifeste principalement dans les différences de comportement.

Auteurs originaux : Tasha Pais, Richard Higgins

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tasha Pais, Richard Higgins

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où un groupe d'amis tente de résoudre un puzzle géant ensemble. Dans le monde de l'intelligence artificielle, cela s'appelle l'apprentissage par renforcement multi-agents (MARL - Multi-Agent Reinforcement Learning). Voyez cela comme l'enseignement à un essaim de robots comment jouer au football ou à une équipe de personnages numériques comment combattre un dragon. La partie délicate consiste à déterminer comment leur donner un « feedback ». Dans les vieux jours, si l'équipe gagnait, tout le monde recevait une étoile dorée, peu importe s'ils avaient réellement frappé dans le ballon ou s'ils étaient restés immobiles. C'est ce qu'on appelle une « récompense partagée ». Mais et si nous ne donnions une étoile dorée qu'au robot qui a réellement marqué le but ? C'est une « récompense individuelle ».

Les scientifiques se demandent depuis longtemps : est-ce que la manière de distribuer ces étoiles dorées importe ? Est-ce que le fait de donner la même récompense à tout le monde rend les cerveaux des robots (leurs « représentations » internes) semblables à un bloc identique et ennuyeux où tout le monde pense la même chose ? Ou est-ce que donner du crédit individuel force leurs cerveaux à rester distincts et spécialisés ? Ce document plonge dans cette question, demandant si la façon dont nous récompensons une équipe laisse une empreinte visible sur la façon dont le cerveau de leur IA est structuré, ou si cela ne change que la façon dont ils agissent.

La Grande Expérience de Récompense

Les chercheurs ont décidé de jouer les détectives avec une équipe de guerriers IA dans un jeu vidéo appelé SMACv2. Imaginez un champ de bataille où cinq unités amies (appelons-les « Protoss ») combattent cinq ennemis. Chaque unité amie a un travail spécifique : certaines sont des éclaireurs rapides, d'autres des cogneurs lourds, et d'autres des chars géants. Dans le jeu, l'IA peut voir exactement quel type d'unité elle est.

L'équipe a entraîné ces agents d'IA en utilisant un algorithme d'apprentissage intelligent appelé MAPPO. Ils ont mené deux expériences principales :

Le mode « Joueur d'équipe » : Chaque agent recevait exactement la même récompense basée sur le fait que l'équipe gagne ou perde, peu importe ce qu'ils faisaient.
Le mode « Joueur Vedette » : Chaque agent recevait une récompense basée uniquement sur les dégâts qu'il infligeait personnellement.

La grande question était : si nous passons de « Joueur Vedette » à « Joueur d'Équipe », la carte cérébrale de l'IA va-t-elle s'effondrer ? Le cerveau de l'éclaireur commencera-t-il à ressembler exactement à celui du char parce qu'ils reçoivent tous le même biscuit ?

La Surprise : La Carte Cérébrale n'a pas Changé

Voici le rebondissement trouvé par les chercheurs. Les chercheurs s'attendaient à ce que le mode « Joueur d'Équipe » rende les cerveaux de l'IA mous et identiques. Ils se sont trompés.

Ils ont mesuré la « forme » du cerveau de l'IA à l'aide d'un outil mathématique sophistiqué appelé EffRank/n (qui vérifie essentiellement dans combien de directions différentes le cerveau réfléchit) et d'une sonde (un test simple pour voir si l'on peut deviner le rôle d'une unité simplement en regardant son activité cérébrale).

Les résultats ont été surprenants :

Avec des récompenses individuelles : Les cerveaux de l'IA étaient distincts. Les éclaireurs, les chars et les cogneurs lourds vivaient dans des « quartiers » différents sur la carte cérébrale. La sonde pouvait deviner le rôle de l'unité correctement environ 73 % du temps (bien mieux que la chance de 33 % de deviner au hasard).
Avec des récompenses partagées : Les cerveaux de l'IA semblaient presque exactement les mêmes. La sonde devinait toujours le rôle correctement 75 % du temps. La « forme » du cerveau ne s'est pas effondrée du tout.

Ainsi, la façon de distribuer les étoiles dorées n'a pas changé la structure du cerveau de l'IA. La géométrie est restée la même.

Le Vrai Coupable : Ce qu'ils pouvaient Voir

Si la récompense n'a pas changé la forme du cerveau, qu'est-ce qui l'a fait ? Les chercheurs ont réalisé que la réponse se cachait bien en vue : l'observation.

Dans le jeu, chaque agent d'IA se voyait dire : « Tu es un Éclaireur » ou « Tu es un Char » dès le début. C'était comme porter un uniforme avec votre métier écrit dessus. Parce que l'IA pouvait voir son propre rôle, son cerveau s'organisait naturellement pour gérer ce travail spécifique, même si tout le monde recevait la même récompense.

Pour prouver cela, les chercheurs ont joué un tour. Ils ont « masqué » l'observation, ce qui signifie qu'ils ont dit à l'IA : « Tu es un Éclaireur », mais ils ont ensuite caché la partie de l'écran qui montrait à l'IA quel type d'unité elle était. Ils ne lui disaient pas ce qu'elle était ; ils la laissaient simplement le découvrir à travers le chaos de la bataille.

Le résultat fut dramatique.

Lorsque l'unité a été masquée, la précision de la sonde est tombée de ~74 % à 49 % (ce qui est à peine mieux qu'un choix aléatoire).
Les « quartiers » distincts de la carte cérébrale se sont effondrés en un seul bloc informe et désordonné.
Cela s'est produit pour les deux groupes, « Joueur d'Équipe » et « Joueur Vedette ».

Cela a prouvé que la structure cérébrale claire et organisée n'était pas causée par le système de récompense. Elle était causée par le fait que l'IA pouvait voir son propre rôle. Une fois que vous avez retiré l'indice visuel, le système de récompense n'a pas pu créer magiquement un cerveau spécialisé de lui-même.

Comportement vs Structure Cérébrale

Alors, le système de récompense n'a-t-il rien fait ? Pas tout à fait. Bien que la structure cérébrale soit restée la même, le comportement a changé.

Lorsque les agents recevaient des récompenses individuelles (le mode « Joueur Vedette »), ils agissaient de manière plus différente les uns des autres. Les chercheurs ont mesuré cela avec une métrique appelée Dact, qui vérifie à quel point les mouvements des agents sont diversifiés.

Récompenses individuelles : Les agents étaient plus diversifiés dans leurs actions (1,23 sur l'échelle Dact).
Récompenses partagées : Les agents étaient un peu plus similaires dans leurs actions (1,07 sur l'échelle Dact).

En bref, donner des récompenses individuelles a rendu les agents plus créatifs et différents dans leurs actions, mais cela n'a pas forcé leurs cerveaux à se réorganiser en de nouvelles formes. La forme était déjà là parce qu'ils pouvaient voir ce qu'ils étaient censés être.

La Conclusion

Le document conclut que si vous voulez savoir si une équipe d'IA est véritablement en train de se spécialiser, vous ne pouvez pas simplement regarder comment leurs cerveaux sont organisés s'ils portent des « uniformes » (s'ils voient leurs propres rôles). L'organisation pourrait n'être qu'un reflet de ce qu'ils voient, et non de la façon dont ils sont récompensés.

Pour vraiment tester si un système de récompense crée des rôles spécialisés, il faut retirer les indices visuels. Dans ce jeu spécifique, le système de récompense a changé la façon dont l'équipe jouait (leur comportement), mais la structure de leurs esprits était dictée par l'information qu'on leur donnait à voir. Les chercheurs suggèrent que les tests futurs doivent utiliser des « rôles cachés » — où l'IA ne connaît pas son job — pour voir réellement si les récompenses peuvent construire des cerveaux spécialisés à partir de rien.

Ils ont également testé cela sur un autre jeu plus vaste appelé « Tribal Village » avec 48 agents, et ont trouvé des résultats similaires : les métriques pouvaient mesurer la compétence des agents, mais le type de récompense ne créait pas de différence claire dans la géométrie du cerveau. Les outils qu'ils ont construits (EffRank/n et Dact) sont rapides et faciles à utiliser, ajoutant moins de 5 % de travail supplémentaire, ce qui les rend excellents pour vérifier si les équipes d'IA apprennent réellement à travailler ensemble ou s'ils se contentent de mémoriser leurs uniformes.

Résumé Technique : Attribution de Feedback et Géométrie des Représentations en MARL

Énoncé du Problème

Dans l'apprentissage par renforcement multi-agents (MARL) coopératif, les praticiens remplacent fréquemment les signaux de contribution par agent par une récompense unique moyennée par l'équipe. Bien que cela aligne les agents sur un objectif conjoint, cela crée un problème d'attribution de feedback où chaque agent reçoit un feedback identique, quel que soit l'apport spécifique de son action au résultat.

La question centrale abordée par ce travail est de savoir si ce choix d'attribution de récompense (individuelle vs partagée) laisse une signature mesurable sur les représentations apprises (géométrie) ou sur le comportement d'agents compétents. Une hypothèse motivante, issue d'échecs à grande échelle en MARL dans des environnements comme Neural MMO, suggère que le feedback partagé pourrait compresser les encodeurs partagés en dessous de la dimensionnalité requise pour la différenciation des rôles, menant à des stratégies homogènes. Cependant, les auteurs postulent que l'information de rôle observée dans l'état d'entrée peut confondre les analyses géométriques, rendant difficile la distinction entre une structure de rôle issue de la récompense ou de l'observation directe.

Méthodologie

Diagnostics

Le papier propose deux diagnostics à faible surcharge pour évaluer les effets de l'attribution de récompense :

EffRank/n (Rang Effectif Normalisé par le Nombre d'Agents) : Cette métrique estime la dimensionnalité de l'espace d'encodage partagé. Elle est calculée comme le rang effectif des valeurs singulières des plongements (embeddings) des agents, normalisé par le nombre d'agents ( $n$ $n$ ).
- Interprétation : Une valeur proche de $k/n$ (où $k$ est le nombre de rôles) suggère des directions géométriques distinctes pour chaque rôle. Une valeur proche de $1/n$ indique un effondrement vers une direction partagée unique. La métrique est calculée sur les centroïdes des plongements GRU moyennés dans le temps pour refléter la géométrie des agents/rôles plutôt que des instants transitoires.
Dact (Divergence KL Pairwise Moyenne) : Cette métrique mesure la diversité comportementale en calculant la divergence de Kullback-Leibler moyenne par paire entre les distributions d'actions des agents.
- Interprétation : Elle capture la divergence d'action à un pas de temps. Comme la politique est partagée, les valeurs absolues reflètent autant la diversité d'observation que la spécialisation. Elle est utilisée de manière comparative entre des conditions identiques pour détecter si l'attribution de récompense modifie le comportement sans altérer la géométrie des rôles décodés.

Configuration Expérimentale

L'évaluation principale utilise SMACv2 (Protoss 5 vs 5), où cinq unités alliées (Stalker, Zealot, Colossus) combattent cinq ennemis.

Architecture de la Politique : Tous les agents utilisent une politique MAPPO entièrement partagée avec un encodeur GRU récurrent, un acteur linéaire et des têtes de critique. Il n'y a pas de paramètres spécifiques à l'agent.
Variables :
- Attribution de Récompense : Individuelle (récompense proportionnelle à la contribution de dégâts) vs Partagée (récompense moyennée par l'équipe).
- Observation : Observée (bits de type d'unité inclus) vs Masquée (bits du type d'unité de l'agent mis à zéro, bien que les états alliés/ennemis subsistent).
Entraînement : Les politiques sont entraînées pendant 4 millions d'étapes d'environnement.
Évaluation : Les métriques sont calculées sur des trajectoires d'évaluation déterministes (32 épisodes par graine, 3 graines). Un sondage de régression logistique de type "laisser un emplacement d'agent de côté" (leave-one-agent-slot-out) est utilisé pour tester si les types d'unités peuvent être décodés à partir des plongements, garantissant la généralisation plutôt que la mémorisation de l'emplacement.

Une expérience secondaire est menée dans un environnement Tribal Village avec 48 agents pour tester la scalabilité.

Résultats Clés

1. L'Observation Dirige la Géométrie, Non la Récompense

Dans le cadre standard où le type d'unité est observé :

Géométrie : Les politiques à récompense individuelle et partagée présentent des EffRank/n presque identiques (0,29 vs 0,31) et une Précision du Sondage similaire (0,73 vs 0,75, significativement au-dessus de la base de 1/3).
Comportement : Le Dact est plus élevé pour les récompenses individuelles (1,23 vs 1,07), et les taux de victoire sont légèrement plus élevés (0,48 vs 0,39).
Conclusion : La présence d'une géométrie de rôle distincte est pilotée par l'observation directe des types d'unités, et non par le schéma d'attribution de récompense. Les deux schèmes de récompense permettent à l'encodeur partagé de sculpter l'espace d'encodage par type d'unité lorsque cette information est visible.

2. Le Masquage Effondre les Signaux de Rôle

Lorsque les bits de type d'unité sont masqués :

Précision du Sondage : Chute significativement pour les deux bras de récompense à environ 0,49 (légèrement au-dessus du hasard).
Géométrie : L'EffRank/n reste stable (0,29–0,31), mais les clusters de rôles distincts fusionnent.
Comportement : Les récompenses individuelles surpassent toujours les récompenses partagées en taux de victoire (0,39 vs 0,24) et en Dact (1,13 vs 0,98), mais elles ne parviennent pas à récupérer la géométrie du type d'unité.
Conclusion : Sans observation directe, aucun schéma de récompense n'induit une géométrie de rôle forte et décodable. L'attribution de récompense affecte le comportement (diversité et compétence) plus clairement qu'elle n'affecte la structure géométrique de la représentation lorsque l'information de rôle n'est pas explicitement fournie.

3. Résultats de Tribal Village

Dans l'environnement à 48 agents de Tribal Village, les agents à récompense individuelle et partagée ont tous deux atteint une performance compétente (victoire de 84,4 % des évaluations). Bien que des classificateurs puissent distinguer les agents à haute vs faible contribution, l'EffRank/n et le Dact n'ont pas montré de séparation nette entre les bras de récompense, renforçant l'idée que ces métriques identifient l'information existante dans l'encodeur plutôt que de prouver que le schéma de récompense l'a créée.

Contributions et Signification

Le papier apporte trois contributions principales :

Nouveaux Diagnostics : Il définit l'EffRank/n et le Dact comme des outils efficaces sur le plan computationnel pour diagnostiquer les effets de l'attribution de récompense sur la géométrie de la représentation et la diversité comportementale.
Validation Empirique : Il valide ces métriques sur des politiques SMACv2 compétentes entraînées pendant 4M d'étapes.
Résolution des Confusions : Il démontre que dans SMACv2, une haute précision de sondage de rôle reflète souvent l'observation du rôle en entrée plutôt que la spécialisation induite par la récompense.

Signification :
Les auteurs soutiennent que les diagnostics géométriques en MARL doivent contrôler l'information de rôle observée. L'étude suggère que sur SMACv2, "la récompense individuelle vs partagée a changé le comportement plus clairement que la géométrie de la représentation". L'entrée de rôle observée explique la géométrie de rôle mesurée, tandis que l'attribution de récompense se manifeste principalement dans la diversité des actions et la compétence. Par conséquent, pour réellement tester si l'attribution de récompense crée une spécialisation de rôle, les travaux futurs devront utiliser des rôles persistants qui sont cachés de l'observation, empêchant le "raccourci de l'observation du rôle" où la géométrie n'est qu'un reflet de l'état d'entrée. Les diagnostics proposés ajoutent moins de 5 % de surcharge à l'entraînement et à l'évaluation.