🤖 machine learning

Feedback Attribution and Representation Geometry: Metrics for Comparing Individual and Shared Rewards in MARL

Dit artikel stelt met lage overhead-metrieken, EffRank/ $n$ en $D_\text{act}$ , aan om te demonstreren dat in coöperatieve multi-agent RL de geometrie van geleerde representaties primair wordt bepaald door geobserveerde rolinformatie in plaats van beloningsattributie, terwijl beloningsattributie voornamelijk manifesteert in gedragsverschillen.

Oorspronkelijke auteurs: Tasha Pais, Richard Higgins

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tasha Pais, Richard Higgins

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin een groep vrienden samen probeert een gigantische puzzel op te lossen. In de wereld van kunstmatige intelligentie wordt dit Multi-Agent Reinforcement Learning (MARL) genoemd. Denk aan het leren aan een zwerm robots om voetbal te spelen of aan een team digitale personages om tegen een draak te vechten. Het lastige deel is het uitzoeken hoe je ze "feedback" geeft. In de oude dagen, als het team won, kreeg iedereen een gouden ster, ongeacht of ze daadwerkelijk de bal hadden getrapt of gewoon stilstonden. Dit wordt een "gedeelde beloning" (shared reward) genoemd. Maar wat als we alleen een gouden ster gaven aan de robot die daadwerkelijk het doel scoorde? Dat is een "individuele beloning" (individual reward).

Wetenschappers vragen zich al lang af: maakt het uit hoe we deze gouden sterren uitdelen? Zorgt het geven van dezelfde beloning aan iedereen ervoor dat de hersenen van de robots (hun interne "representaties") een saaie, identieke klomp worden waar iedereen hetzelfde denkt? Of dwingt het geven van individuele credits hun hersenen om onderscheidend en gespecialiseerd te blijven? Dit artikel duikt in die vraag, door te vragen of de manier waarop we een team belonen een zichtbare vingerafdruk achterlaat op hoe de structuren van hun AI-hersenen zijn, of dat het alleen verandert hoe ze handelen.

Het Grote Belonings-experiment

De onderzoekers besloten een detective te spelen met een team AI-krijgers in een videogame genaamd SMACv2. Stel je een slagveld voor waar vijf vriendelijke eenheden (laten we ze "Protoss" noemen) vechten tegen vijf vijanden. Elke vriendelijke eenheid heeft een specifieke taak: sommigen zijn snelle verkenners, anderen zijn zware klappers, en er zijn ook reusachtige tanks. In het spel kan de AI precies zien wat voor soort eenheid het is.

Het team trainde deze AI-agenten met een slim leeralgoritme genaamd MAPPO. Ze voerden twee hoofdexperimenten uit:

De "Teamspeler"-modus: Elke agent kreeg exact dezelfde beloning op basis van of het team won of verloor, ongeacht wat ze deden.
De "Sterspeler"-modus: Elke agent kreeg een beloning op basis van hoeveel schade zij persoonlijk aanrichtten.

De grote vraag was: als we overschakelen van "Sterspeler" naar "Teamspeler", zal de interne hersenkaart van de AI dan instorten? Zullen de hersenen van de verkenner precies zo gaan lijken als die van de tank omdat ze allemaal dezelfde koekjes krijgen?

De Verrassing: De Hersenkaart Veranderde Niet

Hier is de wending die het onderzoek vond. De onderzoekers verwachtten dat de "Teamspeler"-modus de AI-hersenen modderig en identiek zou maken. Ze hadden het mis.

Ze maten de "vorm" van de AI-hersenen met een geavanceerd wiskundig hulpmiddel genaamd EffRank/n (wat in feidelijk controleert in hoeveel verschillende richtingen de hersenen denken) en een probe (een eenvoudige test om te zien of je iemands taak kunt raden door alleen naar de hersenactiviteit te kijken).

De resultaten waren verrassend:

Met Individuele Beloningen: De AI-hersenen waren duidelijk onderscheidend. De verkenners, tanks en zware klappers leefden in verschillende "buurten" in de hersenkaart. De probe kon de taak van de eenheid ongeveer 73% van de tijd correct raden (veel beter dan de 33% kans bij willekeurig gokken).
Met Gedeelde Beloningen: De AI-hersenen zagen er bijna exact hetzelfde uit. De probe raadde de taak nog steeds in 75% van de gevallen correct. De "vorm" van de hersenen stortte helemaal niet in.

Dus de manier waarop ze de gouden sterren uitdeelden, veranderde de structuur van de AI-hersenen niet. De geometrie bleef hetzelfde.

De Echte Boosdoener: Wat Ze Konden Zien

Als de beloning de hersenvorm niet veranderde, wat dan wel? De onderzoekers realiseerden zich dat het antwoord voor het grijpen lag: de observatie.

In het spel werd elke AI-agent vanaf het begin verteld: "Jij bent een Verkenner" of "Jalui bent een Tank". Het was alsof je een uniform droeg met je baan erop geschreven. Omdat de AI zijn eigen rol kon zien, organiseerden de hersenen zich van nature om die specifieke taak aan te kunnen, zelfs als iedereen dezelfde beloning kreeg.

Om dit te bewijzen, speelden de onderzoekers een trucje. Ze "maskeerden" de observatie, wat betekent dat ze de AI vertelden: "Jij bent een Verkenner", maar vervolgens het deel van het scherm afdekten dat de AI liet zien wat voor soort eenheid het was. Ze vertelden de AI niet wat hij was; ze lieten hem het zelf uitzoeken uit de chaos van de strijd.

Het resultaat was dramatisch.

Wanneer ze het eenheidstype verborgen, daalde de nauwkeurigheid van de probe van ~74% naar 49% (wat nauwelijks beter is dan willekeurig gokken).
De duidelijke, georganiseerde hersenstructuur stortte in tot één enkele, rommelige klomp.
Dit gebeurde voor zowel de "Teamspeler"- als de "Sterspeler"-groepen.

Dit bewees dat de duidelijke, georganiseerde hersenstructuur niet werd veroorzaakt door het beloningssysteem. Het werd veroorzaakt doordat de AI zijn eigen rol kon zien. Zodra je de visuele aanwijzing wegnam, kon het beloningssysteem niet magisch een gespecialiseerd brein creëren op zichzelf.

Gedrag versus Hersenstructuur

Dus deed het beloningssysteem niets? Niet helemaal. Hoewel de hersenstructuur hetzelfde bleef, veranderde het gedrag.

Wanneer de agenten individuele beloningen kregen (de "Sterspeler"-modus), gedroegen ze zich meer verschillend van elkaar. De onderzoekers maten dit met een metriek genaamd Dact, die controleert hoe verschillend de acties van de agenten zijn.

Individuele Beloningen: De agenten waren diverser in hun acties (1.23 op de Dact-schaal).
Gedeelde Beloningen: De agenten waren iets meer vergelijkbaar in hun acties (1.07 op de Dact-schaal).

Kortom, het geven van individuele beloningen maakte de agenten creatiever en diverser in hun spel, maar het dwong hun hersenen niet om in nieuwe vormen te reorganiseren. De vorm was er al omdat ze konden zien wat ze moesten zijn.

De Conclusie

Het artikel concludeert dat als je wilt weten of een AI-team echt aan het specialiseren is, je niet alleen naar de organisatie van hun hersenen kunt kijken als ze "uniformen" dragen (hun eigen rollen zien). De organisatie is misschien slechts een reflectie van wat ze kunnen zien, en niet van hoe ze worden beloond.

Om echt te testen of een beloningssysteem speciale rollen creëert, moet je de visuele aanwijzingen wegnemen. In dit specifieke spel veranderde het beloningssysteem hoe het team speelde (hun gedrag), maar de structuur van hun geest werd bepaald door de informatie die ze te zien kregen. De onderzoekers suggereren dat toekomstige tests "verborgen rollen" moeten gebruiken — waarbij de AI zijn taak niet weet — om echt te zien of beloningen gespecialiseerde hersenen vanuit het niets kunnen opbouwen.

Ze testten dit ook op een ander, groter spel genaamd "Tribal Village" met 48 agenten, en vonden vergelijkbare resultaten: de metrieken konden de bekwaamheid van de agenten meten, maar het type beloning creëerde geen duidelijk verschil in de geometrie van de hersenen. De tools die ze bouwden (EffRank/n en Dact) zijn snel en gemakkelijk te gebruiken, met minder dan 5% extra werk, waardoor ze ideaal zijn om te controleren of AI-teams echt leren samenwerken of gewoon hun uniformen uit het hoofd leren.

Technische Samenvatting: Feedbacktoeschrijving en Representatiegeometrie in MARL

Probleemstelling

In coöperatief Multi-Agent Reinforcement Learning (MARL) vervangen beoefenaars regelmatig per-agent bijdrage-signalen door een enkel teamgemiddeld beloningssignaal. Hoewel dit agenten afstemt op een gezamenlijk doel, creëert het een probleem met de feedbacktoeschrijving waarbij elke agent identieke feedback ontvangt, ongeacht de specifieke bijdrage van zijn actie aan de uitkomst.

De centrale vraag die dit werk adresseert is of deze keuze van beloningstoeschrijving (individueel versus gedeeld) een meetbare signatuur achterlaat in de geleerde representaties (geometrie) of het gedrag van competente agenten. Een motiverende hypothese, afgeleid van grootschalige MARL-mislukkingen in omgevingen zoals Neural MMO, suggereert dat gedeelde feedback gedeelde encoders kan comprimeren onder de dimensionaliteit die vereist is voor roldifferentiatie, wat leidt tot homogene strategieën. De auteurs stellen echter dat de geobserveerde rolinformatie in de input-toestand de geometrische analyses kan verwarren, waardoor het moeilijk is om te onderscheiden of rolstructuur voortkomt uit beloningstoeschrijving of directe observatie.

Methodologie

Diagnostiek

Het artikel stelt twee laag-overhead diagnostische instrumenten voor om de effecten van beloningstoeschrijving te evalueren:

EffRank/n (Effectieve Rang genormaliseerd door Aantal Agenten): Deze metriek schat de dimensionaliteit van de gedeelde encoder-embeddingruimte. Het wordt berekend als de effectieve rang van de singuliere waarden van agent-embeddings, genormaliseerd door het aantal agenten ( $n$ $n$ ).
- Interpretatie: Een waarde nabij $k/n$ (waarbij $k$ het aantal rollen is) suggereert onderscheidende geometrische richtingen voor elke rol. Een waarde nabij $1/n$ duidt op een ineenstorting naar een enkele gedeelde richting. De metriek wordt berekend op tijdgemiddelde GRU-embeddingcentra om de agent/rol-geometrie te reflecteren in plaats van vluchtige tijdstappen.
Dact (Gemiddelde Paarsgewijze KL-divergentie): Dit meet gedragsdiversiteit door de gemiddelde paarsgewijze Kullback-Leibler-divergentie tussen de actieverdelingen van agenten te berekenen.
- Interpretatie: Het legt een-staps actie-divergentie vast. Omdat het beleid (policy) gedeeld is, reflecteren absolute waarden evenzeer de observatie-diversiteit als de specialisatie. Het wordt comparatief gebruikt over gematchte condities om te detecteren of beloningstoeschrijving het gedrag verandert zonder de gedecodeerde rolgeometrie te wijzigen.

Experimentele Opzet

De primaire evaluatie gebruikt SMACv2 (Protoss 5 vs. 5), waarbij vijf geallieerde eenheden (Stalker, Zealot, Colossus) vechten tegen vijf vijanden.

Policy Architectuur: Alle agenten gebruiken een volledig gedeelde MAPPO-policy met een recurrente GRU-encoder, lineaire actor- en critic-heads. Er zijn geen agent-specifieke parameters.
Variabelen:
- Beloningstoeschrijving: Individueel (beloning evenredig aan de bijdrage aan schade) versus Gedeeld (teamgemiddelde beloning).
- Observatie: Geobserveerd (unit-type bits zijn inbegrepen) versus Gemaskeerd (de eigen unit-type bits van de agent zijn op nul gezet, hoewel de status van bondgenoten/vijanden behouden blijft).
Training: Policies worden getraind voor 4 miljoen omgevingsstappen.
Evaluatie: Metrieken worden berekend op deterministische evaluatie-trajecten (32 episodes per seed, 3 seeds). Een "leave-one-agent-slot-out" logistische regressie-probe wordt gebruikt om te testen of unit-types kunnen worden gedecodeerd uit de embeddings, wat algemene kennis garandeert in plaats van slot-memorisatie.

Een secundair experiment wordt uitgevoerd in een Tribal Village omgeving met 48 agenten om schaalbaarheid te testen.

Belangrijkste Resultaten

1. Observatie stuurt Geometrie, niet Beloning

In de standaardinstelling waar het unit-type wordt geobserveerd:

Geometrie: Zowel individuele als gedeelde beloningspolicies vertonen bijna identieke EffRank/n (0.29 vs. 0.31) en Probe Accuracy (0.73 vs. 0.75, significant boven de 1/3 kans-baseline).
Gedrag: Dact is hoger voor individuele beloningen (1.23 vs. 1.07), en de winstpercentages zijn iets hoger (0.48 vs. 0.39).
Conclusie: De aanwezigheid van een onderscheidende rolgeometrie wordt gedreven door de directe observatie van unit-types, niet door het beloningstoeschrijvingsschema. Beide beloningsschema's stellen de gedeelde encoder in staat om de embeddingruimte te segmenteren op basis van unit-type wanneer die informatie zichtbaar is.

2. Maskeren laat Rol-signalen instorten

Wanneer unit-type bits worden gemaskeerd:

Probe Accuracy: Daalt aanzienlijk voor beide beloningsarmen naar ~0.49 (slechts iets boven de kans).
Geometrie: EffRank/n blijft stabiel (0.29–0.31), maar de onderscheidende rolclusters versmelten.
Gedrag: Individuele beloningen presteren nog steeds beter dan gedeelde beloningen in winstpercentage (0.39 vs. 0.24) en Dact (1.13 vs. 0.98), maar ze slagen er niet in de unit-type geometrie te herstellen.
Conclusie: Zonder directe observatie induceert geen van beide beloningsschema's een sterke, decodeerbare rolgeometrie. Beloningstoeschrijving beïnvloedt gedrag (diversiteit en competentie) duidelijker dan de geometrische structuur van de representatie wanneer rolinformatie niet expliciet wordt verstrekt.

3. Bevindingen uit Tribal Village

In de 48-agenten Tribal Village omgeving bereikten zowel individuele als gedeelde beloningsagenten een competente prestatie (winnen van 84.4% van de evaluaties). Hoewel classifiers in staat waren om hoog- versus laag-bijdragende agenten te onderscheiden, vertoonden EffRank/n en Dact geen duidelijke scheiding tussen de beloningsarmen, wat de bevinding versterkt dat deze metrieken bestaande informatie in de encoder identificeren in plaats van te bewijzen dat het beloningsschema deze heeft gecreëerd.

Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

Nieuwe Diagnostiek: Het definieert EffRank/n en Dact als computationeel efficiënte instrumenten voor het diagnosticeren van effecten van beloningstoeschrijving op representatiegeometrie en gedragsdiversiteit.
Empirische Validatie: Het valideert deze metrieken op competente SMACv2-policies getraind voor 4M stappen.
Resolutie van Verwarringen: Het demonstreert dat in SMACv2 de hoge rol-probe accuratesse vaak reflectie is van de geobserveerde rol-input in plaats van specialisatie geïnduceerd door beloningstoeschrijving.

Betekenis:
De auteurs stellen dat geometrische diagnostiek in MARL de geobserveerde rolinformatie moet controleren. De studie suggereert dat op SMACv2 "individuele versus gedeelde beloningen gedrag duidelijker veranderden dan de representatiegeometrie." De geobserveerde rol-input verklaart de gemeten rolgeometrie, terwijl beloningstoeschrijving zich primair manifesteert in actiediversiteit en competentie. Bijgevolg, om echt te testen of beloningstoeschrijving rolspecialisatie creëert, moet toekomstig werk gebruikmaken van persistente rollen die verborgen zijn voor observatie, om de "geobserveerde rol-shortcut" te voorkomen waarbij geometrie simpelweg een reflectie is van de input-toestand. De voorgestelde metrieken voegen minder dan 5% overhead toe aan training en evaluatie.