💻 computer science

Counterfactual Conditional Likelihood Rewards for Multiagent Exploration

Deze paper introduceert Counterfactual Conditional Likelihood (CCL) beloningen, die de unieke bijdrage van elke agent aan de gezamenlijke verkenning isoleren om redundantie te voorkomen en de samenwerking in multiagent-systemen te verbeteren, vooral in omgevingen met schaarse beloningen.

Oorspronkelijke auteurs: Ayhan Alp Aydeniz, Robert Loftin, Kagan Tumer

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ayhan Alp Aydeniz, Robert Loftin, Kagan Tumer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep vrienden hebt die samen een enorme, donkere schatkamer moeten verkennen. Het doel is om de schat te vinden, maar er is een probleem: de schat is zo goedkoop verborgen dat je er pas een beloning voor krijgt als iedereen op het juiste moment op het juiste plekje staat. Als ook maar één persoon de verkeerde kant op loopt, gebeurt er niets.

Dit is precies het probleem waar veel robot-teams of AI-agenten mee worstelen. Ze moeten samenwerken, maar ze krijgen bijna geen feedback (beloningen) totdat ze het perfect hebben gedaan.

Hier is hoe dit paper een oplossing voorstelt, vertaald naar alledaags taal:

Het Probleem: De "Blinde" Verkenners

In het verleden kregen elke robot een beloning als hij zelf iets nieuws zag.

De analogie: Stel je voor dat elke robot een eigen camera heeft. Als robot A een nieuwe muur ziet, krijgt hij een stipje. Als robot B ook diezelfde muur ziet, krijgt hij ook een stipje.
Het resultaat: Ze rennen allemaal naar dezelfde muur. Ze zijn allemaal druk bezig, maar ze werken niet samen. Het is alsof vijf mensen in een donkere kamer allemaal naar dezelfde hoek lopen omdat ze daar een lichtje hebben gezien, terwijl de schat in een andere hoek ligt. Ze "verdoen" hun tijd door elkaar te blokkeren.

De Oplossing: De "Wat-Zou-er-gebeurd-zijn"-Beloning (CCL)

De auteurs van dit paper hebben een slimme nieuwe manier bedacht om beloningen te geven. Ze noemen het Counterfactual Conditional Likelihood (CCL). Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel:

De Analogie van de Orkestleider:
Stel je een orkest voor.

De oude manier: Iedere muzikant krijgt een stipje als hij zelf een mooi geluid maakt. De violist speelt hard, de trompettist ook. Maar als ze allebei tegelijk spelen, klinkt het misschien als een lawaai, terwijl ze eigenlijk een harmonieus liedje moeten maken.
De nieuwe CCL-methode: De dirigent (het systeem) vraagt zich af: "Wat zou er gebeurd zijn als deze muzikant niet had gespeeld?"
- Als de trompettist stopt en het geluid van het orkest verandert van een lawaai naar een mooi liedje, dan is zijn bijdrage waardevol. Hij krijgt een grote beloning.
- Als de trompettist stopt en het geluid precies hetzelfde blijft (omdat de violist al hetzelfde deed), dan was zijn bijdrage overbodig. Hij krijgt geen beloning.

Met andere woorden: Je krijgt een beloning alleen als jouw actie uniek is voor het team en helpt om iets te ontdekken dat niemand anders al had gevonden.

Hoe werkt het in de praktijk?

De robots gebruiken een slim trucje om dit te berekenen zonder dat ze elkaar hoeven te "lezen" (wat erg moeilijk is):

De "Vergelijkende Spiegel": De robot kijkt naar wat hij nu ziet en vergelijkt dat met wat hij een seconde geleden zag (alsof hij een moment in de tijd terugreist).
De "Wat-zou-er-gebeurd-zijn" test: Het systeem simuleert: "Stel, deze robot had op dat moment niets gedaan (of bleef staan). Zou het team dan nog steeds hetzelfde beeld hebben gezien?"
- Als het antwoord nee is (het team had iets gemist zonder die robot), dan is de robot een held. Hij krijgt een beloning voor zijn unieke bijdrage.
- Als het antwoord ja is (het team had het al gezien), dan is de robot redundant. Geen beloning.

Waarom is dit zo goed?

In de experimenten (waar robots moesten samenwerken om punten op een kaart te vinden) zagen ze drie dingen:

Minder chaos: De robots rennen niet meer allemaal naar hetzelfde punt. Ze spreiden zich uit, omdat ze worden beloond voor het ontdekken van plekken die nog niet door het team zijn bezocht.
Beter samenwerken: Ze leren sneller om elkaar aan te vullen. Net als een goed team in een sportwedstrijd, waar iedereen een andere positie inneemt in plaats van allemaal naar de bal te rennen.
Werkt zelfs als het moeilijk is: Zelfs als de beloning heel zeldzaam is (bijvoorbeeld: je krijgt pas een punt als 5 robots tegelijk op één plek staan), lukt het de CCL-robots om dit te ontdekken. De oude methoden gaven daar vaak op.

De "Mix" (Het beste van twee werelden)

De auteurs ontdekten ook dat je de beste resultaten krijgt als je de oude methode (beloon voor eigen nieuwigheden) combineert met de nieuwe methode (beloon voor unieke team-bijdrage).

Analogie: Het is alsof je een team hebt dat zowel individuele sporters zijn (die goed zijn in hun eigen ding) als een perfect geoliede machine (die samenwerken). De combinatie zorgt ervoor dat ze snel leren, maar ook niet vergeten hoe ze samen moeten werken.

Conclusie

Kortom: Dit paper introduceert een slimme manier om robots te leren samenwerken door ze niet te belonen voor wat ze alleen doen, maar voor wat ze uniek bijdragen aan het gezamenlijke plaatje. Het voorkomt dat ze in een cirkel rond hun eigen neus blijven draaien, en duwt ze juist naar de plekken waar de echte samenwerking nodig is.

Probleemstelling

Efficiënte verkenning (exploration) is cruciaal voor multi-agent systemen om gecoördineerde strategieën te ontdekken, vooral in open-ended domeinen zoals zoek- en reddingsoperaties of planetaire verkenning. Het centrale probleem in deze context is de sparsiteit van beloningen (sparse rewards). In veel taken wordt alleen een beloning gegeven wanneer een team van agenten succesvol samenwerkt na een lange reeks acties.

Bestaande methoden voor verkenning, zoals intrinsieke beloningen gebaseerd op entropie-maximalisatie van lokale observaties, werken goed voor individuele agenten maar falen vaak in multi-agent settings:

Redundantie: Agenten verkennen dezelfde gebieden onafhankelijk van elkaar omdat ze niet bewust zijn van de inspanningen van hun teamgenoten.
Niet-stationariteit: Het gezamenlijke observatieruimte groeit combinatorisch met het aantal agenten. Traditionele dichtheids- en entropie-estimatoren worden onbetrouwbaar omdat de verdeling van gezamenlijke observaties verandert naarmate de beleidsstrategieën van de agenten evolueren.
Ontbreken van coördinatie: Zonder expliciete mechanismen voor gezamenlijke verkenning vinden agenten zelden de specifieke gecoördineerde acties die nodig zijn om de spaarzame team-beloning te behalen.

Methodologie: Counterfactual Conditional Likelihood (CCL)

De auteurs introduceren een nieuwe intrinsieke beloningsfunctie genaamd Counterfactual Conditional Likelihood (CCL). Het doel is om de unieke bijdrage van elke agent aan de gezamenlijke verkenning te kwantificeren, in plaats van simpelweg te belonen voor de nieuwheid van individuele waarnemingen.

Kernconcepten:

Gecentraliseerd Trainen, Gedecentraliseerd Executie (CTDE): Het framework gebruikt Multiagent Proximal Policy Optimization (MAPPO). Agenten handelen op basis van lokale observaties, maar de criticus (die de beloningen berekent) heeft toegang tot globale informatie.
Embedding: Om de hoge dimensionaliteit en niet-stationariteit van de gezamenlijke ruimte aan te pakken, wordt gebruik gemaakt van lokale willekeurige encoders (random encoders) om lokale observaties te projecteren naar een laag-dimensionale ruimte. Dit vermijdt het trainen van complexe, onhandelbare gezamenlijke embedding-netwerken.
Counterfactuele Redenering: Voor elke agent $i$ $i$ wordt een contrafactuele situatie gecreëerd waarbij de agent zijn huidige observatie vervangt door zijn observatie van de vorige tijdstap ( $o_{t-1}$ $o_{t - 1}$ ).
- De CCL-beloning meet het verschil in log-waarschijnlijkheid tussen de werkelijke gezamenlijke observatie en de contrafactuele gezamenlijke observatie (waarbij agent $i$ "inactief" is).
- Formule: $\hat{r}_i^{CCL} = \log p(o_t^i | o_t^{-i}) - \log p(\tilde{o}_t^i | o_t^{-i})$ .
- Hierbij is $o_t^{-i}$ de observatie van alle andere agenten. Een hoge beloning wordt gegeven als de huidige observatie van agent $i$ de waarschijnlijkheid van de gezamenlijke toestand significant verhoogt ten opzichte van de contrafactuele toestand.

Berekening:
De waarschijnlijkheden worden geschat via k-nn (k-nearest neighbors) dichtheidsbenaderingen in de ingebedde ruimte. Om de schattingen stabiel te houden, wordt een shared-radius methode gebruikt (gebaseerd op KSG-estimatoren), waarbij de effectieve straal wordt bepaald door het maximum van de stralen voor de werkelijke en contrafactuele embedding.

Mix-beloningen:
De auteurs combineren CCL met lokale entropie-maximalisatie (OEM) in een mix-beloning:
$r_t^{mix} = r_{team} + V(s_t)(r_i^{CCL} + \alpha \cdot r_i^{Local\_OEM})$
Dit combineert gedecentraliseerde diversiteit (lokaal) met gecoördineerde gezamenlijke verkenning (CCL).

Belangrijkste Bijdragen

Nieuwe Beloningsfunctie: CCL is de eerste methode die expliciet de bijdrage van een agent aan de gezamenlijke verkenning belooont door contrafactuele conditionering te gebruiken, zonder afhankelijk te zijn van onstabiele gezamenlijke embeddings.
Schalbaarheid en Stabiliteit: Door lokale willekeurige encoders en k-nn schattingen te gebruiken, is de methode schaalbaar naar grotere teams en robuust tegen niet-stationariteit.
Reductie van Redundantie: De methode straalt agenten af voor redundant gedrag en belooont alleen unieke informatie die bijdraagt aan de collectieve verkenning.
Empirische Validatie: Uitgebreide experimenten tonen aan dat CCL superieur is aan bestaande methoden in zowel continue multi-rover domeinen als deeltjes-omgevingen (particle environments) met tegenstanders.

Resultaten

De experimenten zijn uitgevoerd in twee hoofdomgevingen:

Multi-Rover Domein: Agenten moeten samenwerken om punten van interesse (POI's) te observeren. De moeilijkheidsgraad wordt bepaald door een "coupling factor" (het aantal agenten dat nodig is voor een POI).
- Resultaat: In settings met één POI en hoge coupling (zeer spaarzame beloningen) faalden agenten met alleen lokale entropie-maximalisatie volledig; ze verkeerden in redundante clusters. CCL-agenten slaagden erin gecoördineerde strategieën te ontwikkelen en de omgeving effectief te verkennen.
- Mix-resultaten: De mix-beloning (CCL + OEM) leverde de snelste convergentie op in minder complexe scenario's, maar CCL was essentieel voor de moeilijkste taken.
Deeltjes-omgevingen (Particle Environments): Taken zoals "Physical Deception", "Keep Away" en "Predator-Prey" met zowel coöperatieve als tegenwerkende agenten.
- Resultaat: CCL presteerde consistent beter dan lokale entropie-methoden, wat aantoont dat de methode robuust is in dynamische omgevingen met tegenstanders.

Kernbevindingen:

CCL versnelt het leren in domeinen met spaarzame team-beloningen.
Het leidt tot bredere en meer gebalanceerde dekking van de omgeving, in plaats van dat agenten dezelfde gebieden bezoeken.
De combinatie van CCL en lokale entropie biedt een goede balans, waarbij CCL de coördinatie garandeert en lokale entropie individuele diversiteit stimuleert.

Betekenis en Toekomstperspectief

Dit werk biedt een principieel antwoord op het probleem van coördinatie in multi-agent reinforcement learning (MARL) onder spaarzame beloningen. Door te focussen op de marginale bijdrage van een agent aan de gezamenlijke verkenning, lost CCL het probleem van redundantie op dat veel bestaande methoden parten speelt.

De studie benadrukt dat verkenning in multi-agent systemen niet noodzakelijkerwijs gedecentraliseerd hoeft te zijn; een gecentraliseerde evaluatie van de bijdrage (via de criticus) kan leiden tot superieure gedecentraliseerde uitvoering.
Beperkingen en Toekomst: De auteurs merken op dat de nauwkeurigheid van deeltjesgebaseerde dichtheidsschattingen kan afnemen naarmate het teamgrootte zeer groot wordt. Toekomstig werk richt zich op het integreren van modelgebaseerde verkenningstrategieën om dit te overwinnen.

Samenvattend biedt CCL een krachtig instrument om lokale nieuwheidsstimulansen te verbinden met globale coördinatie, wat essentieel is voor complexe, real-world multi-agent toepassingen.