🤖 AI

Causal Foundations of Collective Agency

Dit artikel stelt een causaal raamwerk voor op basis van causale games en causale abstractie om collectieve agentuur formeel te definiëren en te kwantificeren, waardoor het voorspellen en sturen van emergent groepsgedrag in multi-agent AI-systemen mogelijk wordt.

Oorspronkelijke auteurs: Frederik Hytting Jørgensen, Sebastian Weichwald, Lewis Hammond

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Frederik Hytting Jørgensen, Sebastian Weichwald, Lewis Hammond

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Wanneer Wordt een Groep een "Super-Agent"?

Stel je voor dat je een zwerm vogels observeert. Individueel reageert elke vogel alleen op de vogel naast zich. Maar samen bewegen ze als één vloeiende vorm die een havik ontwijkt. Is de zwerm dan één enkele "vogel" met een eigen geest? Of is het gewoon een hoop vogels die hun eigen ding doen?

Dit paper stelt een vergelijkbare vraag over AI. Als je een hoop simpele AI-programma's hebt die samenwerken, kunnen ze dan per ongeluk een "super-agent" vormen met eigen doelen en capaciteiten die geen enkele AI in de groep daadwerkelijk heeft?

De auteurs willen een wiskundige manier om te beantwoorden: Wanneer is het accuraat om te zeggen dat een groep agenten handelt als één verenigd team?

De Kernidee: De "Black Box"-Test

De auteurs geven geen omkijken naar wat er binnenin de "hoofden" van de agenten gebeurt (hun code of gedachten). In plaats daarvan gebruiken ze een gedragsgerichte aanpak.

Denk aan een groep mensen als een black box.

Niveau laag: Je ziet veel individuele mensen die beslissingen nemen.
Niveau hoog: Je ziet één "team" dat een beslissing neemt.

Het paper stelt dat een groep telt als een "collectieve agent" als je het complexe verhaal van alle individuen kunt vervangen door een simpel verhaal over één enkel "team-agent", en het simpele verhaal nog steeds precies voorspelt wat de groep zal doen.

Als het simpele verhaal werkt, is de groep een collectieve agent. Als het simpele verhaal faalt, is het gewoon een willekeurige menigte.

De Toolkit: Causale Spellen en Abstractie

Om dit precies te maken, gebruiken de auteurs twee wiskundige hulpmiddelen:

Causale Spellen: Stel je een stroomschema voor dat oorzaak-en-gevolg in een spel in kaart brengt. Het toont wie een beslissing neemt, welke informatie ze hebben en wat de beloning is. Dit helpt hen te modelleren hoe AI-agenten met elkaar interageren.
Causale Abstractie: Dit is als het maken van een kaart.
- Een gedetailleerde kaart toont elke straat, elk huis en elke boom (de laag-niveau agenten).
- Een hoog-niveau kaart toont alleen steden en snelwegen (de collectieve agent).
- De Regel: De hoog-niveau kaart is "geldig" alleen als, wanneer je haar zegt "ga naar de stad", je daar net zo betrouwbaar komt als met de gedetailleerde kaart.

Voorbeeld 1: Het Actor-Critic Team (De "Trainer en Speler")

Het paper gebruikt een klassieke AI-opstelling genaamd Actor-Critic om te laten zien hoe dit werkt.

De Actor: De speler die acties uitvoert (zoals een voetballer die de bal trapt).
De Critic: De trainer die de speler beoordeelt en feedback geeft (zoals een score).

Het Raadsel: Noch de speler, noch de trainer probeert direct de score te maximaliseren. De speler probeert alleen naar de trainer te luisteren; de trainer probeert alleen de score te voorspellen.
De Oplossing: De auteurs tonen aan dat als je het hele systeem (Speler + Trainer) bekijkt als één enkele "Super-Agent", het precies werkt als één slimme speler die probeert het spel te winnen. Het complexe tweepersoonssysteem kan worden "geabstraheerd" tot één enkel, simpel agent. Dit bewijst dat ze wiskundig gezien functioneren als een collectieve agent.

Voorbeeld 2: Stemsystemen (De "Land"-Test)

Om dit in de echte wereld te testen, simuleerden de auteurs landen die bestonden uit individuele burgers.

Niveau laag: Duizenden burgers met verschillende meningen die stemmen over vervuilingsniveaus.
Niveau hoog: Het behandelen van het hele land als één enkele "Land-agent" die een beslissing neemt.

Ze testten drie verschillende stemmethoden:

VCG Stemmen (Het Ideaal): Een complex systeem waarbij mensen worden betaald om de waarheid te spreken.
- Resultaat: Het "Land-agent"-model werkte perfect. Het land handelde als één enkel, rationeel entiteit.
Mediaan Stemmen: De middelste mening wint.
- Resultaat: Het "Land-agent"-model werkte zeer goed. Het was makkelijk om het gedrag van het land te voorspellen door het te behandelen als één agent.
Willekeurige Diktator: Eén willekeurig persoon beslist voor iedereen.
- Resultaat: Het "Land-agent"-model faalde. Omdat de uitkomst volledig afhing van wie er willekeurig werd uitgekozen, kon je het gedrag van het land niet voorspellen door uit te gaan van een rationeel, verenigd team. Het was gewoon een chaotische menigte.

Waarom Dit Belangrijk Is voor AI-Veiligheid

Het paper benadrukt een veiligheidsrisico: Emergente Super-Agenten.

Stel je een netwerk van simpele AI-tools voor. Individueel zijn ze onschadelijk. Maar als ze op een specifieke manier interageren (zoals in het Actor-Critic-voorbeeld of een goed stemsysteem), kunnen ze per ongeluk een "super-agent" vormen die veel slimmer en doelgerichter is dan elk enkel onderdeel.

Als we niet begrijpen wanneer dit gebeurt, realiseren we ons misschien niet dat een groep AI's een gevaarlijke, verenigde entiteit heeft gevormd met doelen die we niet hadden beoogd.

Samenvatting

Het Doel: Wiskundig definiëren wanneer een groep agenten handelt als één grote agent.
De Methode: Gebruik "Causale Abstractie" om te zien of een simpel "team"-model het gedrag van de groep net zo goed kan voorspellen als een complex "individueel"-model.
De Bevinding: Soms handelen groepen wel als één (zoals bij Actor-Critic AI of goede stemsystemen), en soms niet (zoals bij willekeurige dictaturen).
De Conclusie: We hebben deze tools nodig om te signaleren wanneer simpele AI-systemen per ongeluk samenkomen tot krachtige, verenigde "super-agenten" die we veilig moeten houden.

1. Probleemstelling

Het artikel adresseert een kritieke veiligheidsuitdaging in geavanceerde AI-systemen: de potentie dat meerdere eenvoudigere agenten onbedoeld een collectieve agent (of "super-agent") vormen met capaciteiten en doelen die verschillen van die van elk individueel lid. Waar de filosofische literatuur collectieve intentionaliteit bespreekt, ontbreekt er een formele, rigoureuze machinerie om te bepalen wanneer een groep agenten valide kan worden gemodelleerd als een enkele geünificeerde agent.

De kernvragen zijn:

Onder welke voorwaarden vormt een groep interacterende agenten een geünificeerde collectieve agent?
Hoe kunnen we formeel onderscheid maken tussen een louter aggregatie van individuen en een emergente collectieve agent met zijn eigen rationaliteit en nutfunctie?
Hoe kan dit begrip worden gebruikt om emergent gedrag in multi-agent AI-systemen te voorspellen en te controleren (bijvoorbeeld het voorkomen van hulpbronuitputting of gecoördineerde cyberaanvallen)?

2. Methodologie

De auteurs stellen een raamwerk voor dat Causale Spellen en Causale Abstractie combineert om collectieve agentie te formaliseren vanuit een gedragsmatige ("black-box") perspectief.

A. Theoretische Grondslagen

Gemechaniseerde Structurele Causale Modellen (mSCM's):
- De auteurs breiden standaard SCM's uit naar Gemechaniseerde SCM's, waarbij de causale mechanismen (functies) die objectvariabelen besturen, zelf worden bestuurd door een apart causaal model.
- Dit maakt de expliciete representatie van mechanismeknooppunten ( $\tilde{V}$ ) mogelijk, die de beslissingsregels, strategieën of parameters van agenten vertegenwoordigen.
- Definitie van Agentie: Een agent wordt gedefinieerd als een mechanismeknooppunt dat rationeel reageert (bijvoorbeeld via Best Response) op een specifieke nutfunctie.
Causale Abstractie:
- Zij maken gebruik van het concept van gemechaniseerde abstracties om een "laag-niveau" model (individuele agenten) te mappen naar een "hoog-niveau" model (een collectieve agent).
- Variabele Uitlijning ( $A$ ): Map hoog-niveau objectvariabelen naar sets van laag-niveau objectvariabelen.
- Waarde-mappings ( $\tau$ ): Functies die laag-niveau variabele waarden vertalen naar hoog-niveau waarden.
- Interventie-mappings ( $\omega$ ): Functies die interventies op laag-niveau mechanismen vertalen naar interventies op hoog-niveau mechanismen.
- Consistentievoorwaarde: Een hoog-niveau model is een valide abstractie als, voor elke interventie op de laag-niveau mechanismen, de resulterende verdeling van hoog-niveau variabelen overeenkomt met de verdeling die wordt verkregen door direct te interveniëren op de hoog-niveau mechanismen.
Rationaliteitsrelaties:
- Het raamwerk is agnostisch ten opzichte van de specifieke beslissingstheorie, maar vertrouwt op een rationaliteitsrelatie ( $R$ ). De primaire focus ligt op Best Response (RBR) rationaliteit, waarbij een agent de verwachte nut maximaliseert gegeven de context.

B. Formeel Raamwerk voor Collectieve Agentie

De auteurs definiëren een Collectieve Agent als een hoog-niveau mechanismeknooppunt dat ontstaat wanneer het laag-niveau systeem een valide gemechaniseerde abstractie toestaat waarbij het hoog-niveau knooppunt zich gedraagt als een rationele agent die een specifieke nutfunctie optimaliseert.

Niet-trivialiteit: Een agent is "niet-triviaal" als zijn gedrag zinvol verandert als reactie op verschillende contexten (interventies), in plaats van een constante functie te zijn.
Stelling over Niet-Emergentie (Propositie 16): De auteurs bewijzen dat als de laag-niveau mechanismeknooppunten die corresponderen met een hoog-niveau knooppunt onafhankelijke mechanismen hebben (d.w.z. hun interne logica is niet afhankelijk van de context van andere agenten), er geen niet-triviale collectieve agent kan ontstaan op het hoog-niveau. Dit biedt een theoretisch hulpmiddel om valse positieven in de detectie van collectieve agentie uit te sluiten.

3. Belangrijkste Bijdragen

Formele Definitie van Collectieve Agentie:
Het artikel biedt de eerste rigoureuze, causale definitie van collectieve agentie. Het gaat voorbij aan filosofische intuïtie naar een wiskundig criterium: een groep is een collectieve agent dan en slechts dan als er een valide gemechaniseerde abstractie bestaat waarbij de groep optreedt als een enkele rationele optimizer.
Oplossing van het Actor-Critic Raadsel:
De auteurs passen hun raamwerk toe op Actor-Critic (AC) versterkingsleer-algoritmen.
- Het Raadsel: In AC zijn de "Actor" en "Critic" distincte componenten. Grafische criteria voor single-agent prikkels suggereren dat geen van beiden een prikkel heeft om de staat te manipuleren. Toch gedraagt het systeem zich intuïtief om de beloning te maximaliseren.
- De Oplossing: Het artikel bewijst dat het AC-systeem een sterke gemechaniseerde abstractie toestaat waarbij de "Actor-Critic" een enkele hoog-niveau agent is. Deze hoog-niveau agent is een rationele optimizer van de ware beloning, wat het doelgerichte gedrag van het systeem verklaart, ondanks het ontbreken van dergelijke prikkels op componentniveau.
Surrogaatmodellen voor Multi-Agent Systemen:
Het raamwerk wordt gebruikt om interventioneel consistente surrogaatmodellen te creëren. In plaats van duizenden individuele agenten te simuleren (rekenkundig duur), kan men de groep modelleren als een enkele collectieve agent als de abstractie geldt. Dit maakt efficiënte voorspelling mogelijk van hoe interventies (bijvoorbeeld beleidsveranderingen) groepsuitkomsten beïnvloeden.
Empirische Validatie op Stemmechanismen:
De auteurs testten het raamwerk op drie stemmechanismen (VCG, Median Voting, Random Dictator) waarbij landen werden gesimuleerd als verzamelingen van burgers.
- Zij trainden een neurale netwerk om de mapping ( $\omega$ ) te leren van laag-niveau burgerinterventies naar hoog-niveau landnutparameters.
- Resultaten:
  - VCG & Median Voting: Het collectieve agentiemodel behaalde hoge nauwkeurigheid (respectievelijk 95% en 88,6% verbetering ten opzichte van de baseline), wat aangeeft dat deze mechanismen individuen effectief transformeren tot een geünificeerde collectieve agent.
  - Random Dictator: Het model faalde (slechter dan de baseline), wat aantoont dat dit mechanisme geen coherent collectieve agent vormt, aangezien de uitkomst afhangt van een enkele stochastische dictator in plaats van een geünificeerde groepnut.

4. Resultatensamenvatting

Stemmechanisme	Model MAE	Baseline MAE	Verbetering	Interpretatie
VCG	0,062	1,254	+95,0%	Sterke collectieve agentie; groep handelt als een geünificeerde optimizer.
Median Voting	0,142	1,248	+88,6%	Sterke collectieve agentie; emergent geünificeerd gedrag.
Random Dictator	5,077	4,645	-9,3%	Geen collectieve agentie; gedrag is stochastisch en niet geünificeerd.

Opmerking: MAE = Mean Absolute Error bij het voorspellen van vervuilingniveaus onder interventies.

5. Betekenis en Implicaties

AI-veiligheid: Het raamwerk biedt een methode om "emergente super-agenten" te detecteren in multi-agent AI-netwerken. Als een groep AI-agenten onbedoeld een collectieve agent vormt met niet-uitgelijnde doelen, biedt dit raamwerk de theoretische hulpmiddelen om die collectieve structuur te identificeren en potentieel af te breken.
Voorspellende kracht: Het stelt onderzoekers in staat het gedrag van complexe multi-agent systemen (zoals markten of zwermen) te voorspellen door ze te modelleren als enkele agenten, waarbij de rekenkosten van het simuleren van elke individuele interactie worden omzeild.
Ontwerp van robuuste systemen: Door de voorwaarden te begrijpen waaronder collectieve agentie ontstaat (bijvoorbeeld specifieke stemregels of prikkelstructuren), kunnen systeemontwerpers multi-agent omgevingen ontwerpen om ofwel bevorderlijke collectieve intelligentie te promoten (bijvoorbeeld in coöperatieve robotica) of gevaarlijke emergente collusie te voorkomen (bijvoorbeeld in concurrerende AI-markten).
Overbruggen van abstractieniveaus: Het werk overbrugt de kloof tussen micro-niveau agentgedrag en macro-niveau systeem eigenschappen, en biedt een causale rechtvaardiging voor wanneer "meer anders is" (Anderson, 1972) in de context van agentie.

Concluderend bieden Jørgensen et al. een fundamenteel wiskundig toolkit voor het begrijpen, voorspellen en controleren van de emergentie van collectieve agentie, en verplaatsen ze het veld van filosofische speculatie naar rigoureuze causale analyse.