Causal Effects with Unobserved Unit Types in Interacting Human-AI Systems

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een groot, druk feestje organiseert op een online platform. Op dit feestje zitten twee soorten mensen: echte mensen en slimme robots (AI) die zich perfect voordoen als mensen. Ze praten met elkaar, reageren op berichten en beïnvloeden elkaars stemming.

Het probleem? Je kunt als organisator niet zien wie mens is en wie robot. Ze zien er allemaal hetzelfde uit.

Nu wil je weten: "Wat gebeurt er met de echte mensen als ik een speciaal bericht (bijvoorbeeld een 'succesverhaal') in hun feed zet?" Maar omdat de robots ook reageren (misschien zelfs negatief op dat positieve bericht), wordt het totale plaatje erg verwarrend. Als je gewoon naar het gemiddelde kijkt, lijkt het alsof je bericht niets doet, terwijl het voor de echte mensen juist een groot effect heeft.

Dit artikel van William Overman en zijn collega's van Stanford University biedt een slimme oplossing voor precies dit probleem. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Naamloze" Menigte

In de oude wereld van wetenschappelijke experimenten wisten onderzoekers altijd wie ze onderzochten. Maar in de wereld van AI is dat niet meer zo.

De situatie: Je hebt een grote groep gebruikers. Sommigen zijn mens, sommigen zijn AI.
De moeilijkheid: Je hebt geen lijstje met namen. Je weet alleen dat "Gebruiker X" waarschijnlijk een mens is (bijvoorbeeld 80% kans) en "Gebruiker Y" waarschijnlijk een robot (20% kans).
Het doel: Je wilt weten wat het effect is op de echte mensen, maar je ziet ze niet. Je ziet alleen de chaos van alle reacties door elkaar.

2. De Oplossing: De "Grote Groepjes"-Strategie

De auteurs zeggen: "Oké, we kunnen niet kijken naar individuen, maar we kunnen wel kijken naar groepen."

Stel je voor dat je in plaats van naar één persoon te kijken, de hele menigte in verschillende bakken verdeelt op basis van hun "mens-zijn-kans":

Bak A: Vol met mensen die er heel menselijk uitzien (hoge kans op mens).
Bak B: Een mix van mensen en robots.
Bak C: Vol met mensen die er heel robotachtig uitzien (lage kans op mens).

Vervolgens geef je aan deze bakken verschillende behandelingen:

Bak A krijgt het positieve bericht.
Bak B krijgt niets.
Bak C krijgt het bericht, maar dan op een andere manier.

3. De Magie: Het Patroon Herkennen

Nu gebeurt er iets slim. Omdat je weet hoeveel procent van elke bak waarschijnlijk mens is, kun je een wiskundig patroon (een soort "recept") opstellen.

Als Bak A (veel mensen) heel enthousiast reageert op het bericht, en Bak C (weinig mensen) juist juist onverschillig of negatief reageert, dan zie je een duidelijk verschil in de gemiddelde reactie van de bakken.
Door deze verschillen te vergelijken, kan de computer de "menselijke reactie" uit de "robotreactie" filteren. Het is alsof je twee soorten geluiden in een luide kamer probeert te scheiden: als je weet dat de ene groep mensen altijd lacht en de andere groep altijd fluistert, kun je uit het totale lawaai precies berekenen hoe hard de mensen aan het lachen waren.

4. De Simulatie: Een Proefkeuken met Robots

Om te bewijzen dat dit werkt, hebben de auteurs een virtuele dating-app gebouwd.

De acteurs: Ze gebruikten geavanceerde AI (LLMs) om zowel "mensen" als "robots" te spelen. De echte mensen (in de simulatie) waren optimistisch en reageerden positief op succesverhalen. De robots waren cynisch en zagen positieve verhalen als nep.
Het experiment: Ze gaven het succesverhaal aan een deel van de groep.
Het resultaat: Als je alleen naar het totaalplaatje keek, leek het alsof het bericht niets deed (want de robots haalden de positieve reactie van de mensen op). Maar met hun nieuwe methode konden ze precies zien: "Ah, voor de echte mensen is dit bericht een enorme boost!"

Waarom is dit belangrijk?

Vandaag de dag zitten we vol met AI-bots op sociale media. Als bedrijven of overheden iets willen testen (bijvoorbeeld: "Helpt dit nieuwe ontwerp om mensen gelukkiger te maken?"), kunnen ze niet zomaar kijken naar de cijfers. Als er veel bots tussen zitten die anders reageren dan mensen, krijg je een verkeerd beeld.

Deze paper geeft ons een bril om door de chaos van bots heen te kijken en te zien wat er echt gebeurt met de mensen. Het is een nieuwe manier om te experimenteren in een wereld waar we niet meer kunnen zien wie mens is en wie machine.

Kort samengevat:
Je kunt niet zien wie mens is en wie robot, maar door slimme groepjes te maken en te kijken hoe die groepjes in het gemiddelde reageren, kun je toch precies berekenen wat het effect is op de echte mensen. Het is alsof je een recept hebt om het menselijke geluid uit een storm van robotgeluid te filteren.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Het paper adresseert een fundamenteel probleem in het experimenteel onderzoek naar interactieve systemen die bestaan uit een gemengde populatie van mensen en AI-agenten (bijvoorbeeld op sociale media-platforms). De kernuitdagingen zijn:

Onwaarneembare eenheidstypes: Het platform kan niet onderscheiden welke gebruiker een mens is en welke een AI-agent. Hoewel er een prior (een waarschijnlijkheid) beschikbaar is voor het mens-zijn van een gebruiker, zijn de werkelijke types ( $U_i$ ) latent.
Onbekende netwerkintrferentie: De interactiestructuur tussen gebruikers is onzichtbaar. Uitkomsten evolueren door dynamische interacties (spillovers) tussen heterogene eenheden.
Doelstelling: Het schatten van het causale effect specifiek voor mensen (Human Total Treatment Effect, H-TTE), ondanks dat de data alleen aggregaten bevat en de onderliggende populatie-mix onbekend is.

Klassieke methoden voor netwerkintrferentie falen hier omdat ze vaak homogene populaties aannemen of de netwerktopologie vereisen, wat niet beschikbaar is in deze context.

Methodologie

De auteurs passen het Causal Message Passing (CMP) raamwerk aan voor settings met onzekere eenheidstypes. De aanpak bestaat uit drie hoofdblokken:

1. Model van Uitkomst-dynamiek

Ze modelleren de uitkomst $Y_i^t$ van een eenheid $i$ op tijdstip $t$ als een functie van:

Type-specifieke baselines en directe effecten: Mensen en AI's hebben verschillende responsen op behandeling ( $\tau_H, \tau_A$ ) en verschillende baselines ( $\delta_H, \delta_A$ ).
Interactie-effecten: Huidige behandelingen, vertraagde uitkomsten en hun interactie verspreiden zich via het netwerk. De gewichten van deze interacties zijn afhankelijk van het type van de ontvangende eenheid.
Stochastische ruis: Om onverklaarde variatie te vangen.

2. Theoretische Basis: Experimentele State Evolution (ESE)

Onder aannames van Gaussische interferentiegewichten en grote populaties ( $N \to \infty$ ), leiden de auteurs af dat de evolutie van het steekproefgemiddelde van uitkomsten binnen een subpopulatie $S$ deterministisch wordt.

De dynamiek hangt niet af van individuele types, maar alleen van de verwachte menselijke samenstelling ( $q_S$ ) van die subpopulatie en de behandelingsintensiteit ( $\pi_S$ ).
Dit leidt tot een lage-dimensionale recursie (State Evolution vergelijkingen) die de gemiddelde uitkomst voorspelt als functie van de parameters van het model en de samenstelling.

3. Schattingsalgoritme (Algorithm 1)

Het algoritme schat de mens-specifieke causaliteit in drie stappen:

Constructie van Subpopulaties: De populatie wordt gestratificeerd in subgroepen met systematisch verschillende verwachte menselijke samenstellingen ( $q^{(k)}$ ) en behandelingsgeschiedenissen ( $\hat{\pi}^{(k)}$ ). Dit wordt gedaan door te binning op de priors $Q_i$ en behandelingstijd.
Fitten van Coëfficiënten: De parameters van het model (zoals $\tau_H, \tau_A, \alpha, \beta, \gamma$ ) worden geschat door de voorspelde state-evolutie te laten overeenkomen met de waargenomen aggregaat-uitkomsten van de verschillende subpopulaties.
Projectie van Contrafacten: Met de geschatte parameters wordt het model gebruikt om twee tegenwerelden te simuleren voor een populatie die uitsluitend uit mensen bestaat ( $q=1$ $q = 1$ ):
- Een wereld waar iedereen behandeld wordt.
- Een wereld waar niemand behandeld wordt.
  Het verschil tussen deze twee trajecten vormt de schatter voor de H-TTE.

Belangrijkste Bijdragen

Identificatie onder onzekerheid: Het paper bewijst theoretisch dat kennis van de distributie van de populatiesamenstelling (via priors) voldoende is om mens-specifieke causale effecten te identificeren, zelfs zonder individuele labels of netwerkinformatie.
Uitbreiding van CMP: Het breidt het CMP-raamwerk uit van homogene populaties naar heterogene, onwaarneembare populaties, waardoor het toepasbaar wordt op moderne Human-AI systemen.
LLM-gedreven simulatie: De auteurs ontwikkelen een realistische simulator voor een online platform waar zowel mensen als AI-agenten worden gegenereerd door Large Language Models (LLMs) met verschillende temperaturen en prompts om systematisch verschillend gedrag te vertonen.

Resultaten

De methode werd getest op een gesimuleerd datingplatform met 200 gebruikers (50% mens, 50% AI).

Scenario: Een behandeling ("succesverhalen") werd ingezet. Dit had een positief effect op mensen (meer engagement) maar een negatief effect op AI-bots (die cynisch reageerden en minder engageerden).
Uitkomst:
- De ware mens-specifieke behandelingseffect (H-TTE) was sterk positief (~0.5).
- De populatiegemiddelde effect was bijna nul (~0.04) door de tegenstrijdige effecten van mensen en AI's die elkaar opheffen.
- Prestatie van het algoritme: De voorgestelde schatter (Algorithm 1) kon de mens-specifieke effecten nauwkeurig reconstrueren (foutmarge < 0.06), zelfs wanneer de kwaliteit van de mens/AI-classificatie (prior) matig was.
- Vergelijking met baselines: Bestaande methoden (zoals standaard CMP, Difference-in-Means) faalden volledig en schatten het effect als nul of zelfs negatief, omdat ze de type-heterogeniteit niet konden onderscheiden.

Significantie

Dit werk biedt een theoretisch en praktisch raamwerk voor het uitvoeren van betrouwbare experimenten in de opkomende wereld van Human-AI interacties.

Het lost het probleem op van "vervuilde" data door AI-bots, wat een groeiend probleem is op sociale platforms.
Het toont aan dat men niet hoeft te wachten tot perfecte classificatie-algoritmen beschikbaar zijn; zelfs met onzekere priors kunnen robuuste causale inzichten worden verkregen door slim gebruik te maken van aggregatiedynamiek en subpopulatie-variatie.
Dit is essentieel voor platformontwikkelaars en beleidsmakers om te begrijpen hoe interventies echte mensen beïnvloeden, zonder verstoord te worden door het gedrag van autonome AI-agenten.