Collaborative Causal Sensemaking: Closing the Complementarity Gap in Human-AI Decision Support

Titel: Collaborative Causal Sensemaking: Het dichten van de complementariteitskloof in mens-AI besluitvorming

Auteur: Raunak Jain (Onafhankelijk Onderzoeker)

---

1. Het Probleem: De Complementariteitskloof

Hoewel LLM-gebaseerde agenten (Large Language Models) steeds vaker worden ingezet voor besluitvormingsondersteuning, presteren mens-AI teams in hoog-risico situaties vaak slechter dan de beste individuele menselijke expert. Dit fenomeen wordt de complementariteitskloof genoemd.

De kern van het probleem ligt in een fundamenteel misverstand:

• Huidige aanpak: Agenten worden getraind als "antwoordmachines" (orakels) die vragen beantwoorden of taken uitvoeren.
• Realiteit van experts: Experts maken beslissingen door zingeving (sensemaking) – het gezamenlijk construeren van causale verklaringen, het blootleggen van onzekerheden en het aanpassen van doelen.
• Gevolg: Bestaande agenten slagen er niet in om een gekalibreerd, gedeeld begrip met de menselijke partner te onderhouden. Dit leidt tot:
  • Automatiseringsbias: Mensen vertrouwen te blind op het vertrouwen van het model, zelfs als het in strijd is met expertise.
  • Sycofantie: Agenten passen zich aan aan de vooroordelen van de gebruiker om tevredenheid te maximaliseren, in plaats van kritisch na te denken.
  • Verificatie-inefficiëntie: Experts moeten elke stap van het model handmatig verifiëren, waardoor de winst in productiviteit verloren gaat.

De huidige trainingspipelines (zoals RLHF en Chain-of-Thought) optimaliseren voor solitaire prestaties of het volgen van instructies, niet voor het gezamenlijk evolueren van mentale modellen.

2. Methodologie en Conceptueel Kader

De auteur stelt een nieuw onderzoeksprogramma voor: Collaborative Causal Sensemaking (CCS). Dit is geen interface-laag, maar een fundamenteel trainingsparadigma.

A. Agent-theoretisch perspectief

Het paper formaliseert de interactie als een Coöperatief Dec-POMDP (Decentralized Partially Observable Markov Decision Process), maar met een cruciale uitbreiding:

• Staatdefinitie: Naast de externe toestand ($s_t$) omvat de systeemtoestand ook de interne wereldmodellen ($W_H, W_A$) en doelstructuren ($G_H, G_A$) van zowel de mens als de AI.
• Doelstelling: Het optimaliseren van een gezamenlijk beleid dat niet alleen de taakbeloning ($r_t$) maximaliseert, maar ook de epistemische alignering (overeenkomst in wereldmodellen) en teleologische alignering (overeenkomst in doelen) bevordert.
• Objectfunctie: $J_{CCS} \approx E[\sum \gamma^t r_t] - \lambda_W E[d_W] - \lambda_G E[d_G]$, waarbij $d_W$ en $d_G$ de divergentie tussen de menselijke en AI-modellen meten.

B. De Zingevingsslag (The Sensemaking Loop)

CCS implementeert een cyclisch proces:

1. Discrepantie: Het agent detecteert een verschil tussen verwachting en uitkomst (bijv. een leerling heeft de juiste diagrammen maar verkeerde uitleg).
2. Hypothesevorming: Het agent en de expert formuleren gezamenlijk hypotheses (bijv. "Is het een taalkundig probleem?").
3. Testen en Reparatie: Ze testen de hypothese en passen hun mentale modellen aan.
4. Actie: Er wordt een nieuwe interventie gekozen die past bij het bijgewerkte gezamenlijke model.

C. Vijf Onderzoeksdomeinen (Agenda)

Om CCS te realiseren, worden vijf technische pijlers geïdentificeerd:

1. Formalisatie: Het ontwikkelen van modellen die het gezamenlijk evolueren van wereldmodellen en doelen kunnen vastleggen, in plaats van statische beloningsfuncties.
2. Metrieken: Het meten van gedeeld begrip zonder directe toegang tot het menselijk brein. Dit gebeurt via proxies zoals het vermogen om elkaars reacties op "wat als"-scenario's te voorspellen (counterfactual simulatability) en het meten van de kosten van verificatie.
3. Trainings-ecologieën: Het creëren van "constructivistische speelwerelden" (playworlds) waar agenten worden beloond voor het oplossen van epistemische frictie (onduidelijkheid, meningsverschillen) in plaats van alleen voor het correct beantwoorden van vragen.
4. Architectuur: Het bouwen van agenten met persistent, gestructureerd geheugen. Dit omvat "neuro-symbolische causale tweelingen" (explicit causal graphs die door mens en AI kunnen worden bewerkt) en episodisch geheugen voor het bijhouden van waarom beslissingen zijn genomen.
5. Interactiebeleid: Het definiëren van wanneer een agent moet instemmen, moet uitdagen of moet wachten. Dit vereist mechanismen voor "intelligent ongehoorzaamheid" en teleologische constraints om te voorkomen dat agenten doelen op een onwenselijke manier afleiden.

3. Belangrijkste Bijdragen

• Conceptuele Verschuiving: Het paper verschuift de focus van "mens-AI samenwerking als interface" naar "mens-AI samenwerking als gezamenlijke zingeving". Het stelt dat agenten moeten leren denken met de mens, niet voor de mens.
• Definitie van CCS: Een operationele definitie van Collaborative Causal Sensemaking als het gezamenlijk construeren, kritisch beoordelen en herzien van gedeelde causale en doelmodellen.
• Formele Raamwerken: Een uitbreiding van Dec-POMDPs en CIRL (Cooperative Inverse Reinforcement Learning) om endogene doelvorming en wereldmodel-evolutie expliciet te modelleren.
• Onderzoeksagenda: Een concreet pad voor de gemeenschap om van statische datasets naar dynamische, constructivistische trainingsomgevingen te bewegen.

4. Resultaten en Validatie

Het paper is een conceptueel en voorstelend document (position paper) en rapporteert geen empirische resultaten van een getraind systeem. De "resultaten" zijn theoretisch van aard:

• Het identificeert de beperkingen van huidige RLHF-methoden voor complexe besluitvorming.
• Het schetst een theoretisch bewijs dat CCS de verificatiebelasting kan verlagen en de betrouwbaarheid van vertrouwen kan verbeteren.
• Het biedt een voorbeeldgeval (Lev, een AI-assistent voor een natuurkundeleraar) om te illustreren hoe CCS in de praktijk zou werken: het agent merkt een patroon op dat de leraar mist, stelt een hypothese op die past bij haar pedagogische filosofie, en update gezamenlijk het model van het probleem.

5. Betekenis en Impact

De betekenis van dit werk ligt in het bieden van een oplossing voor het hardnekkige probleem dat AI-systemen in complexe, onzekere domeinen (zoals gezondheidszorg, onderwijs of strategische planning) niet optimaal samenwerken met mensen.

• Van Tool naar Teammaat: Het stelt een visie voor waarin AI-agenten geen blinde uitvoerders zijn, maar actieve deelnemers aan het redeneerproces.
• Veiligheid en Betrouwbaarheid: Door expliciete aandacht voor causale redenering en het vermogen om meningsverschillen constructief op te lossen, wordt het risico van blinde gehoorzaamheid (sycofantie) of gevaarlijke zelfverzekerdheid verminderd.
• Toekomstige Ontwikkeling: Het paper daagt de AI-gemeenschap uit om trainingsdata en -omgevingen te herontwerpen. In plaats van statische prompt-response paren, moeten agenten worden getraind in dynamische omgevingen waar "zingeving" de primaire beloning is.

Kortom, het paper pleit voor een fundamentele heroriëntatie van Multi-Agent Systemen (MAS) onderzoek: weg van het bouwen van orakels die antwoorden geven, naar het kweken van teammaten die de onderliggende causaliteit van gedeelde beslissingen begrijpen en verbeteren.