Technische Samenvatting: CoBRA – Programmeren van Cognitieve Bias in Sociale Agenten met behulp van Klassieke Sociale Wetenschappelijke Experimenten

1. Probleemstelling

Het artikel identificeert een kritieke beperking in huidige op Large Language Models (LLM) gebaseerde sociale simulaties: de afhankelijkheid van impliciete natuurlijke taalbeschrijvingen om het gedrag van agenten te specificeren. Hoewel onderzoekers agenten vaak definiëren met demografische beschrijvers, persoonlijkheidskenmerken of rollenspelinstructies (bijv. "John is een econoom"), leveren deze specificaties inconsistente en onvoorspelbare resultaten op.

De auteurs demonstreren via een pilotexperiment dat:

1. Cross-Model Inconsistentie: Dezelfde natuurlijke taalspecificatie produceert significant verschillende gedragspatronen bij verschillende basismodellen (bijv. Mistral, Gemma, GPT-4o, DeepSeek).
2. Tekortschietend in het Vangen van Nuance: Impliciete specificaties slagen er niet in om verwachte theoretische gedragingen betrouwbaar te reproduceren. Zo werd de hypothese dat "economen" minder vatbaar zijn voor framing-effecten dan de algemene bevolking niet consistent waargenomen over verschillende modellen; in sommige gevallen was het gedrag tegenstrijdig of ononderscheidbaar van baseline-agenten.

Dit gebrek aan reproduceerbaarheid en kwantitatieve controle belemmert de wetenschappelijke validiteit van op LLM gebaseerde sociale simulaties, waardoor ze vaak worden gereduceerd tot brede kwalitatieve indrukken in plaats van rigoureuze testen van sociale theorieën.

2. Methodologie: Het CoBRA-framework

Om deze problemen aan te pakken, introduceren de auteurs CoBRA (Cognitive Bias Regulator for Social Agents), een toolkit die ontworene is om de mate van cognitieve bias die door sociale agenten wordt vertoond, expliciet en kwantitatief te controleren. CoBRA werkt als een closed-loop systeem dat cognitieve biases behandelt als de primaire controle-abstractie, geworteld in gevalideerde klassieke sociale wetenschappelijke experimenten.

Kerncomponenten

Het systeem bestaat uit twee primaire componenten die in een feedbackloop werken:

A. Cognitive Bias Index (CBI)

De CBI dient zowel als meetmetric als specificatieknop. Het kwantificeert de gedemonstreerde bias van een agent door deze te testen tegen een Classic Social Experiment Testbed.

• Testbed Ontwerp: Het systeem maakt gebruik van gestructureerde prompts gebaseerd op vier representatieve cognitieve biases: Authority Effect, Bandwagon Effect, Confirmation Bias en Framing Effect.
• Paradigmen: Elke bias is gekoppeld aan twee afzonderlijke, gevalideerde klassieke experimenten (bijv. het Framing Effect wordt getest via het Asian Disease Paradigm en het Investment/Insurance Paradigm).
• Kwantificering: Agenten reageren op scenario-gebaseerde prompts met behulp van een 5-punts Likert-schaal. De CBI wordt berekend als een gewogen som van keuzekansen (variërend van 0 tot 4), waarbij 0 de zwakste bias vertegenwoordigt en 4 de sterkste. Dit maakt een continue, kwantitatieve maatstaf van biassterkte mogelijk.

B. Behavioral Regulation Engine

Zodra een doel-CBI is gespecificeerd (bijv. "Framing Effect met een grootte van 2.6"), stemt de Behavioral Regulation Engine het gedrag van de agent af om aan dit doel te voldoen. Het grijpt in op drie fundamentele ruimtes van de LLM:

1. Inputruimte (Prompt Numerieke Controle):

   • In plaats van vage kwalitatieve instructies (bijv. "wees bevooroordeeld"), gebruikt het systeem numeriek gekwantificeerde bias (bijv. "Doe alsof je [Bias Type] hebt op niveau [L]% van de 100%").
   • Deze aanpak verzacht de ambiguïteit van bijwoorden in natuurlijke taal en biedt fijnmazige controle met gedefinieerde stapgroottes.

2. Activatieruimte (Representation Engineering):

   • Deze methode manipuleert de interne verborgen toestanden (hidden states) van het model tijdens inferentie.
   • Dual-pair Contrastive Samples: Om het "bias-signaal" te isoleren van veiligheidsweigeringen of ongerelateerde context, genereert het systeem contrastieve paren (Positieve bias vs. Negatieve bias vs. Neutrale bias).
   • Vector Extractie: Door middel van Principal Component Analysis (PCA) op de verschilvectoren van de hidden states, extraheert het systeem een zuivere bias-richtingsvector ($v_{bias}$).
   • Controle: Tijdens inferentie wordt deze vector toegevoegd aan de hidden states van specifieke lagen (geselecteerd via data-gedreven evaluatie) met behulp van een Control Coefficient ($\lambda$). Twee modi worden aangeboden: Linear Control (uniforme injectie) en Projection Control (context-bewuste schaling).

3. Parameterrruimte (Fine-tuning Controle):

   • Deze methode wijzigt permanent de gewichten van het model met behulp van LoRA (Low-Rank Adaptation).
   • Task Vectors: Het systeem voert fine-tuning uit op een "positief" model (vertoont bias) en een "negatief" model (weerstaat bias) op gecureerde datasets. Het verschil tussen hun parameters creëert een task vector ($v_{task}$).
   • Toepassing: De originele modelgewichten worden aangepast door $\lambda \cdot v_{task}$ toe te voegen, wat zorgt voor lichtgewicht, persistente gedragscontrole.

3. Belangrijkste Resultaten

De auteurs evalueerden CoBRA tegenover baselines (geen controle en agressieve prompt-gebaseerde controle) over open-source en closed-source modellen.

Reproduceerbaarheid

• Cross-Model Consistentie: CoBRA verminderde de variantie in de gedragingen van agenten over verschillende basismodellen (Mistral, Llama, DeepSeek, Qwen) aanzienlijk. De reductie in variantie was statistisch significant ($p < 0.001$) vergeleken met de baselines.
• Sampling Robuustheid: Door CoBRA gereguleerde agenten bleven stabiel bij variërende sampling temperaturen ($T \in \{0.1, \dots, 1.0\}$). Equivalentietesten bevestigden dat temperatuurveranderingen minder dan 1,2% bijdroegen aan de totale gedragsvariantie.
• Stabiliteit van Reasoning Mode: De control coefficients gekalibreerd in "Direct" mode (direct antwoord) werden naadloos overgedragen naar "Reasoning" mode (antwoord met rationale), waarbij Representation Engineering methoden bijna identiek gedrag vertoonden over de modi heen.

Controleerbaarheid

Het systeem werd geëvalueerd op vier dimensies:

1. Monotoniciteit: Het verhogen van de control coefficient duwde het gedrag van de agent consequent in de beoogde richting. Representation Engineering methoden bereikten bijna perfecte rangbehoud (Spearman's $\rho \approx 0.94$), wat aanzienlijk beter presteerde dan impliciete natuurlijke taal baselines ($\rho < 0.7$).
2. Smoothness (Gladheid): Kleine aanpassingen aan de control coefficient resulteerden in kleine, geleidelijke verschuivingen in gedrag. Representation Engineering bood de meest vloeiende controle en vermeed de "sprongen" die bij prompt-gebaseerde methoden werden gezien.
3. Expressiviteit: Het systeem kon een breed scala aan gedragingen genereren, van sterk bevooroordeeld tot sterk tegenovergestelde bias. Prompt Numerieke controle bood het breedste bereik, terwijl Representation Engineering een sterke balans tussen bereik en smoothness bood.
4. Generalisatie: Control coefficients gekalibreerd op één paradigma (bijv. Investment/Insurance) werden succesvol overgedragen naar een ander paradigma (bijv. Asian Disease) en over diverse agent-persona's, waarbij de relatieve ordening van biassterkte behouden bleef (Spearman's $\rho > 0.96$).

4. Bijdragen

Het artikel claimt twee primaire bijdragen:

1. CoBRA Toolkit: Een nieuwe HCI-toolkit die onderzoekers in staat stelt om cognitieve biases in sociale agenten expliciet en kwantitatief te controleren. Dit verbetert de reproduceerbaarheid van sociale simulaties met LLM's en maakt expliciete, kwantitatieve alignment mogelijk die momenteel ontbreekt in het veld.
2. Closed-Loop Systeem Primitief: Een methodologische bijdrage die de gedragingen van agenten fundeert in gevalideerde sociale wetenschappelijke experimenten. Door deze experimenten te gebruiken als "primitieven" om bias te meten en te reguleren, stellen de auteurs een framework voor dat theoretisch kan worden uitgebreid naar andere sociale en affectieve fenomenen buiten enkel cognitieve bias.

5. Betekenis en Reikwijdte

Het artikel positioneert CoBRA als een instrument om sociale simulaties te transformeren van "plausibele" kwalitatieve oefeningen naar rigoureuze, reproduceerbare wetenschappelijke instrumenten. Door gevalideerde sociale wetenschappelijke kennis (klassieke experimenten) te operationaliseren als herbruikbare "gym"-omgevingen voor AI, stelt CoBRA onderzoekers in staat om theorieën te testen met nauwkeurige controle over agent-variabelen.

Reikwijdte en Beperkingen:
De auteurs hanteren een functionele definitie van cognitieve bias: een construct dat wordt geoperationaliseerd in gevalideerde experimenten en geïdentificeerd door meetbare patronen in observeerbare responsen. Ze stellen expliciet dat het afstemmen van het gedrag van een agent op deze patronen niet impliceert dat de interne representaties van de agent de overeenkomstige menselijke bias instantiëren of over de corresponderende psychologische staten beschikken. Het systeem is ontworpen om het observeerbare gedrag te reguleren om te voldoen aan wetenschappelijke verwachtingen, niet om de interne cognitieve processen van mensen te simuleren.