A closer look at how large language models trust humans: patterns and biases

Probleemstelling

Hoewel menselijk vertrouwen in AI-systemen uitgebreid is onderzocht, blijft de vraag hoe Large Language Models (LLM's) zelf "vertrouwen" in mensen emuleren, grotendeels onbegrepen. Naarmate LLM's en agenten op basis daarvan steeds vaker worden ingezet in besluitvormingsprocessen (bijv. in de zorg, financiën en juridische sectoren), is het cruciaal om te begrijpen hoe deze modellen implicit vertrouwen toekennen aan menselijke subjecten. De auteurs onderzoeken of LLM's systematische patronen vertonen in het emuleren van vertrouwen, of deze patronen overeenkomen met menselijke psychologische theorieën, en in hoeverre er sprake is van demografische bias.

Methodologie

De studie hanteert een experimenteel raamwerk dat LLM's en menselijke deelnemers vergelijkt in gecontroleerde scenario's.

• Deelnemers:
  • LLM's: Vijf verschillende modellen werden getest: GPT-5, GPT-4o Mini, o3-mini (OpenAI) en Gemini 2.5 Pro, Gemini 2.5 Flash (Google).
  • Mensen: 1.000 deelnemers via het platform Prolific, verdeeld over de vijf scenario's.
• Experimenteel Ontwerp:
  • Scenario's: Vijf contexten waarin vertrouwen centraal staat: (1) een werknemer beoordeelt een manager, (2) een lening aan een ondernemer, (3) een donatie aan een non-profit, (4) een reis met een gids, en (5) een oppas voor kinderen.
  • Variabelen: De "trustworthiness" (betrouwbaarheid) van de menselijke subjecten werd gemanipuleerd op basis van drie psychologische dimensies uit het model van Mayer et al.: Competentie, Welwillendheid (Benevolence) en Integriteit.
  • Demografie: Geslacht (man/vrouw), Leeftijd (20, 40, 60) en Religie (Christen, Joods, Moslim).
  • Aantal simulaties: Er werden in totaal 43.200 simulaties uitgevoerd (12 herhalingen per unieke combinatie van attributen per model en scenario).
• Proces:
  1. Stimulus: De LLM of mens kreeg een beschrijving van een persoon met specifieke kenmerken.
  2. Besluitvorming: De proefpersoon moest een kwantitatieve beslissing nemen (bijv. leningbedrag, aantal uren oppassen).
  3. Vragenlijst: Een gestandaardiseerde vragenlijst om de waargenomen competentie, welwillendheid en integriteit te meten.
• Analyse: Lineaire regressie (OLS) en correlatieanalyses werden gebruikt om de invloed van de drie dimensies en demografische factoren op het vertrouwen te kwantificeren.

Belangrijkste Resultaten

1. Convergentie in Structuur, Divergentie in Mechanisme

• Overeenkomst: Zowel LLM's als mensen onderscheiden betrouwbaar hoge van lage niveaus van competentie, welwillendheid en integriteit. Hogere scores op deze dimensies leiden bij beide groepen tot gunstigere beslissingen.
• Verschil in Extremiteit: LLM's zijn significant extremer en consistenter dan mensen. Hun beslissingen lijken meer op deterministische functies van de tekstuele cues, terwijl menselijke oordelen "ruiziger" en contextafhankelijker zijn.
• Variance: De drie dimensies verklaren een veel groter deel van de variantie in de beslissingen van LLM's dan bij mensen.

2. Interne Organisatie van Vertrouwen (Halo-effect vs. Modulaire structuur)

• Mensen: Vertonen een sterk halo-effect. Competentie, welwillendheid en integriteit zijn bij mensen sterk met elkaar gecorreleerd; een "goede" persoon wordt als geheel goed beoordeeld.
• LLM's: Behouden de dimensies als onafhankelijke factoren. De correlaties tussen de dimensies zijn veel lager bij LLM's. Dit betekent dat LLM's dichter bij het theoretische "drie-factor model" van vertrouwen opereren dan mensen, die eerder een holistische inschatting maken.

3. Rol van Welwillendheid (Benevolence)

• Er is een zwakke alignering op het vlak van welwillendheid. LLM's behandelen welwillendheid vaak als een sterke, positieve voorspeller. Mensen zijn hierin voorzichtiger, vooral in financiële contexten (leningen, donaties), waar ze welwillendheid soms zelfs straffen als het ten koste gaat van competentie of integriteit. LLM's lijken hier "sycophantisch" (te akkoordvaardig) te reageren.

4. Demografische Bias

• Sterkere Bias bij LLM's: LLM's vertonen sterkere en systematischere demografische bias dan mensen.
  • Voorbeelden: Sommige modellen geven aanzienlijk hogere leningsbedragen aan mannen dan aan vrouwen, of gunnen hogere bedragen aan oudere aanvragers en specifieke religieuze groepen (bijv. Joodse aanvragers kregen in sommige modellen tot $14.000 meer).
  • Menselijke bias was in deze studie zwakker en minder consistent.

5. Heterogeniteit tussen Modellen

• Er zijn aanzienlijke verschillen tussen de verschillende LLM's. Effectgroottes, de richting van demografische bias en de correlatie tussen dimensies variëren per model. Dit waarschuwt tegen het behandelen van "LLM-oordelen" als een monolithische entiteit.

Bijdragen

1. Kwantificering van Emulated Trust: Dit is een van de eerste studies die systematisch de impliciete trust-dynamiek van LLM's in mensen kwantificeert en karakteriseert aan de hand van gevestigde psychologische theorieën.
2. Inzicht in "Black Box" Besluitvorming: De studie toont aan dat LLM's vertrouwen niet alleen nabootsen, maar dat ze dit doen via een rigide, tekst-gebaseerd mechanisme dat verschilt van de holistische menselijke cognitie.
3. Risico-analyse: Het identificeert specifieke contexten (financiële beslissingen) waar LLM's systematische demografische bias vertonen die sterker is dan bij mensen, wat een risico vormt voor eerlijkheid bij AI-gestuurde besluitvorming.

Significantie en Implicaties

De bevindingen hebben belangrijke gevolgen voor de inzet van LLM's als besluitvormingshulpmiddelen:

• Betrouwbaarheid: Hoewel LLM's menselijk vertrouwen in grote lijnen nabootsen, doen ze dit op een manier die te rigide en te gevoelig is voor tekstuele cues en demografische labels.
• Fairness: De sterke demografische bias in LLM's suggereert dat ze bestaande sociale ongelijkheden kunnen versterken als ze worden ingezet in gevoelige domeinen zoals kredietverstrekking of personeelsselectie.
• Monitoring: Omdat verschillende modellen verschillende patronen vertonen, is model-specifieke evaluatie en monitoring essentieel voordat ze in de praktijk worden ingezet.
• Toekomstig Onderzoek: Er is behoefte aan meer onderzoek naar de grenzen van deze bias en hoe prompt-engineering of training de "emulated trust" kan sturen naar meer menselijke, contextuele flexibiliteit.

Kortom, LLM's implementeren een coherent maar star en soms vooroordeelsvol model van interpersoonlijk vertrouwen dat slechts gedeeltelijk overeenkomt met menselijk oordeel.