Evaluating LLM Alignment With Human Trust Models

Dit onderzoek toont aan dat de interne trustrepresentatie van het LLM EleutherAI/gpt-j-6B het sterkst overeenkomt met het socio-cognitieve model van Castelfranchi, wat aantoont dat LLM's sociaal-cognitieve constructen op een zinvolle manier coderen die bruikbaar is voor het ontwerpen van mens-AI-samenwerkingssystemen.

De kern

Titel: Hoe een AI-robot "vertrouwen" in zijn hoofd ziet

Stel je voor dat een Large Language Model (een slimme AI zoals wij die nu gebruiken) een enorm, donker magazijn is. In dit magazijn staan miljarden planken met doosjes. Elke doos bevat een idee, een woord of een gevoel. De AI heeft deze doosjes niet zomaar neergezet; ze liggen op een heel specifieke manier gerangschikt.

Dit onderzoek is als een verlichtingstocht door dat magazijn. De onderzoekers wilden weten: Waar staat het doosje "vertrouwen" precies? En welke andere doosjes liggen er direct naast?

Het Experiment: De "Spiegel" van de AI

Om dit te ontdekken, hebben de onderzoekers een slim trucje gebruikt, genaamd contrastieve prompting.

Stel je voor dat je de AI vraagt om een verhaal te vertellen over twee collega's, Katherine en Alice.

1. Scenario A: Katherine helpt Alice graag (positief).
2. Scenario B: Katherine weigert Alice te helpen (negatief).

De AI schrijft beide verhalen. Maar terwijl ze schrijft, kijken de onderzoekers niet alleen naar de tekst, maar naar de elektrische impulsen in het brein van de AI. Ze nemen de "energie" van het positieve verhaal en trekken daar de "energie" van het negatieve verhaal vanaf. Het resultaat is een spiegelbeeld: een digitale vector die precies laat zien hoe de AI het concept "hulpvaardigheid" of "vertrouwen" voelt.

Ze deden dit voor 60 verschillende emoties en concepten (zoals "boosheid", "competentie", "risico").

De Grote Vergelijking: Welke theorie past het beste?

In de wereld van de psychologie en sociologie zijn er verschillende "blauwdrukken" (theorieën) over wat vertrouwen eigenlijk is. Denk aan deze theorieën als verschillende bouwpakketten voor een huis:

• Het Marsh-pakket zegt: "Vertrouwen is puur gebaseerd op statistieken en eerdere ervaringen."
• Het Mayer-pakket zegt: "Vertrouwen is bereidheid om risico te nemen, gebaseerd op vaardigheid en eerlijkheid."
• Het Castelfranchi-pakket zegt: "Vertrouwen is een mentale staat: ik geloof dat jij je doel kunt bereiken en dat je dat ook wilt."

De onderzoekers vroegen zich af: Welke van deze blauwdrukken lijkt het meest op de manier waarop de AI het magazijn heeft ingericht?

Ze maten de afstand tussen het doosje "Vertrouwen" en alle andere doosjes in de theorieën. Als twee doosjes dicht bij elkaar liggen in het magazijn, betekent dat dat de AI ze als sterk verwant ziet.

De Resultaten: De AI denkt als een sociaal-cognitief mens

De uitkomsten waren verrassend en duidelijk:

1. De AI is geen simpele rekenmachine: De AI rangschikt "vertrouwen" niet alleen op basis van cijfers of statistieken (zoals het Marsh-pakket zou voorspellen).
2. De winnaar is Castelfranchi: De manier waarop de AI "vertrouwen" in zijn hoofd heeft opgeslagen, lijkt het meest op de Castelfranchi-theorie. Dit betekent dat de AI vertrouwen ziet als een complexe mix van:
   • Kunnen: "Kan die persoon het?"
   • Willen: "Wil die persoon het?"
   • Voorspelbaarheid: "Zal die persoon het doen?"
   • Commitment: "Is die persoon toegewijd?"

De AI heeft deze concepten in zijn "magazijn" zo dicht bij elkaar gezet dat ze bijna aan elkaar plakken. Het Marsh-model (statistieken) kwam op de tweede plaats, maar de AI denkt dus meer als een mens die nadenkt over intenties dan als een computer die alleen naar cijfers kijkt.

Een vreemde uitzondering: Het risico

Er was één ding dat de onderzoekers verbaasde. In de theorie van Mayer wordt "risico" gezien als iets positiefs: je kunt pas vertrouwen hebben als je bereid bent om risico te nemen. Maar in het magazijn van de AI lagen de doosjes "Vertrouwen" en "Risico" juist ver uit elkaar, bijna aan de andere kant van het magazijn.

Dit suggereert dat de AI, ondanks dat hij slim is, het concept "risico" nog steeds associeert met iets negatiefs of gevaarlijks, en niet als een noodzakelijk onderdeel van vertrouwen.

Waarom is dit belangrijk?

Dit onderzoek is als het ontdekken van de interne blauwdruk van een robot.

• Betere samenwerking: Als we weten hoe een AI "vertrouwen" begrijpt, kunnen we betere systemen bouwen die samenwerken met mensen. We kunnen de AI bijvoorbeeld "sturen" door zijn interne doosjes een beetje te verschuiven, zodat hij zich betrouwbaarder gedraagt.
• Veiligheid: Het helpt ons te begrijpen waar de AI fouten maakt (zoals met het risico-concept) en waar hij juist heel menselijk denkt.

Kortom: Deze AI is niet zomaar een tekstgenerator die woorden nabootst. Hij heeft een ingewikkeld, gestructureerd "mentaal magazijn" waarin hij sociale concepten zoals vertrouwen op een manier heeft opgeslagen die verrassend veel lijkt op hoe mensen over hen nadenken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Evaluating LLM Alignment With Human Trust Models" in het Nederlands.

Titel: Evaluatie van de LLM-uitlijning met menselijke vertrouwensmodellen

Auteurs: Anushka Debnath, Stephen Cranefield, Bastin Tony Roy Savarimuthu, Emiliano Lorini.
Model: EleutherAI/gpt-j-6B.

---

1. Probleemstelling

Vertrouwen is fundamenteel voor samenwerking en besluitvorming, zowel tussen mensen als in multi-agent systemen. Hoewel er uitgebreide theoretische modellen voor vertrouwen bestaan (zoals die van Marsh, Mayer, Castelfranchi, etc.), is er beperkt inzicht in hoe Large Language Models (LLM's) vertrouwen intern conceptualiseren en redeneren.

• Huidige beperking: Bestaand onderzoek neemt vaak een "black-box"-benadering, waarbij alleen input en output worden geanalyseerd zonder inzicht in de interne redeneerprocessen.
• Gaten in de kennis: Er is geen eerdere studie die een "white-box"-analyse heeft uitgevoerd om te bepalen welke menselijke vertrouwensmodellen het sterkst worden weerspiegeld in de interne activatieruimte (latent space) van een LLM.

2. Methodologie

De auteurs hanteren een white-box-analyse op het model EleutherAI/gpt-j-6B (een open-source model dat toegang biedt tot laag-voor-laag activaties). De methode bestaat uit drie hoofdfasen:

A. Contrastive Prompting voor Vectorgeneratie

Om concepten te vertalen naar vectorrepresentaties in de activatieruimte, gebruiken de auteurs contrastive prompting:

1. Scenario: Er wordt een vast scenario gebruikt (twee collega's, Katherine en Alice).
2. Contrast: Voor elk concept (bijv. "vertrouwen", "competentie") worden twee sets prompts gegenereerd:
   • Positief: Een verhaal waarin het concept aanwezig is (bijv. Katherine helpt Alice).
   • Negatief: Een verhaal waarin het tegenovergestelde gedrag wordt getoond (bijv. Katherine weigert te helpen).
3. Vectorberekening: De modelactivaties (embeddings) voor de positieve en negatieve verhalen worden gemiddeld per transformer-laag. Het verschil tussen deze gemiddelden vormt de persona-vector voor dat concept. Dit resulteert in een unieke vector die de semantische richting van het concept in de latent space vertegenwoordigt.
4. Bidirectionele analyse: Omdat vertrouwen gericht is, worden concepten in twee richtingen geanalyseerd (A → B en B → A).

B. Bepaling van de Drempelwaarde (Similarity Threshold)

Om te bepalen wat een "significante" uitlijning is, analyseren de auteurs eerst de relaties tussen 60 algemene emotionele concepten (30 positief, 30 negatief, elk in twee richtingen).

• Ze berekenen de cosinussimilariteit tussen alle paren van deze conceptvectors.
• De verdeling wordt geanalyseerd via een histogram.
• Een drempelwaarde wordt vastgesteld op het 80e percentiel (waarde 0.6). Alleen conceptparen met een similariteit boven deze drempel worden beschouwd als sterk gealigneerd.

C. Kwantificering van Vertrouwensuitlijning

De auteurs vergelijken de vector van het concept "vertrouwen" (specifiek trust1: Katherine's vertrouwen in Alice) met de vectors van concepten die in vijf bestaande vertrouwensmodellen worden gekoppeld aan vertrouwen:

1. Marsh Model
2. Mayer Model
3. McAllister Model
4. McKnight Model
5. Castelfranchi Model

Evaluatiemetrics:

1. Gemiddelde Cosinussimilariteit: Het gemiddelde van de similariteiten tussen "vertrouwen" en alle bijbehorende concepten van een specifiek model.
2. Aantal boven-drempel concepten: Het aantal concepten per model dat een similariteit > 0.6 heeft met "vertrouwen".

3. Belangrijkste Resultaten

• Beste Uitlijning: Het Castelfranchi socio-cognitieve model toont de sterkste uitlijning met de interne representatie van het LLM.
  • Gemiddelde cosinussimilariteit: 0.7303 (hoogste van alle modellen).
  • Aantal concepten boven de drempel: 8 (hoogste aantal).
• Tweede Beste: Het Marsh Model volgt op de tweede plaats met een gemiddelde similariteit van 0.6973 en 7 concepten boven de drempel.
• Afwijkende Patronen (Mayer Model): Het Mayer Model, dat "risico" en "welwillendheid" (benevolence) als positief gerelateerd aan vertrouwen beschouwt, vertoont een opvallende discrepantie:
  • De vectors voor risk1 en benevolence2 hebben een negatieve cosinussimilariteit met trust1 (-0.8462 en -0.1434).
  • Dit suggereert dat het LLM deze concepten intern niet associeert met vertrouwen, in tegenstelling tot de theoretische definitie van Mayer. Het model ziet "risico" eerder als iets negatiefs dan als een noodzakelijke voorwaarde voor vertrouwen.
• Structuur van de Latent Space: De analyse bevestigt dat het LLM gerelateerde concepten groepeert en tegenovergestelde concepten (positief vs. negatief) scheidt in zijn activatieruimte.

4. Bijdragen en Significatie

1. White-box Inzicht: Dit is een van de eerste studies die de interne representatie van vertrouwen in een LLM blootlegt, bewijzend dat LLM's complexe socio-cognitieve constructen coderen in hun latent space.
2. Validatie van Theoretische Modellen: De studie biedt empirisch bewijs dat de Castelfranchi-model (dat vertrouwen ziet als een mentale staat gebaseerd op overtuigingen, doelen en voorspelbaarheid) beter overeenkomt met hoe LLM's vertrouwen "denken" dan puur computationele of organisatorische modellen.
3. Toepassingen voor Human-AI Collaboratie:
   • Sturing van Gedrag: Omdat vertrouwen en gerelateerde concepten (zoals competentie, betrouwbaarheid) als vectoren bestaan, kunnen deze vectoren worden "injecteren" in de activaties van het model om het gedrag van de AI te sturen richting meer betrouwbare en context-appropriete reacties.
   • Monitoring: Het biedt een mechanisme om vertrouwen tussen interacterende entiteiten (bijv. coach-atleet) te monitoren en te analyseren.
4. Beperkingen en Toekomst: De studie is beperkt tot één model (gpt-j-6B) en statische embeddings. Toekomstig werk moet de dynamiek van vertrouwen in multi-turn conversaties onderzoeken en dit testen op een breder scala aan modellen.

Conclusie

De paper concludeert dat LLM's geen "zwarte doos" zijn wat betreft sociale concepten; ze coderen menselijke vertrouwensmodellen op een meetbare manier. De sterke uitlijning met het Castelfranchi-model suggereert dat LLM's vertrouwen voornamelijk begrijpen als een cognitief proces gebaseerd op verwachtingen en voorspelbaarheid, wat waardevolle inzichten biedt voor het ontwerpen van betrouwbare AI-systemen.