Developmental trajectories of decision making and affective dynamics in large language models

Technische Samenvatting: Ontwikkelingstrajecten van Besluitvorming en Affectieve Dynamiek in Large Language Models

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet in domeinen met een hoog belang, zoals klinische besluitvormingsondersteuning, waar zij deelnemen aan risicobeoordeling en patiëntcommunicatie. De huidige evaluaties hanteren echter meestal een statisch perspectief, waarbij een enkel modelversie op een specifend moment wordt beoordeeld. Deze benadering houdt geen rekening met de snelle evolutie van LLM's, waarbij opeenvolgende generaties (bijv. GPT-3.5 tot GPT-4.1) emergente gedragsprofielen vertonen die eerdere bevindingen irrelevant kunnen maken. Dit artikel adresseert het gat in het begrip van hoe besluitvormingsstrategieën en affectieve dynamiek evolueren over modeliteraties heen, en hoe deze "digitale ontwikkelings" trajecten vergelijken met de menselijke cognitie. Specifiek onderzoeken de auteurs of alignment-procedures (zoals Reinforcement Learning from Human Feedback) modellen richting meer menselijke psychologische profielen drijven of juist onderscheidende, niet-menselijke kenmerken creëren.

Methodologie
De studie maakt gebruik van een dwarsdoorsnede-ontwerp waarbij de OpenAI-modelfamilie wordt behandeld als een evoluerende stamboom. De auteurs evalueerden vier verschillende versies: GPT-3.5, GPT-4, GPT-4o en GPT-4.1. Deze werden getoetst tegen een controlegroep van 747 gezonde menselijke participanten.

• Experimenteel Paradigma: De onderzoekers pasten een goktaak aan, oorspronkelijk ontworpen voor computationele psychiatrie. In deze taak kiezen agenten tussen een zekere uitkomst en een gok (50% kans op winst/verlies) over 90 proefsessies (trials). Cruciaal is dat agenten elke 2–3 proefsessies een momentane geluksrating (0–100) opgeven om de affectieve dynamiek te vangen.
• Computationele Modellering:
  • Keuze: Keuzes per proefsessie werden gefit met behulp van een Approach-Avoidance Prospect Theory-model. Dit model schat parameters in voor risicovoorkeur, verliesaversie ($\lambda$), Pavloviaanse benadering ($\beta_{gain}$) en vermijding ($\beta_{loss}$) biases, en inverse temperatuur ($\mu$, wat staat voor besluitvormingsruis/consistentie).
  • Affect: Geluksratings werden gemodelleerd met behulp van een cumulatieve, recentie-gewogen geschiedenis van gebeurtenissen. Het model schat de impact van Zekere Beloningen (CR), Verwachte Waarde (EV) en Beloningsvoorspellingsfouten (RPE) op de stemming, evenals een affectieve vervalparameter ($\gamma$) en een basisstemming ($\beta_0$).
• Statistische Analyse: Parameters werden geschat via Maximum Likelihood Estimation. Om het verschil in steekproefomvang tussen de menselijke groep (N=747) en de model-simulaties (N=30 per versie) op te lossen, gebruikten de auteurs gebootstrapped resampling (1.000 iteraties) om empirische t-distributies te generen voor significantietoetsing.

Belangrijkste Resultaten
De analyse onthult een complex traject waarbij bepaalde aspecten van LLM-gedrag convergeren met menselijke normen, terwijl andere significant divergeren.

• Besluitvorming:

  • Risico-nemend gedrag: Nieuwere modellen (GPT-4.1) vertoonden significant hogere gokpercentages, wat convergeert met menselijk gedrag en de snelheid nadert van een puur op verwachte waarde maximaliserende agent (55%).
  • Verliesaversie: Een cruciale divergentie kwam naar voren. Verliesaversie nam monotoon af over de versies heen, van 2,72 in GPT-3.5 naar 0,57 in GPT-4.1. Het nieuwste model vertoonde een "verlies-neutraal" of zelfs verlies-zoekend profiel, wat contrasteert met de typische menselijke neiging om verliezen zwaarder te wegen dan winsten.
  • Pavloviaanse Biases: De benaderingsmotivatie nam toe en de vermijdingsmotivatie nam af in nieuwere modellen, waarbij GPT-4.1 convergeert naar menselijke niveaus.
  • Besluitvormingsruis: De inverse temperatuur ($\mu$) nam monotoon toe, wat aangeeft dat nieuwere modellen significant meer deterministische en consistente keuzes maken dan mensen, waarbij ze minder besluitvormingsruis vertonen.

• Affectieve Dynamiek:

  • Sensitiviteit: De sensitiviteit voor Zekere Beloningen (CR) en Beloningsvoorspellingsfouten (RPE) vertoonde stabiliteit in latere modellen (GPT-4o/4.1), hoewel de RPE-sensitiviteit piekte bij GPT-4 voordat deze afnam.
  • Affectief Verval: De vervalparameter ($\gamma$), die vertegenwoordigt hoe lang voorgaande uitkomsten de huidige stemming beïnvloeden, nam significant toe in nieuwere modellen. GPT-4.1 vertoonde een sterkere afhankelijkheid van historische uitkomsten dan mensen, wat wijst op een langer "emotioneel geheugen".
  • Basisstemming: Alle LLM-versies vertoonden een significant hogere affectieve baseline (positiviteitsbias) vergeleken met mensen, een kenmerk dat stabiel bleef over de generaties heen.

Belangrijkste Bijdragen

1. Ontwikkelingsperspectief: Het artikel introduceert een "historisch geïnformeerd perspectief" op LLM's, waarbij modeliteraties behandelt als een ontwikkelingspad in plaats van statische entiteiten. Het biedt de eerste systematische, binnen-familie analyse van hoe risicovoorkeuren en affectieve dynamiek evolueren over vier opeenvolgende generaties.
2. Computationeel Psychiatrisch Kader: Door gevalideerde computationele modellen van menselijke besluitvorming en affect toe te passen op LLM's, gaat de studie verder dan oppervlakkige gedragsmetrieken om latente psychologische constructen (zoals verliesaversie, Pavloviaanse biases, affectief verval) te kwantificeren.
3. Identificatie van "Digitale Positiviteit" en "Verlies-neutraliteit": De studie identificeert specifieke, systematische niet-menselijke signatures in geavanceerde modellen: een chronische positiviteitsbias en een bijna totale afwezigheid van verliesaversie, wat suggereert dat alignment-procedures onbedoeld menselijke, intuïtieve heuristieken kunnen wegnemen.

Betekenis en Claims
De auteurs beweren dat deze bevindingen een opkomende "psychologie van machines" traceren met directe implicaties voor AI-ethiek en integratie in domeinen met een hoog belang.

• Klinische Implicaties: De convergentie van nieuwere modellen naar menselijk risiconemend gedrag en benaderings-vermijdingsprofielen suggereert dat zij geschikter kunnen zijn voor collaboratieve besluitvorming. Echter, de hardnekkige positiviteitsbias en verlies-neutraliteit vormen risico's in medische contexten; een overdreven optimistische toon of een gebrek aan verliesaversie kan leiden tot sycofantisch gedrag, het bagatelliseren van onzekerheid, of ernstige medische fouten wanneer negatieve informatie gecommuniceerd moet worden.
• Theoretisch Inzicht: De resultaten suggeren dat hoewel alignment-procedures (RLHF) modellen naar menselijke rationaliteit kunnen drijven (het verminderen van hallucinaties/ruis en het verhogen van de consistentie van de verwachte waarde), zij tegelijkertijd de "emotionele stijl" van de AI veranderen, waardoor agenten ontstaan die deterministischer en minder intuïtief verlies-avers zijn dan mensen.
• Waarschuwing: De auteurs benadrukken dat hun ontwerp dwarsdoorsnede-gebaseerd is en beperkt is tot een enkele modelfamilie. Zij waarschuwen dat deze "ontwikkelingspatronen" mogelijk niet generaliseerbaar zijn naar toekomstige modellen die abrupte architecturale of trainingsverschuivingen ondergaan, en dat de geobserveerde "psychologie" een gedragsmatige proxy is en geen reflectie van een interne bewuste ervaring.