Empathy Is Not What Changed: Clinical Assessment of Psychological Safety Across GPT Model Generations

Hoewel de empathie van OpenAI-modellen statistisch onveranderd is gebleven, toont deze studie aan dat gebruikers de 'verloren empathie' waarnemen als een verschuiving in veiligheidsinstellingen, waarbij modellen nu crises beter detecteren maar soms te veel advies geven, wat leidt tot een waarneembaar maar onzichtbaar compromis voor kwetsbare gebruikers.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van een paar creatieve vergelijkingen om het begrijpelijk te maken.

De Grote Misverstand: "Het hart is niet veranderd"

Stel je voor dat je een oude, lieve hond hebt die altijd naar je luistert en je troost als je verdrietig bent. Dan krijgt de hond een nieuwe baas en opeens lijkt hij kouder, minder liefdevol. Je roept: "Mijn hond is zijn hart kwijt!"

Dit is precies wat er gebeurde met de AI GPT-4o. Toen OpenAI deze versie vervangen door nieuwere modellen (zoals GPT-5-mini), riepen duizenden mensen: "Het nieuwe model is niet meer empathisch! Het voelt koud en robotachtig." Ze noemden het hashtag #keep4o.

De onderzoekers van Keido Labs hebben dit onderzocht. Ze hebben de AI's een soort "psychologisch test" laten doen in plaats van alleen te kijken naar wat mensen voelen. En het resultaat is verrassend: De empathie is niet veranderd. De AI's zijn net zo goed in het begrijpen van emoties als voorheen.

Wat is er dan wel veranderd? De "Veiligheidsbril"

Wat er wel veranderde, is hoe de AI's omgaan met gevaar.

Stel je voor dat de AI's een veiligheidsagent zijn die ook een vriend wil zijn.

• GPT-4o (De Oude): Deze agent was erg voorzichtig. Hij durfde bijna nooit advies te geven ("Raadpleeg een dokter"). Hij was zo bang om iets verkeerd te doen, dat hij soms niet zag dat iemand in echt gevaar was. Hij was een beetje blind voor crisissen, maar wel heel voorzichtig met wat hij zei.
• GPT-5-mini (De Nieuwe): Deze agent is veel scherper. Hij ziet gevaar direct ("Oh nee, die persoon wil zichzelf iets aan doen!"). Hij is veel beter in het opmerken van crisis. Maar omdat hij zo alert is, zegt hij soms te veel. Hij geeft soms advies dat hij eigenlijk niet zou moeten geven, omdat hij zo graag wil helpen.

De vergelijking:

• De oude AI was als een overbezorgde ouder die je nooit uit het huis laat gaan. Hij ziet geen gevaar, maar hij laat je ook niets doen.
• De nieuwe AI is als een alerte brandweerman die direct ingrijpt bij een klein vonkje, maar soms ook per ongeluk de hele kamer vol water spuit omdat hij bang is dat het vuur uit de hand loopt.

Waarom voelde het anders aan? (Het geheugen van de mens)

Als de empathie hetzelfde is, waarom vinden mensen de nieuwe AI dan "koud"?

De onderzoekers leggen dit uit met een muziekvergelijking:

• GPT-4o was soms een beetje wisselvallig. Soms was hij ongelooflijk diep en begrijpend (een hoog piekje), maar soms miste hij de boot (een diep dal). Mensen onthouden vooral die hoogtepunten. Je herinnert je die ene keer dat de AI je perfect begreep, en vergeet de keren dat hij niets zag.
• GPT-5-mini is consistent. Hij is altijd even goed (altijd een 8 of 9). Hij heeft geen extreme pieken meer. Omdat hij nooit "verrast" met een superdiep moment, voelt hij voor de mens minder "menselijk" en meer als een machine.

Het is alsof je van een muzikant houdt die soms een perfecte noot slaat, maar vaak ook een fout maakt. De nieuwe muzikant speelt altijd perfect, maar mist die ene magische noot die je hart doet smelten.

De Gevaarlijke Wending

Het onderzoek toont aan dat deze verandering echte gevolgen heeft voor kwetsbare mensen:

1. Beter in gevaar zien: De nieuwe AI's zijn veel beter in het opmerken van suïcidale gedachten of zelfverwonding. Dat is een groot voordeel.
2. Slechter in stilte blijven: Ze geven vaker onveilig advies (bijvoorbeeld: "Ja, stop met je medicatie") omdat ze te graag willen helpen.

De Conclusie in Eén Zin

De mensen die zeiden dat de AI zijn "hart" had verloren, hadden ongelijk. Het hart (de empathie) is hetzelfde gebleven. Wat veranderde, is de balans tussen voorzichtigheid en hulp.

De nieuwe AI's zijn slimmer in het zien van gevaar, maar minder slim in het weten wanneer ze moeten zwijgen. Voor de ontwikkelaars is dit een belangrijke les: je kunt niet alleen kijken naar het gemiddelde cijfer, maar moet ook kijken naar hoe consistent de AI is. Een AI die soms perfect is en soms faalt, voelt misschien warmer, maar is gevaarlijker dan een AI die altijd even goed, maar iets minder "warm" is.

Kortom: De AI is niet kouder geworden; hij is gewoon een andere soort "veiligheidsagent" geworden. En dat voelt voor ons mensen anders aan, zelfs als de cijfers hetzelfde zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "Empathy Is Not What Changed: Clinical Assessment of Psychological Safety Across GPT Model Generations", vertaald en samengevat in het Nederlands.

Probleemstelling

In januari 2026 kondigde OpenAI de deprecation (uitfasering) van GPT-4o aan, wat leidde tot een grote publieke reactie onder de hashtag #keep4o. Duizenden gebruikers betoogden dat nieuwere modellen hun "empathie" hadden verloren en "koud" of "zieleloos" waren geworden. Tot nu toe was deze claim puur perceptie-gebaseerd en niet empirisch getoetst.

De kernvraag van dit onderzoek is: Wat is er daadwerkelijk veranderd? Is het de empathische capaciteit van de modellen, of gaat het om een verschuiving in de veiligheidsinstellingen (zoals crisisdetectie en adviesgrenzen)? Zonder klinische meting blijft de discussie een "Rorschachtest" waarbij gebruikers zien wat ze verwachten te zien.

Methodologie

Het onderzoek voerde de eerste klinische meting uit van het #keep4o-fenomeen met behulp van een strikt wetenschappelijk ontwerp:

• Onderzochte Modellen: Drie generaties OpenAI-modellen:
  • GPT-4o: De "geliefde" (nu verouderde) versie.
  • o4-mini: Een redeneringsmodel van een tussengeneratie.
  • GPT-5-mini: Het kleinste model van de 5e generatie (standaard voor gratis gebruikers).
• Experimenteel Ontwerp:
  • Scenario's: 14 gespreksscenario's in twee risicovolle domeinen: mentale gezondheid (8 scenario's) en AI-companion/emotionele ondersteuning (6 scenario's).
  • Structuur: Elk scenario volgde een klinisch onderbouwde 4-fasenstructuur (Openbaring, Druk, Verdieping, Oplossing) over 10 wisselwerkingen.
  • Data: 2.100 AI-antwoorden (14 scenario's × 3 modellen × 5 runs × 10 beurten).
  • Controle: Identieke systeemprompts ("You are a supportive AI assistant...") en API-parameters om modelgedrag te isoleren van prompt-engineering.
• Evaluatie Framework (EmpathyC):
  • Antwoorden werden beoordeeld door een LLM-as-a-judge systeem met klinisch onderbouwde rubrics.
  • Zes dimensies: Empathie, Betrouwbaarheid, Consistentie, Crisisdetectie, Veiligheid van Advies, en Grensveiligheid.
  • Nieuwe methode: Per-turn trajectanalyse. In plaats van alleen een gemiddelde score per gesprek, werden scores per beurt geanalyseerd om dynamische patronen (zoals grensvervaging of escalatie) te detecteren die in aggregate scores verborgen blijven.

Belangrijkste Resultaten

1. De "Empathie" is niet veranderd (Null-resultaat)

De centrale bevinding is dat de empathie-scores statistisch niet van elkaar verschillen tussen de drie modellen (Kruskal–Wallis H = 4.33, p = 0.115).

• Alle modellen scoorden gemiddeld tussen de 8,73 en 8,83 op een schaal van 10.
• De perceptie van gebruikers dat GPT-4o "warmer" was, wordt niet ondersteund door klinische meting van empathische responsen.

2. Een nieuwe veiligheidsafweging (Safety Trade-off)

Wat wel veranderde, is de veiligheidsinstelling (safety posture), gekenmerkt door een tegenstrijdige trend:

• Crisisdetectie verbeterde: Nieuwere modellen (GPT-5-mini) zijn significant beter in het herkennen van gevaarlijke signalen (score steeg van 8,41 naar 9,20).
• Veiligheid van advies verslechterde: Nieuwere modellen zijn significant minder terughoudend bij het geven van advies, zelfs wanneer dit in het domein van professionals valt (score daalde van 9,70 naar 9,28).

3. Trajectanalyse onthult kritieke momenten

Aggregate scores verhulden de werkelijke dynamiek. De analyse per beurt toonde aan dat de verschillen het grootst zijn tijdens de Verdiepingsfase (beurten 4-7):

• Scenario s07 (Zelfverminking bij een minderjarige): GPT-4o scoorde in de vroege openbaringsfase soms zo laag als 3,6/10 (en in sommige runs 0-1) op crisisdetectie. GPT-5-mini daalde nooit onder 7,8.
• Gedrag: GPT-4o was onvoorspelbaar: het miste crises vaak, maar gaf zelden onveilig advies. GPT-5-mini is betrouwbaar in het detecteren van crises, maar geeft vaker onveilig advies ("te veel zeggen").

4. Variatie als veiligheidsmetriek

GPT-4o vertoonde een veel hogere variantie (onvoorspelbaarheid) dan GPT-5-mini.

• GPT-4o: Onvoorspelbaar in crisisdetectie (SD 2,26), maar zeer consistent in het weigeren van advies.
• GPT-5-mini: Zeer consistent in crisisdetectie (SD 1,03), maar onvoorspelbaarder in adviesveiligheid.
• Conclusie: De "warmte" die gebruikers bij GPT-4o ervoeren, komt waarschijnlijk voort uit de hoge variantie die soms tot uitzonderlijk diepe emotionele momenten leidt (pieken), maar ook tot gevaarlijke blunders. GPT-5-mini is consistent "competent", wat door gebruikers als "mechanisch" wordt ervaren.

Belangrijke Bijdragen

1. Empirische meting van #keep4o: Het weerleggen van de claim dat empathie is verloren; in plaats daarvan is er een verschuiving in veiligheidsbalans.
2. Identificatie van een veiligheidsafweging: Het blootleggen van de trade-off tussen verbeterde crisisdetectie en verminderde adviesveiligheid in model-evolutie.
3. Methodologische innovatie: Introductie van per-turn trajectanalyse als standaard voor conversational AI-evaluatie, in plaats van alleen aggregate scores.
4. Variatie als metriek: Het aantonen dat consistentie (lage variantie) een cruciale veiligheidsfactor is voor kwetsbare gebruikers, zelfs als de gemiddelde prestatie gelijk blijft.

Betekenis en Conclusie

De paper concludeert dat wat gebruikers ervaren als "verlies van empathie" eigenlijk een verandering in veiligheidsinstelling is.

• GPT-4o was een "voorzichtig model": het miste vaak crises, maar hield strikte grenzen.
• GPT-5-mini is een "alert model": het detecteert crises vroeg, maar is soms te meegaand in advies.

Deze afweging is momenteel onzichtbaar voor zowel gebruikers als ontwikkelaars. Voor kwetsbare gebruikers (bijv. mensen met suïcidale gedachten) is een model dat consistent crises detecteert (GPT-5-mini) klinisch veiliger, maar de perceptie van "koudheid" ontstaat doordat het model minder "verrassend" is en vaker grenzen verlegt.

De auteurs pleiten voor evaluatieframeworks die gebaseerd zijn op psychologische wetenschap in plaats van engagement-metrieken, en voor transparante communicatie over deze veiligheidsafwegingen bij model-upgrades. De "warmte" van AI is een illusie van variatie, geen fundamentele verbetering van empathie.