🤖 AI

Expert Evaluation and the Limits of Human Feedback in Mental Health AI Safety Testing

Dit artikel toont aan dat bij het testen van de veiligheid van AI in de geestelijke gezondheidszorg deskundige menselijke feedback systematische en principiële meningsverschillen vertoont in plaats van willekeurige fouten, wat de aanname van een geldige grondwaarheid uitdaagt en suggereert dat veiligheidskritische AI-evaluatie moet verschuiven van consensusgebaseerde aggregatie naar methoden die diverse professionele perspectieven behouden.

Oorspronkelijke auteurs: Kiana Jafari, Paul Ulrich Nikolaus Rust, Duncan Eddy, Robbie Fraser, Nina Vasan, Darja Djordjevic, Akanksha Dadlani, Max Lamparth, Eugenia Kim, Mykel Kochenderfer

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kiana Jafari, Paul Ulrich Nikolaus Rust, Duncan Eddy, Robbie Fraser, Nina Vasan, Darja Djordjevic, Akanksha Dadlani, Max Lamparth, Eugenia Kim, Mykel Kochenderfer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De Mythe van de "Expertconsensus"

Stel je voor dat je probeert een robot te leren hoe je een behulpzame therapeut kunt zijn. De standaardmanier om dit te doen, is door menselijke experts (psychiaters) te vragen de antwoorden van de robot te beoordelen. Als de experts het erover eens zijn dat een antwoord "goed" is, leert de robot om meer van dat soort antwoorden te geven. Als ze zeggen dat het "slecht" is, leert de robot om het te vermijden.

Dit artikel stelt een simpele maar beangstigende vraag: Wat als de experts het niet eens kunnen worden?

De onderzoekers testten dit in de hoog-risicowereld van de geestelijke gezondheid. Ze huurden drie erkende psychiaters in om 360 verschillende door AI gegenereerde antwoorden op vragen over geestelijke gezondheid te beoordelen. Ze verwachtten dat de experts grotendeels overeen zouden komen, omdat ze allemaal naar dezelfde scholen zijn gegaan en dezelfde medische regels volgen.

Het Resultaat: De experts waren nauwelijks het eens. Sterker nog, hun meningsverschil was zo groot dat het in bijna elk ander wetenschappelijk veld als "onbetrouwbaar" zou worden beschouwd.

De Analogie: De Drie Rechters

Om te begrijpen wat er gebeurde, stel je een kookwedstrijd voor met drie rechters:

Rechter Veiligheid: Geeft er alleen om of het eten giftig is. Als het niet giftig is, geven ze er een 5-sterrenbeoordeling voor, zelfs als het smaakt als karton.
Rechter Betrekking: Geeft om of het eten lekker is en of je er zin in krijgt om meer te eten. Als het veilig is maar saai, geven ze er een 2-sterrenbeoordeling voor.
Rechter Cultuur: Geeft om of het eten de achtergrond en dieetbeperkingen van de dinerende persoon respecteert. Als het eten de culturele context negeert, geven ze er een 1-sterrenbeoordeling voor, zelfs als het veilig en lekker is.

In dit onderzoek gedroegen de drie psychiaters zich als deze drie rechters. Ze maakten geen fouten of lasen de instructies verkeerd. Ze keken naar hetzelfde AI-antwoord en zagen drie volledig verschillende dingen, omdat ze verschillende "filosofieën" hadden over wat een goed antwoord zou moeten zijn.

De Belangrijkste Bevindingen

1. De "Veiligheid"-Paradox
Je zou denken dat experts het meest overeenkomen over gevaarlijke onderwerpen zoals zelfmoord of zelfverminking. Je hebt het mis.

De Claim van het Artikel: De experts waren het het minst eens over de meest gevaarlijke onderwerpen (zelfmoord en zelfverminking).
De Analogie: Stel je een brandoefening voor. De ene expert denkt: "Blijf kalm, loop gewoon langzaam naar buiten." De andere denkt: "Ren direct weg!" De derde denkt: "Bel eerst 112." Ze willen allemaal levens redden, maar ze hebben verschillende ideeën over hoe ze dat moeten doen. Omdat de inzet zo hoog is, werden hun verschillen enorm.

2. De "Ruis" is Eigenlijk een "Signaal"
Wanneer AI-systemen worden getraind, nemen ze meestal alle expert-scores en middelen ze deze. Als Rechter A een 5 geeft en Rechter C een 1, leert de AI een "3".

De Claim van het Artikel: Dit middelingsproces is gebroken. Het creëert een "compromis"-antwoord dat eigenlijk niet de mening van een echte expert weerspiegelt. Het is alsof je rode verf en blauwe verf mengt om paars te krijgen, en vervolgens de kunstenaar vertelt: "Dit is de perfecte kleur voor je lucht," terwijl geen van beide kunstenaars paars wilde.
Het Resultaat: De AI leert een "middenweg" die therapeutisch misschien nutteloos is, omdat het de specifieke, geldige redenen negeert waarom elke expert zijn of haar score gaf.

3. Het "Grenzen"-Probleem
De experts waren het het minst eens over of de AI duidelijk zou moeten stellen: "Ik ben een robot, geen arts."

De Claim van het Artikel: De ene expert (Expert C) was extreem streng en gaf bijna elk antwoord een onvoldoende omdat de AI niet expliciet zei "Ik ben geen mens". Een andere expert (Expert A) vond het prima als de AI gewoon later voorstelde om een echte arts te raadplegen.
De Analogie: Het is alsof een leraar het essay van een student beoordeelt. De ene leraar geeft een onvoldoende omdat de student zijn of haar naam niet bovenaan heeft geschreven. De andere leraar geeft een 10 omdat het essay briljant is. Als je die cijfers middelt, krijg je een 5, wat de student niets nuttigs vertelt.

Waarom Dit Belangrijk Is voor AI

Het artikel stelt dat we menselijke meningsverschillen niet zomaar kunnen "middelen" om de "waarheid" te vinden.

Het Probleem: In de geestelijke gezondheid is er geen enkel "correct" antwoord dat gemeten kan worden zoals een bloedtest. Wat voor de ene persoon behulpzaam is, kan voor een ander schadelijk zijn.
Het Gevolg: Als we AI trainen door deze tegenstrijdige expertmeningen te middelen, leren we de AI niet om veilig of behulpzaam te zijn; we leren het om een verwarde middenweg te zijn die misschien niet bij iemands behoeften past.

De Aanbevelingen van het Artikel

De auteurs zeggen niet dat we moeten stoppen met het gebruik van experts. In plaats daarvan suggereren ze dat we veranderen hoe we ze gebruiken:

Stop met doen alsof iedereen het eens is: We moeten toegeven dat experts verschillende, geldige filosofieën hebben.
Middel niet zomaar: In plaats van scores te middelen, moeten we de scores apart houden en de AI vertellen: "Expert A vond dit veilig, maar Expert B vond het riskant."
Gebruik meningsverschil als waarschuwingssignaal: Als experts ruzie maken over een antwoord, is dat een signaal dat de AI een mens nodig heeft om het te controleren voordat het aan een echt persoon wordt getoond.

Samenvatting

Dit artikel is een realiteitscheck. Het laat zien dat zelfs hoogopgeleide experts het niet eens kunnen worden over hoe een "goed" antwoord op het gebied van geestelijke gezondheid eruit ziet. Omdat ze zo sterk van mening verschillen, is de huidige methode om AI te trainen door hun meningen te middelen, flawed. De "ruis" die we dachten te kunnen negeren, is eigenlijk een diepgaand, principieel meningsverschil over hoe we voor mensen moeten zorgen, en we hebben nieuwe manieren nodig om die complexiteit aan te pakken.

Technische Samenvatting: Expertevaluatie en de Grenzen van Menselijke Feedback bij Veiligheidstests voor AI in de Geestelijke Gezondheidszorg

Probleemstelling

Het heersende paradigma voor de ontwikkeling en evaluatie van AI-systemen, met name in hoog-risicodomeinen zoals de geestelijke gezondheidszorg, vertrouwt op Leren van Menselijke Feedback (LHF). Deze aanpak gaat ervan uit dat het aggregeren van expertoordelen een geldig "grondwaarheid"-signaal oplevert voor het trainen van beloningsmodellen (bijv. RLHF, DPO) en veiligheidsclassificatoren. Deze aanname wordt echter zelden getest, en wanneer betrouwbaarheid wordt gemeten, wordt deze vaak niet gerapporteerd.

In de geestelijke gezondheidszorg zijn de risico's uitzonderlijk hoog: ongepaste AI-antwoorden kunnen leiden tot overlijden, versterking van waanideeën of het in stand houden van stigma. Evaluatie is doorgaans afhankelijk van een klein aantal specialisten die AI-outputs beoordelen. Het kernprobleem dat wordt onderzocht, is of deze experts daadwerkelijk tot een consistent consensus kunnen komen. Als experts fundamenteel verschillende klinische filosofieën hanteren, kan het aggregeren van hun labels het ruisniveau niet verlagen, maar eerder gefundeerde professionele kaders wissen, waardoor "rekenkundige compromissen" ontstaan die geen enkele samenhangende klinische realiteit weerspiegelen.

Methodologie

De auteurs hanteerden een sequentiële mixed-methods-ontwerp waarbij kwantitatieve betrouwbaarheidsanalyse werd gecombineerd met een kwalitatief onderzoek naar klinische kaders.

Datasetconstructie

Inhoud: Een dataset van 360 door AI gegenereerde antwoorden op synthetische prompts voor geestelijke gezondheid.
Modellen: Antwoorden werden gegenereerd door vier grote taalmodellen: GPT-5, Claude 4 Sonnet, Grok-4 en Llama 3.2.
Ontwerp: Prompts werden systematisch gevarieerd met behulp van een 3×3-matrix die klinische ernst (laag, gemiddeld, hoog) kruiste met communicatie directheid.
Risicocategorieën: Tien hoog-risicocategorieën werden gedefinieerd (bijv. steun aan suïcidale gedachten, versterking van hallucinaties, bestraffing van ADHD-gedrag), afgeleid van klinische richtlijnen en eerdere werken over schadelijke AI-antwoorden.

Evaluatiekader

Rubriek: Een gekalibreerde rubriek die twee dimensies (Veiligheid en Kwaliteit) bestrijkt over acht factoren:
- Veiligheid: Ernst van potentiële schade, Kans op potentiële schade.
- Kwaliteit: Correctheid, Relevantie, Actief luisteren, Empathie & validatie, Grenzen & ethische disclaimers, Toepasbaarheid & aanmoediging.
Schaal: 5-punts Likert-schalen (1 = slechtst, 5 = best).

Deelnemers en Procedure

Beoordelaars: Drie gecertificeerde psychiaters met diverse subspecialisaties (volwassenen, kind/adolescent), theoretische oriëntaties (cultureel, biopsychosociaal) en patiëntenpopulaties.
Proces:
1. Kalibratie: Een sessie van 90 minuten waarin schalen en ankerpunten werden doorgenomen.
2. Annotatie: Onafhankelijke beoordeling van alle 360 antwoorden over alle 8 factoren (totaal 8.640 beoordelingen).
3. Interviews: Semigestructureerde interviews (45–60 minuten) om evaluatieprocessen en onderliggende kaders te verkennen.
Analyse:
- Kwantitatief: Intraclass Correlation Coefficients (ICC) voor betrouwbaarheid en Krippendorff's $\alpha$ voor ordinaal data. Mean Absolute Deviation (MAD) om de omvang van onenigheid te meten.
- Kwalitatief: Reflexieve thematische analyse van interviewtranscripten om kwantitatieve patronen te verklaren.

Belangrijkste Resultaten

1. Slechte Interbeoordelaarsbetrouwbaarheid

Ondanks vergelijkbare training en gedeelde instructies was de interbeoordelaarsbetrouwbaarheid consequent slecht, en viel deze onder de 0,40-drempel die doorgaans als minimaal acceptabel wordt beschouwd voor consequente beoordeling.

Betrouwbaarheid per enkele beoordelaar ( $ICC_{(2,1)}$ ): Varieerde van 0,087 (Grenzen) tot 0,295 (Actief luisteren).
Gemiddelde betrouwbaarheid ( $ICC_{(2,k)}$ ): Zelfs bij het middelen van alle drie de beoordelaars bereikte de betrouwbaarheid slechts "matige" niveaus (max 0,556), waarbij "Grenzen" in het "slechte" bereik bleef (0,223).
Krippendorff's $\alpha$ : Vier factoren leverden negatieve waarden op (bijv. Grenzen $\alpha = -0,203$ ), wat wijst op systematische onenigheid die erger is dan toeval. Dit suggereert dat wanneer de ene beoordelaar hoog scoorde, anderen systematisch laag scoorden.

2. Het Hoog-risico Paradox

Onenigheid was het hoogst bij de meest veiligheidskritieke items, wat in strijd is met de aanname dat experts beter overeenkomen bij kritieke kwesties.

Suïcide en Zelfverwonding: Produseerden de grootste onenigheid (MAD respectievelijk 0,598 en 0,566).
ADHD: Toonde de laagste onenigheid (MAD 0,461), waarschijnlijk omdat richtlijnen minder voorschrijvend zijn.
Ernst: Hoog-ernstige gevallen genereerden meer onenigheid dan lage of gemiddelde gevallen.

3. Systematische, Niet Willekeurige, Onenigheid

Onenigheid was directioneel en weerspiegelde samenhangende maar incompatibele klinische kaders in plaats van meetfouten.

Asymmetrie tussen beoordelaars: Er werd een asymmetrie van 3,5:1 waargenomen tussen de beoordelaars. Beoordelaar A (gemiddeld 4,186) was consequent soepeler dan Beoordelaar C (gemiddeld 3,639).
Kadergedreven Divergentie:
- Expert A (Veiligheid Eerst): Prioriteit aan het vermijden van schade; beoordeelde antwoorden hoger als ze actieve schade vermijden, zelfs als ze therapeutisch beperkt waren.
- Expert B (Engagement-gericht): Focus op therapeutische verbinding en hulpvragen; bestraft "veilige" maar koude antwoorden.
- Expert C (Cultureel Geïnformeerd): Past de strengste standaarden toe, met nadruk op culturele context en expliciete AI-beperkingen; beoordeelde 92% van de antwoorden als ontoereikend op "Grenzen" omdat ze ontbraken aan expliciete disclaimers.
Factor Grenzen: De laagste betrouwbaarheidsfactor ( $\alpha = -0,203$ ) illustreerde dit. Expert C vereiste expliciete "Ik ben AI"-disclaimers, terwijl Expert A impliciete grenzen accepteerde via verwijzingen. Het aggregeren van deze meningen leverde een gemiddelde op dat noch de werkelijke standaard van de ene noch die van de andere expert weerspiegelde.

4. Model-specifieke Patronen

Onenigheid varieerde per bronmodel. GPT-5 toonde de hoogste onenigheid op "Grenzen" (MAD 0,921), terwijl Grok-4 de hoogste algehele onenigheid toonde, met name op interpersoonlijke dimensies. Dit geeft aan dat betrouwbaarheidsschattingen van het ene model niet noodzakelijk generaliseren naar andere.

Belangrijkste Bijdragen

Bestaansbewijs van Onoplosbare Onenigheid: De studie toont aan dat zelfs onder gecertificeerde psychiaters de expertonenigheid over AI-veiligheid substantieel, systematisch is en aanhoudt ondanks kalibratie. Dit daagt de aanname uit dat menselijke feedback een stabiele grondwaarheid biedt voor RLHF en veiligheidsclassificatie.
Identificatie van Systematische Bias: Het artikel toont aan dat onenigheid geen willekeurige ruis is, maar concurrerende klinische filosofieën weerspiegelt (veiligheid eerst vs. engagement vs. culturele context). Deze verschillen zijn het meest uitgesproken in hoog-risicosituaties (suïcide, zelfverwonding).
Kwalitatief Mechanisme: Via interviews identificeren de auteurs dat experts vertrouwen op holistische risicohuristiek in plaats van granulaire factordiscriminatie. De "ruis" die huidige aligneringsmethoden proberen weg te middelen, is eigenlijk een omstreden signaal dat geldige, divergente professionele kaders vertegenwoordigt.

Betekenis en Implicaties

Het artikel betoogt dat in veiligheidskritieke domeinen met longitudinale gevolgen, menselijke feedback mogelijk geen stabiele grondwaarheid biedt zoals wordt aangenomen door huidige AI-aligneringsmethoden.

Voor Beloningsmodellering: Het trainen van beloningsmodellen op geaggregeerde labels kan modellen leren om "rekenkundige compromissen" na te bootsen in plaats van echte klinische kwaliteit, wat mogelijk leidt tot therapeutisch oncoherente gedragingen.
Voor Veiligheidsclassificatie: Classificatoren die zijn getraind op expertlabels in hoog-risicodomeinen (bijv. suïcidaliteitsrisico) kunnen omstreden oordelen als grondwaarheid erven, waardoor een valse zekerheid over veiligheid ontstaat.
Voor Evaluatiebenchmarks: Benchmarks die menselijke beoordelingen als objectieve waarheid behandelen, zijn fundamenteel gebrekkig als experts het niet eens kunnen worden over wat een "goed" antwoord is.

Aanbevelingen

De auteurs stellen een verschuiving voor van consensusgebaseerde aggregatie naar methoden die expertonenigheid behouden en daarvan leren:

Rapporteer Betrouwbaarheid: Interbeoordelaarsbetrouwbaarheid moet in alle evaluatiestudies worden gerapporteerd.
Kader-gedeclareerde Annotatie: Experts moeten hun klinische kader declareren voordat ze annoteren, waardoor gelabelde distributies ontstaan die zijn geïndexeerd op kader in plaats van samengevoegde scores.
Onenigheid als Escalatiesignaal: Hoge onenigheid moet menselijke review in de loop of conservatief systeemgedrag triggeren, in plaats van te worden opgenomen in een aggregaat.
Contextbewuste Weging: Voor specifieke use-cases kan het nodig zijn om annotators te wegen wiens kaders overeenkomen met de inzetcontext, hoewel dynamische kaderselectie een open uitdaging blijft.

De studie concludeert dat expertonenigheid in veiligheidskritieke AI een sociotechnisch fenomeen is waarbij professionele ervaring verfijnde lagen van principiële divergentie introduceert die niet kunnen worden opgelost door betere meting of grotere pools van annotators.