🤖 AI

VERA-MH Concept Paper

Het artikel introduceert VERA-MH, een geautomatiseerd raamwerk dat gebruikmaakt van gesimuleerde gebruikers- en beoordelaar-AI-agenten om de veiligheid en ethische prestaties van chatbots op het gebied van mentale gezondheid, specifiek met betrekking tot suïcidaliteitsrisico, te evalueren aan de hand van een door clinici ontwikkelde rubric.

Oorspronkelijke auteurs: Luca Belli, Kate H. Bentley, Will Alexander, Emily Ward, Matt Hawrilenko, Kelly Johnston, Mill Brown, Adam M. Chekroud

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luca Belli, Kate H. Bentley, Will Alexander, Emily Ward, Matt Hawrilenko, Kelly Johnston, Mill Brown, Adam M. Chekroud

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuw soort digitale helper bouwt voor mensen die worstelen met hun mentale gezondheid. Je wilt dat deze helper vriendelijk, behulpzaam en veilig is. Maar hoe test je of deze daadwerkelijk veilig is voordat je hem laat praten met echte mensen? Je kunt hem niet gewoon vragen: "Ben je veilig?", want hij zal altijd "Ja" zeggen.

Dit artikel introduceert VERA-MH, een nieuwe "veiligheidsinspecteur" die specifiek is ontworpen om AI-chatbots te testen die zich bezighouden met mentale gezondheid, met een speciale focus op suïcidaliteit. Denk aan VERA-MH niet als een simpele checklist, maar als een high-tech simulatielaboratorium.

Hieronder wordt uitgelegd hoe het systeem werkt, opgesplitst in eenvoudige onderdelen:

1. De drie acteurs in het toneelstuk

Om de chatbot te testen, zet VERA-MH een toneel op met drie acteurs:

De Chatbot (De Ster): Dit is de AI die je test. Hij is degene die probeert te helpen.
De User-Agent (De Method-acteur): Dit is een tweede AI die zo geprogrammeerd is dat hij zich gedraagt als een echt persoon in crisis. In plaats van dat een mens typt, "speelt" deze acteur verschillende soorten mensen na. Sommigen zijn zeer direct over hun pijn, anderen zijn vaag, en weer anderen bevinden zich in onmiddellijk gevaar. De clinici (echte artsen) hebben de scripts voor deze acteurs geschreven om ervoor te zorgen dat ze realistisch klinken.
De Judge-Agent (De Criticus): Dit is een derde AI. Hij observeert het gesprek tussen de Chatbot en de User-Agent. Hij zegt niet zomaar "goed gedaan" of "slecht gedaan". Hij gebruikt een speciale scorekaart (een rubric) die is gemaakt door experts op het gebied van mentale gezondheid om de prestaties van de Chatbot te beoordelen.

2. De Scorekaart (De Rubric)

De "Criticus" kijkt niet alleen naar vriendelijkheid. Hij zoekt naar specifieke veiligheidsvaardigheden, net zoals een rijexamen controleert op remmen, signaleren en rijstrookwisselingen. De scorekaart controleert vijf dingen:

Hebben ze het gevaar opgemerkt? (Heeft de Chatbot de waarschuwingssignalen gehoord?)
Hebben ze de moeilijke vragen gesteld? (Hebben ze zachtjes gevraagd: "Denk je eraan om jezelf pijn te doen?")
Hebben ze de juiste volgende stappen gezet? (Hebben ze een reddingslijn geboden, zoals een crisislijn, of voorgesteld om met een mens te praten?)
Hebben ze gevoelens gevalideerd? (Hebben ze gezegd: "Ik hoor je, en je pijn is echt", in plaats van alleen advies te geven?)
Zijn ze veilig gebleven? (Hebben ze alles vermeden wat de situatie erger zou kunnen maken?)

3. De "Stress-test"

In plaats van de Chatbot één vraag te stellen en het antwoord te bekijken, voert VERA-MH volledige gesprekken uit. Het is als een brandoefening. De User-Agent kan zeggen: "Ik ben het leven zat," en de Chatbot moet reageren. Vervolgens kan de User-Agent zeggen: "Ik heb geen plan," en de Chatbot moet het gesprek veilig houden.

Het systeem voert deze simulaties vele malen uit met verschillende "acteurs" om te zien hoe de Chatbot omgaat met verschillende soorten mensen en verschillende niveaus van risico.

4. De resultaten tot nu toe (Het "voorlopig rapport")

De auteurs hebben drie beroemde AI-modellen (GPT-5, Claude Opus en Claude Sonnet) getest met dit systeem.

Het goede nieuws: Alle drie de modellen waren over het algemeen goed in empathie tonen en gevoelens valideren. Ze zeiden zelden dingen die "actief schadelijk" waren.
Het slechte nieuws: De modellen misten soms kansen om directe vragen te stellen over suïcide of schakelden het gesprek niet door naar menselijke hulp wanneer dat had gemoeten.
Het probleem van de "toegestane rechter": Toen de auteurs de AI-"Rechter" vergeleken met echte menselijke artsen, ontdekten ze dat de AI-Rechter de Chatbots te mild beoordeelde. Hij gaf hen vaker "Beste Praktijk"-cijfers dan de menselijke artsen. De menselijke artsen waren strenger.

5. Wat nu?

De auteurs erkennen dat dit systeem nog in ontwikkeling is. Ze zijn momenteel bezig met:

Kalibreren van de Rechter: Het leren van de AI-Rechter om strenger te zijn en meer op een echte menselijke arts te lijken.
Verbeteren van de Acteurs: De "User-Agents" nog realistischer laten klinken, inclusief mensen die verlegen zijn of zich schamen om hulp te vragen.
Uitbreiden van de Cast: Ze hebben momenteel 10 verschillende "acteur"-scripts, maar ze weten dat ze er meer nodig hebben om alle soorten mensen te dekken. (Ze hebben kinderen voorlopig bewust buiten beschouwing gelaten om de zaken simpel te houden).

De conclusie

Het artikel betoogt dat we AI niet zomaar kunnen vertrouwen op het gebied van mentale gezondheid omdat het "aardig klinkt". We hebben een strenge, geautomatiseerde manier nodig om deze tools te stress-testen om ervoor te zorgen dat ze per ongeluk geen kwetsbare persoon schade toebrengen. VERA-MH is hun poging om dat veiligheidsnet te bouwen, waarbij AI wordt gebruikt om AI te testen, geleid door de wijsheid van menselijke artsen.

Belangrijke opmerking: Het artikel stelt expliciet dat dit een concept- en validatiehulpmiddel is. Het is op zichzelf geen therapie-app en de resultaten tot nu toe zijn voorlopig. Het doel is om ontwikkelaars te helpen veiligere tools te bouwen, niet om menselijke therapeuten te vervangen.

Technische Samenvatting: Conceptpaper VERA-MH

Probleemstelling

De snelle integratie van AI in de geestelijke gezondheidszorg, met name via chatbots voor ondersteuning en klinische triage, heeft de vaststelling van ethische, klinische en veiligheidsstandaarden voorbijgestreefd. Huidige AI-systemen op dit gebied opereren vaak zonder klinisch toezicht of consistente evaluatiemetrics. Bestaande evaluatiemethoden voor Large Language Models (LLM's) vertrouwen doorgaans op statische datasets en conversies van één beurt, wat ontoereikend is voor contexten van geestelijke gezondheid waar therapeutische interacties dynamisch, contextafhankelijk zijn en zich over meerdere beurten ontwikkelen. Er is een kritieke behoefte aan een geautomatiseerd, klinisch gevalideerd kader om de veiligheid van AI-chatbots te beoordelen, specifiek met betrekking tot suïcidaliteit, om ervoor te zorgen dat ze het principe "niet schaden" naleven.

Methodologie

De auteurs stellen VERA-MH (Validation of Ethical and Responsible AI in Mental Health) voor, een geautomatiseerd evaluatiesysteem dat is ontworpen om de veiligheid van AI-chatbots in contexten van geestelijke gezondheid te beoordelen. De methodologie vertrouwt op een multi-agent architectuur en een klinisch afgeleid beoordelingskader:

Klinisch Onderbouwd Beoordelingskader: Ontwikkeld door praktiserend clinici en experts in suïcidepreventie, evalueert het kader chatbotantwoorden over vijf dimensies:
- Risico detecteert: Identificatie van gebruikersuitspraken die op potentieel suïcidaliteit wijzen.
- Risico onderzoekt: Opvolging met directe, duidelijke vragen over suïcidaliteit.
- Neemt passende maatregelen: Escalatie naar menselijke zorgverleners of verstrekking van crisisresources op basis van risiconiveaus.
- Valideert en werkt samen: Validering van gebruikersgevoelens en collaboratieve betrokkenheid.
- Handhaaft veilige grenzen: Vermijden van taal die schadelijk gedrag aanwakkert.
  Antwoorden worden ingedeeld in vier opties: Best practice, Gemiste kans, Actief schadelijk, of Niet van toepassing.
Geautomatiseerde Evaluatie Agents:
- User-Agent: Simuleert realistische gesprekken over geestelijke gezondheid met behulp van klinisch ontwikkelde persona's (systeemprompts). Deze agents spelen rollen van individuen met wisselende suïcidaliteitsniveaus (van acute ideatie tot indirecte indicatoren) en communicatiestijlen. Om rekening te houden met de probabilistische variatie van LLM's, genereert elke persona vijf onafhankelijke conversatiestalen.
- Judge-Agent: Een AI-model dat de gesimuleerde conversatie en het beoordelingskader als invoer ontvangt om de prestaties van de chatbot over de vijf dimensies te scoren.
Aggregatie en Output: Resultaten worden samengevoegd tot een $5 \times 4$ matrix (5 dimensies $\times$ 4 antwoordcategorieën), waarbij elke cel het aandeel vertegenwoordigt dat een specifieke score aan een dimensie werd toegekend over alle gesimuleerde gesprekken heen.
Menselijke Validatie: Het systeem ondergaat een strenge validatie door gelicentieerde clinici in de geestelijke gezondheid om ervoor te zorgen dat:
- User-agents menselijke patiënten realistisch simuleren.
- Judge-agents geloofwaardige beoordelingen geven die vergelijkbaar zijn met die van menselijke clinici.
- Inter-beoordelaarsbetrouwbaarheid onder menselijke clinici wordt vastgesteld om te dienen als een consistent standaard.

Belangrijkste Bijdragen

Eerste van zijn soort Kader: VERA-MH wordt geïntroduceerd als een nieuw, geautomatiseerd evaluatiesysteem dat specifiek is ontworpen voor de veiligheid van AI-chatbots in de geestelijke gezondheidszorg, met een eerste focus op suïcidaliteit.
Meer-beurt, Dynamische Beoordeling: In tegenstelling tot statische, een-beurt evaluaties, analyseert VERA-MH volledige, meer-beurt conversaties om de evoluerende aard van therapeutische interacties en context te vangen.
Klinisch-Technische Integratie: Het systeem overbrugt de kloof tussen technische AI-evaluatie en klinische praktijk door expert klinisch oordeel in te bouwen in het ontwerp van persona's, het scorekader en het validatieproces.
Schaalbare Automatisering: Het kader maakt schaalbare, geautomatiseerde evaluatie van AI-modellen mogelijk zonder dat elke interactie handmatig moet worden beoordeeld, waarmee het tempo van AI-modeliteratie wordt aangepakt.

Voorlopige Resultaten

De auteurs hebben voorlopige evaluaties uitgevoerd met initiële versies van het VERA-MH-beoordelingskader en agents op drie modellen: GPT-5, Claude Opus en Claude Sonnet.

Modelprestaties: GPT-5 behaalde het hoogste aantal "Best practice"-scores over alle vijf dimensies. "Gemiste kans" of neutrale beoordelingen waren vaker voorhanden bij Claude Opus en Claude Sonnet. Alle drie de modellen presteerden het beste op de dimensie "Valideert en werkt samen". Beoordelingen van "Actief schadelijk" waren zeldzaam bij alle geteste chatbots.
Vindingen Menselijke Validatie:
- Realisme User-Agent: Clinici beoordeelden de gesimuleerde user-agents als zeer realistisch (gemiddelde score van 4,1/5).
- Calibratie Judge-Agent: De initiële judge-agent neigde om milder te zijn dan menselijke clinici, waarbij 88% van de interacties als "Best practice" werd beoordeeld tegenover 46% door clinici. Het kende zelden "Actief schadelijk" toe, terwijl clinici dit 7% van de tijd deden.
- Inter-beoordelaarsbetrouwbaarheid: Beoordelingen door clinici toonden inconsistentie (57% mismatch-ratio), wat de noodzaak benadrukt van gestructureerde training en calibratie om menselijke betrouwbaarheid te verbeteren voordat dit als gouden standaard wordt gebruikt.
- Overeenstemming: De judge-agent stemde het vaakst met clinici overeen op "Valideert en werkt samen" (60%) en het minst op "Onderzoekt risico" (41%).

Betekenis en Beweringen

Het paper positioneert VERA-MH als een cruciale stap naar de veilige en verantwoorde inzet van AI in de geestelijke gezondheidszorg. De auteurs beweren dat AI, om effectief barrières voor ondersteuning bij geestelijke gezondheid te verkleinen, ontwikkelaars moeten aantonen dat hun tools veilig zijn, passende risicobeoordelingen bieden en met empathie reageren.

De betekenis van VERA-MH ligt in het vermogen om een gestructureerde, consistente en geautomatiseerde methode te bieden om AI-veiligheid te evalueren in een hoog-risicodomein. De auteurs benadrukken dat het systeem momenteel actief in ontwikkeling en iteratie is. Ze stellen expliciet dat de huidige resultaten voorlopig zijn en dat het kader verdere verfijning vereist, met name op de volgende punten:

Het kalibreren van de judge-agent om strikter te aligneren met menselijke klinische standaarden.
Het uitbreiden van de diversiteit van user-persona's (momenteel 10, waarbij jongeren worden uitgesloten om complexiteit te verminderen).
Het aanpakken van het risico op "verzadiging" waarbij modellen gemakkelijk toppunten kunnen behalen.
Het verbeteren van de interpreteerbaarheid van de output van de multidimensionale matrix.

Het paper sluit af met een uitnodiging aan de gemeenschap voor feedback op zowel technische als klinische aspecten om het evaluatiehulpmiddel te verfijnen voordat het breder wordt toegepast.