Clinically Grounded AI-Scribing in Psychotherapy: Benchmarking LLMs Against Expert Documentation in the iCARE Framework

In de stille kamers waar psychotherapie plaatsvindt, is het werk diep menselijk. Het rust op een therapeut die luistert naar het verhaal van een cliënt, de zwaarte van een stilte opmerkt en de context begrijpt van een angst die jaren teruggaat. Om dit werk effectief te kunnen doen, moet de therapeut ook een verslag bijhouden. Deze aantekeningen zijn niet louter administratieve papierwinkel; ze zijn de kaart van een innerlijke wereld, die alles vastlegt van de onmiddellijke crisis tot de lange geschiedenis van familie en gewoonten die de persoon hebben gevormd. Traditioneel gezien is het schrijven van deze aantekeningen een zware last geweest, die de aandacht van de clinicus wegtrok van de patiënt en naar een computerscherm verplaatste. In de afgelopen jaren heeft kunstmatige intelligentie beloofd deze last te verlichten. Deze "AI-schrijvers" kunnen een gesprek beluisteren en het uittypen, maar in de complexe wereld van de geestelijke gezondheidszorg schieten de meeste huidige systemen tekort. Ze hebben de neiging om korte, droge samenvattingen te produceren die de nuance, de emotionele onderstromen en de cruciale veiligheidsdetails die een therapiesessie definiëren, missen. De uitdaging was om een machine te bouwen die niet alleen woorden transcribeert, maar het verhaal begrijpt.

Een team van onderzoekers uit India en Singapore heeft een belangrijke stap gezet naar het oplossen van dit probleem door opnieuw na te denken over hoe therapienotities gestructureerd moeten worden en hoe machines moeten leren ze te schrijven. Ze begonnen met het creëren van een nieuw, uitgebreid kader voor documentatie genaamd iCARE. In tegen tegenstelling tot de standaard, afgekort vormaten die in veel ziekenhuizen worden gebruikt, welke ontworpen zijn voor snelle administratieve controles, is iCARE gebouwd om de volledige diepte van een klinische ontmoeting vast te leggen. Het is een gedetailleerde structuur met zeventien afzonderlijke secties, variërend van basisidentificatiegegevens en de belangrijkste klachten van de cliënt tot een diepe duik in hun medische geschiedenis, een risicobeoordeling voor onmiddellijk gevaar zoals zelfbeschadiging, en een plan voor toekomstige sessies. De onderzoekers voerden aan dat een AI-systeem eerst in staat moet zijn om dit rijke, volledige beeld te genereren voordat het kan worden gecondenseerd tot een kortere samenvatting. Om dit idee te testen, bouwden ze een nieuwe dataset genaamd iHOPE. Ze namen 174 opgenomen therapiesessies uit een publieke collectie, maakten de audio schoon om ervoor te zorgen dat elk woord werd gehoord, en lieten vervolgens een team van deskundige psychiaters en psychologen perfecte, gouden standaardnotities voor elke sessie schrijven volgens het nieuwe iCARE-formaat. Dit creëerde een benchmark, een set ideale antwoorden waartegen elke machine gemeten kon worden.

De onderzoekers legden vervolgens elf verschillende grote taalmodellen op de proef. Deze modellen, die de krachtige computerprogramma's achter moderne AI-chatbots zijn, kregen de opdracht om naar de therapieopnames te luisteren en de iCARE-notities te schrijven. Ze testten de modellen op twee manieren: eerst door hen de opnames te geven zonder voorbeelden om te volgen, en ten tweede door hen één voorbeeld van een perfecte notitie te tonen voordat ze de rest moesten schrijven. De resultaten toonden een duidelijke kloof tussen de verschillende soorten AI. De closed-source modellen, die ontwikkeld zijn door grote technologiebedrijven en niet openstaan voor publieke modificatie, presteerden consequent beter dan de open-source modellen, die door de publieke gemeenschap zijn gebouwd. Eén specifiek model, GPT-4o-mini, behaalde de hoogste scores op standaard computertests die meten hoe nauw de woorden van de machine overeenkwamen met die van de menselijke experts. Een ander model, Gemini Pro, toonde een bijzondere kracht in het identificeren van crisisindicatoren, zoals tekenen van suïciderisico of middelengebruik, wat cruciale veiligheidsdetails zijn in de therapie.

Echter, het verhaal werd interessanter toen de onderzoekers menselijke experts vroegen om de notities te beoordelen, in plaats van te vertrouwen op computerscores. Ze brachten zes professionals uit de geestelijke gezondheidszorg binnen die de notities blind lazen, zonder te weten welke AI ze had geschreven, en beoordeelden ze op vijf kernkwaliteiten: betrouwbaarheid, relevantie, nauwkeurigheid, volledigheid en helderheid. De menselijke experts vonden dat hoewel de topcomputermodellen goed waren, ze nog steeds worstelden met de tijdlijn. De machines faalden vaak in het correct onderscheiden tussen wat er in een verleden sessie gebeurde en wat er gepland was voor de volgende sessie, een fundamenteel aspect van therapie dat een begrip van een tijdlijn vereist. Verrassend genoeg gaven de menselijke experts de voorkeur aan de notities van een kleiner, open-source model genaamd Mistral boven de krachtigere commerciële modellen. Sterker nog, Mistral was het enige systeem dat in één specifieke categorie iets hoger scoorde dan de door mensen geschreven notities: volledigheid. Deze bevinding suggereert dat de manier waarop we het succes van AI momenteel meten via computeralgoritmen, niet altijd overeenkomt met wat een menselijke clinicus daadwerkelijk nodig heeft. De commerciële modellen waren uitstekend in het matchen van specifieke zinsdelen, maar het kleinere model leek in de ogen van de experts de klinische essentie van de sessie effectiever te vangen.

De studie concludeert dat hoewel kunstmatige intelligentie klaar is om therapeuten te ondersteunen, het nog niet klaar is om hen te vervangen. De onderzoekers vonden dat de beste weg vooruit een collaboratieve weg is, waarbij AI het zware werk afhandelt van het opstellen van de gedetailleerde notities, waardoor de therapeut de ruimte krijgt om het verslag te beoordelen, te verfijnen en te finaliseren. Deze aanpak zou waardevolle tijd vrijmaken voor clinici om zich op de patiënt te richten in plaats van op het toetsenbord. Het team benadrukte dat hun werk geen definitieve oplossing is, maar een fundament. Ze hebben hun nieuwe kader, hun dataset van deskundige notities en hun evaluatiemethode beschikbaar gesteld aan andere wetenschappers, zodat het vakgebied kan blijven verbeteren. Het uiteindelijke doel is om de kloof te overbruggen tussen de enorme behoefte aan geestelijke gezondheidszorg en het beperkte aantal beschikbare therapeuten, door technologie te gebruiken om de menselijke verbinding die centraal staat bij heling te ondersteunen, in plaats van deze te vervangen.