Does a Safety-Priming Instruction Reduce Risk-Fact Omission in Psychiatric Note Summarization? A Synthetic-Vignette Study of Small Open-Weight Language Models

In de hooggespannen wereld van de geestelijke gezondheidszorg is het schriftelijke verslag de levenslijn. Wanneer een patiënt zijn angsten, zijn geschiedenis en zijn huidige staat beschrijft, moet een clinicus elk cruciaal detail vastleggen om de veiligheid te waarborgen. Jarenlang vertrouwden artsen op hun eigen aantekeningen, maar een nieuw hulpmiddel is de kamer binnengekomen: kunstmatige intelligentie. Deze computerprogramma's, bekend als grote taalmodellen, worden getest om te helpen deze complexe medische aantekeningen samen te vatten, waarbij pagina's aan tekst worden omgezet in beknopte, leesbare opsommingstekens. De hoop is dat ze tijd kunnen besparen en fouten kunnen verminderen. Er is echter een specifieke angst die minder aandacht heeft gekregen dan de angst dat de machine dingen verzint. Hoewel het gevaarlijk is als een computer een symptoom verzint dat nooit heeft plaatsgevonden, is het misschien wel gevaarlijker als het stilzwijgend een symptoom verwijdert dat er al wel is. Als een samenvatting een vermelding van zelfbeschadiging of suïcidale gedachten weglaat, kan een arts die het document vluchtig doorleest aannemen dat de patiënt veilig is, zonder enige waarschuwing dat er een cruciaal stukje informatie ontbreekt. Deze stilte is het verborgen gevaar dat onderzoekers wilden meten.

Een team van onderzoekers zette zich af om te testen of een eenvoudige verandering in instructies dit probleem kon oplossen. Ze stelden een eenvoudige vraag: als je een kunstmatige intelligentie vertelt om "altijd veiligheidsgerelateerde bevindingen op te nemen", stopt het dan daadwerkelijk met het laten vallen van die gevaarlijke details? Om een antwoord te vinden zonder echte patiënten in gevaar te brengen, bouwden ze een gecontroleerd experiment met vijftig volledig verzonnen verhalen. Dit waren geen echte medische dossiers, maar zorgvuldig geconstrueerde scenario's, elk geschreven om precies één specifiek veiligheidsrisico te bevatten — zoals gedachten aan zelfmoord, zelfbeschadiging of gevaarlijke hallucinaties — en één routine detail, zoals een verandering in slaappatronen. Ze voerden deze verhalen aan vier verschillende kleine kunstmatige intelligentiemodellen en vroegen elk model om het verhaal samen te vatten in drie korte opsommingstekens. Eerst lieten ze de modellen werken met een standaardinstructie. Daarna lieten ze dezelfde verhalen opnieuw door de modellen lopen, ditmaal met het toevoegen van een specifieक bevel om veiligheidskwesties altijd te benadrukken.

De resultaten onthulden een complex beeld dat de gedachte aan een eenvoudige, universele oplossing uitdaagt. Wanneer de modellen werden gelaten om samen te vatten zonder speciale instructies, maakten ze fouten, maar de omvang van de fout hing volledig af van welk model werd gebruikt. Het kleinste, minst krachtige model miste het veiligheidskritische detail in zesentwintig procent van de gevallen, wat betekende dat het de waarschuwing ongeveer één keer in de vier gevallen liet vallen. Het grootste en meest capabele model in de groep deed het veel beter en miste het detail slechts vier procent van de tijd. Toen de onderzoekers de veiligheidsinstructie toevoegden, was de uitkomst niet voor iedereen hetzelfde. Voor het kleinste model dat het meest worstelde, werkte de instructie als een wonder. Het percentage gemiste veiligheidsdetails daalde drastisch van zesentwintig procent naar acht procent. Dit was een duidelijke, statistisch significante verbetering. De instructie hielp het model dat het hardst hulp nodig had.

Het verhaal eindigde echter niet met een eenvoudige overwinning. De onderzoekers ontdekten dat voor de andere drie modellen, die al redelijk goed presteerden, de veiligheidsinstructie gepaard ging met een verborgen kostenpost. Hoewel deze modellen in eerste instantie niet veel veiligheidsdetails misten, zorgde de nieuwe instructie ervoor dat ze de routineuze, niet-gevaarlijke details veel vaker gingen missen. Voor twee van de modellen steeg het percentage gemiste routinefeiten met twintig procentpunten. Het leek erop dat de modellen een beperkte hoeveelheid ruimte hadden in hun samenvattingen van drie opsommingstekens. Wanneer ze de opdracht kregen om veiligheid te prioriteren, leken ze de andere belangrijke medische informatie naar buiten te drukken om plaats te maken voor de veiligheidswaarschuwing. De instructie was geen gratis toevoeging; het was een afweging. De modellen die de hulp niet nodig hadden, werden gedwongen andere delen van het klinische beeld op te offeren om de nieuwe regel te volgen.

De studie keek ook naar welke specifieke soorten risico's het meest waarschijnlijk werden vergeten. De gegevens suggereerden dat voor de zwakkere modellen de gevaarlijkste categorie — suïcidale gedachten — het meest waarschijnlijk werd gedropt, met missingspercentages die in sommige gevallen opliepen tot vijftig procent. Dit onderstreept een specifieke kwetsbaarheid waarbij de meest kritieke informatie het meest waarschijnlijk verdwijnt. De onderzoekers benadrukten dat deze bevindingen afkomstig zijn van synthetische, verzonnen verhalen, en niet van echte patiëntendossiers, en dat het experiment een pilotstudie was en geen definitieve oplossing. Ze merkten op dat de gebruikte kunstmatige intelligentiemodellen klein en open-source waren, en dat de resultaten kunnen verschillen bij grotere of andere systemen.

De uiteindelijke les van dit werk is dat er geen enkele "veiligheidsknop" is die voor elk systeem van kunstmatige intelligentie werkt. Het toevoegen van een veiligheidsinstructie is geen uniforme verbetering die blindelings aan alle instrumenten kan worden toegepast. Voor het zwakste model was het een vitale interventie die cruciale informatie redde zonder de rest van de samenvatting te schaden. Voor de sterkere modellen was het een verstoring die veiligheidswinsten ruilde voor een verlies van andere belangrijke details. De onderzoekers concludeerden dat voordat een ziekenhuis of kliniek een veiligheidsinstructie voor hun documentatietools adopteert, ze deze op hun specifieke systeem moeten testen. Ze moeten verifiëren dat de instructie daadwerkelijk het risico vermindert dat gevaarlijke feiten worden gemist en controleren of het per ongeluk ervoor zorgt dat het systeem andere vitale medische informatie laat vallen. Het pad naar veiligere documentatie vereist zorgvuldige, model-per-model validatie in plaats van een one-size-fits-all aanpak.