Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

In de drukke, veeleisende omgeving van een ziekenhuisafdeling spoedeisende hulp moeten artsen constant tegen de klok vechten. Ze moeten het verhaal van een patiënt in elkaar puzzelen uit gefragmenteerde aantekeningen, verspreide testresultaten en haastige observaties om levensreddende beslissingen te nemen. Voor patiënten met hiv, een virus dat het immuunsysteem van het lichaam verzwakt, is dit proces vooral cruciaal. Het vroegtijdig identificeren van risicofactoren – zoals onbeschermde seks, het delen van naalden of specifieke symptomen – kan leiden tot testen en behandeling die de verspreiding van het virus stopt. Maar wanneer een arts overdag overspoeld wordt door tientallen patiënten, kunnen cruciale details gemakkelijk door de mazen van het net glippen. De enorme hoeveelheid ongestructureerde tekst in medische dossiers maakt het moeilijk om handmatig elke relevante aanwijzing te extraheren, wat een knelpunt creëert waarbij gemiste informatie de diagnose kan vertragen en de ziekte de kans geeft om zich in stilte te blijven verspreiden.

Om dit aan te pakken, onderzoeken onderzoekers het gebruik van geavanceerde computerprogramma's die bekend staan als large language models (grote taalmodellen). Dit zijn kunstmatige intelligentiesystemen die getraind zijn op enorme hoeveelheden tekst en die menselijke taal kunnen lezen, begrijpen en samenvatten. Het idee is dat deze tools als een tweede paar ogen kunnen fungeren, door razendsnel duizenden medische dossiers te scannen om belangrijke details te benadrukken en patiëntgeschiedenissen samen te vatten. Maar om dit in een echt ziekenhuis te laten werken, moet de technologie uiterst betrouwbaar zijn. Het mag geen feiten verzinnen, vitale informatie weglaten of onvoorspelbaar gedrag vertonen. Bovendien, omdat deze tools vaak worden getest in Spaanstalige landen, moeten ze de specifieke medische taal en culturele nuances van Spaanse klinische aantekeningen begrijpen, niet alleen die van het Engels.

Een team van onderzoekers in Spanje heeft dit idee onlangs op de proef gesteld. Ze wilden zien of deze kunstmatige intelligentieprogramma's in staat waren om de verslagen van de spoedeisende hulp nauwkeurig samen te vatten en specifieke hiv-risicofactoren uit Spaanse tekst te halen zonder vooraf op nieuwe gegevens getraind te hoeven worden. Ze verzamelden 100 geanonimiseerde patiëntendossiers van een universitair ziekenhuis, een mix van mensen die later hiv-positief bleken te zijn en mensen die dat niet waren. De dossiers varieerden sterk in lengte en complexiteit, wat de chaotische realiteit van de dagelijkse spoedeisende zorg weerspiegelt. De onderzoekers voerden deze dossiers vervolgens in bij elf verschillende AI-modellen, variërend van krachtige, cloudgebaseerde systemen tot open-source programma's die op de eigen beveiligde servers van een ziekenhuis kunnen draaien. Ze vroegen de modellen om twee dingen te doen: een korte, heldere samenvatting te schrijven van het bezoek van de patiënt, en te identificeren of specifieke risicofactoren aanwezig, afwezig of simpelweg niet vermeld waren in de tekst.

De resultaten toonden een duidelijke winnaar in de taak van samenvatting. Eén model, een cloudgebaseerd systeem van Google, produceerde samenvattingen die aanzienlijk nauwkeuriger en vollediger waren dan een open-source alternatief. Wanneer artsen deze samenvattingen beoordeelden, stelden zij vast dat het cloudgebaseerde model veel minder fouten maakte. Het verzint zelden feiten die er niet zijn, en het mist veel minder belangrijke details. Het open-source model, hoewel in staat tot de taak, liet regelmatig cruciale informatie weg, zoals lopende testresultaten of de medische voorgeschiedenis, wat gevaarlijk kan zijn als een arts alleen op de samenvatting vertrouwt. De onderzoekers testten ook of een AI de kwaliteit van deze samenvattingen even goed kon beoordelen als een menselijke arts. Ze ontdekten dat de AI-beoordelaar erg goed was in het opsporen van verzonnen feiten en evidente fouten, maar dat het moeite had om het met menselijke artsen eens te worden over wat een ontbrekend detail precies inhield. Dit suggereert dat hoewel AI kan helpen bij het filteren van slechte samenvattingen, menselijk toezicht essentieel blijft om subtiele weglatingen op te merken.

Wat betreft het extraheren van specifieke risicofactoren, hing de prestatie van de modellen sterk af van hoe strikt de resultaten werden gemeten. De onderzoekers lieten elk model vijf keer dezelfde dossiers verwerken om te zien of het elke keer hetzelfde antwoord zou geven. Ze kwamen tot de conclusie dat de modellen over het algemeen beter waren in het identificeren van sociale risicofactoren, zoals drugsgebruik of seksuele geschiedenis, die vaak direct door patiënten worden vermeld. Ze waren echter minder consistent bij het identificeren van klinische risicofactoren, zoals specifieke symptomen of eerdere infecties, die het samenvoegen van verspreide aanwijzingen uit verschillende delen van een lange medische aantekening vereisen. Zelfs wanneer de modellen zo consistent mogelijk werden ingesteld, gaven ze soms bij herhaalde runs verschillende antwoorden. Deze instabiliteit betekende dat een model dat er in een enkele test uitstekend uitzag, anders zou kunnen presteren in een echte, doorlopende workflow.

De studie concludeerde dat hoewel deze AI-tools veel belofte tonen voor het helpen van Spaanstalige spoedeisende hulpafdelingen bij het beheren van hun werklast, ze nog niet perfect zijn. De beste modellen kunnen de tijd die artsen besteden aan het schrijven van samenvattingen aanzienlijk verminderen en kunnen risicofactoren naar boven brengen die anders misschien over het hoofd zouden worden gezien. De onderzoekers benadrukten echter dat de technologie met voorzichtigheid moet worden gebruikt. De meest voorkomende fout was niet het verzinnen van zaken, maar het weglaten van belangrijke informatie. Voor een systeem dat ontworpen is om gemiste diagnoses op te sporen, is het weglaten van een detail net zo gevaarlijk als het verzinnen van een detail. De bevindingen suggereren dat de meest effectieve aanpak een hybride aanpak is: het gebruik van AI voor het zware werk van het lezen en samenvatten, terwijl menselijke artsen in de loop worden gehouden om de resultaten te verifiëren en ervoor te zorgen dat er geen cruciaal puzzelstukje verloren gaat. Deze balans zou spoedeisende hulpafdelingen kunnen helpen om meer hiv-gevallen eerder te ontdekken, wat potentieel levens kan redden en de verspreiding van het virus in gemeenschappen waar het een hardnekkige uitdaging blijft, kan vertragen.