BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
Deze studie toont aan dat hoewel grote taalmodellen aanzienlijke hallucinatiecijfers vertonen bij het beantwoorden van vragen over diabetes in het Bengaals, het verankeren van een lokaal inzetbaar model met de nationale richtlijn voor diabetes mellitus van Bangladesh via retrieval-augmented generation de medische nauwkeurigheid en veiligheid substantieel verbetert, hoewel klinisch toezicht essentieel blijft aangezien geen enkele configuratie volledig vrij is van fouten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de moderne wereld wenden mensen zich steeds vaker tot kunstmatige intelligentie voor antwoorden over hun gezondheid, in de hoop op snelle, betrouwbare begeleiding. Deze computerprogramma's, bekend als grote taalmodellen, zijn getraind op enorme hoeveelheden tekst en kunnen vloeiend spreken in veel talen, waaronder het Bengaals, dat door honderden miljoenen mensen wordt gesproken. Deze systemen hebben echter een bekend gebrek: ze kunnen volkomen zelfverzekerd klinken terwijl ze dingen beweren die simpelweg niet waar zijn. In de medische sector, waar één verkeerd woord kan leiden tot gevaarlijke keuzes, wordt deze neiging om feiten te verzinnen een hallucinatie genoemd. Het is een bijzondere zorg in talen zoals het Bengaals, waar de trainingsdata voor deze computerprogramma's vaak dunner en minder betrouwbaar is dan in het Engels. Voor miljoenen mensen die in Bangladesh leven met diabetes, is het krijgen van accuraat, veilig advies in hun eigen taal niet alleen een gemak; het is een cruciale behoefte, vooral wanneer lokale ziekenhuizen vaak overbelast zijn en consultaties op afstand de norm worden.
Een team van onderzoekers zette zich scharpe om te meten hoe vaak deze computerprogramma's medische feiten verzinnen wanneer ze in het Bengaals naar diabetes worden gevraagd, en om te zien of het verbinden van hen aan een vertrouwde bron deze fouten kon stoppen. Ze verzamelden veertig veelvoorkomende vragen die patiënten zouden kunnen stellen, variërend van onderwerpen als dieet en medicatie tot het beheersen van de ziekte tijdens zwangerschap of religieuze vasten. Vervolgens vroegen ze vier verschillende open-source computermodellen om deze vragen te beantwoorden. Deze modellen varieerden in grootte en ontwerp, waarbij sommige algemene instrumenten waren en andere specifiek waren afgestemd op de Bengaalse taal. De onderzoekers bouwten ook een speciaal systeem dat een van de modellen dwong om antwoorden op te zoeken in de officiële National Guideline on Diabetes Mellitus for Bangladesh voordat het sprak, een methode die bekend staat als retrieval-augmented generation. Twee artsen lazen vervolgens elk antwoord door, waarbij ze beoordeelden op nauwkeurigheid, veiligheid en duidelijkheid, en markeerden elke reactie die een onjuiste of ononderbouwde medische claim bevatte als een hallucinatie.
De resultaten toonden een verbijsterend verschil tussen de modellen aan. Het meest geavanceerde algemene model bedacht feiten in slechts 2,5% van zijn antwoorden, terwijl een model dat specifiek voor het Bengaals was ontworpen maar niet voor de geneeskunde, bijna even goed presteerde. Echter, een van de algemene modellen, dat kleiner en minder gespecialiseerd was, hallucineerde in een verbluffende 77,5% van zijn reacties. Het verzonde voedingsmiddelen die niet bestaan in Bangladesh, suggereerde gevaarlijke wijzigingen in medicatie en bood advies dat een patiënt schade zou kunnen berokkenen. Dit toonde aan dat het louter hebben van een model dat de taal spreekt niet genoeg is; de onderliggende intelligentie van het model doet er net zo toe als de taal die het gebruikt.
De onderzoekers testten vervolgens of het grondig koppelen van het zwakste model aan de officiële nationale richtlijnen zijn problemen kon oplossen. Ze gaven het model toegang tot de juiste medische regels en instrueerden het om alleen vanuit die tekst te antwoorden. De verbetering was spectaculair. Het percentage hallucinaties daalde van 77,5% naar 11,3%. De antwoorden werden veel nauwkeuriger, completer en veiliger, en de prestaties van het model stegen om de Bengaals-aangepaste modellen op de meeste criteria te evenaren of zelfs te overtreffen, hoewel het onder de best presterende modellen bleef wat betreft veiligheid, leesbaarheid en betrouwbaarheid. Het systeem veranderde een gevaarlijk onbetrouwbaar instrument succesvol in een veel veiligere assistent voor patiënten.
Toch stelde de studie ook vast dat de oplossing niet perfect was. Zelfs met de officiële richtlijnen maakte het model nog steeds fouten in ongeveer één op de negen antwoorden. Deze resterende fouten waren bijzonder zorgwekkend omdat ze geen overduidelijke onzin waren. In plaats daarvan waren het vloeiende, goed gestructureerde zinnen die specifieke, zelfverzekerde en potentieel schadelijke adviezen bevatten, zoals het adviseren van een patiënt om te stoppen met insuline te gebruiken of een niet-bestaand medisch apparaat te gebruiken. Het model citeerde soms zelfs de officiële richtlijnen om deze valse claims te ondersteunen, waardoor de fouten moeilijker te ontdekken waren. Dit suggereert dat hoewel het verbinden van een computer aan een vertrouwde bron enorm helpt, het het risico niet volledig wegneemt. De onderzoekers concludeerden dat voor deze instrumenten om veilig te zijn voor patiënten, ze gebouwd moeten zijn op een sterk basismodel, gegrond in officiële richtlijnen, en altijd gecontroleerd moeten worden door een menselijke arts voordat ze worden gebruikt om medisch advies te geven. Het werk biedt een duidelijk pad vooruit voor het creëren van gezondheidsassistenten die zowel toegankelijk als betrouwbaar zijn voor miljoenen Bengaalse sprekers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.