Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study
Deze dwarsdoorsnede van een multi-model studie toont aan dat hoewel de huidige mainstream grote taalmodellen een bijna maximale nauwkeurigheid hebben bereikt bij het converteren van cardiovasculaire risicometrieken voor ouderen, hun prestaties primair worden gedifferentieerd door de consistentie tussen opeenvolgende runs, waarbij DeepSeek een significant lagere stabiliteit vertoont dan Doubao en Kimi, en inconsistenties vrijwel uitsluitend voortvloeien uit onschuldige afrondingsfouten in plaats van klinisch significante fouten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Hartziekten blijven de meest voorkomende oorzaak van ziekte en overlijden wereldwijd, en de impact ervan valt het zwaarst op oudere volwassenen. Wanneer artsen proberen deze problemen te voorkomen voordat ze beginnen, adviseren ze vaak dagelijkse medicatie zoals statines. De beslissing om een dergelijk medicijn in te nemen, hangt af van een gedeeld begrip tussen de patiënt en de arts: hoeveel zal dit helpen, en wat zijn de risico's? Dit gesprek steunt op cijfers. Een arts kan uitleggen dat een behandeling de kans op een hartaanval met een bepaald percentage verlaagt, of dat voor elke honderd mensen die het medicijn slikken, een specifiek aantal een nadelige gebeurtenis zal vermijden. Deze verschillende manieren om hetzelfde feit te formuleren zijn wiskundig gezien equivalent, maar kunnen voor een menselijke geest heel verschillend aanvoelen. Het vertalen van het ene getal naar het andere vereist een vaardigheid die numeracy wordt genoemd, iets wat zelfs sommige medische professionals moeilijk vinden. Nu kunstmatige intelligentie-instrumenten steeds gebruikelijker worden in de gezondheidszorg, wenden veel mensen zich tot hen voor deze uitleg. Maar als een computer vandaag een getal aan een patiënt geeft en morgen een licht afwijkend getal voor exact dezelfde vraag, begint het vertrouwen in dat instrument te wankelen.
Een team van onderzoekers zette zich scharpe om te testen hoe goed drie populaire kunstmatige intelligentiesystemen deze specifieke taak aankunnen. Ze wilden zien of deze modellen consistent complexe medische statistieken kunnen omzetten in duidelijke, eenvoudige getallen voor oudere volwassenen. De studie richtte zich op een scenario waarin een patiënt de voordelen en nadelen van een hartmedicatie moet kennen. De onderzoekers creëerden tachtig verschillende, realistische medische verhalen over oudere patiënten met diverse risicofactoren. In elk verhaal moest de AI vier specifieke waarden berekenen: hoeveel de behandeling het risico op een hartincident verminderde, hoeveel het de kans op bijwerkingen verhoogde, hoeveel mensen het medicijn zouden moeten slikken voor één persoon die er baat bij heeft, en hoeveel mensen zouden moeten slikken voor één persoon die er schade door ondervindt. Om een eerlijke test te garanderen, vroegen de onderzoekers elk van de drie AI-modellen om elke vraag drie keer achter elkaar te beantwoorden, en deden zij dit zowel in het Engels als in het Chinees. Dit resulteerde in duizenden reacties die werden gecontroleerd tegen een vaste, perfecte antwoordsleutel die door menselijke experts was opgesteld.
De resultaten onthulden een verrassende waarheid over hoe deze systemen werken. Wat betreft het juist uitvoeren van de wiskunde, waren de modellen bijna perfect. Ze berekenden bijna altijd de juiste getallen, wat suggereert dat hun vermogen om te rekenen voor dit type gestructureerde taak al op het hoogst mogbare niveau ligt. Echter, het echte verhaal ging over consistentie. Wanneer dezelfde vraag drie keer aan hetzelfde model werd gesteld, waren de antwoorden niet altijd identiek. Eén van de modellen, DeepSeek, gaf in meer dan tien procent van de gevallen een andere reeks getallen, zelfs terwijl het was ingesteld op een modus die telkens exact hetzelfde resultaat zou moeten produceren. De andere twee modellen, Doubao en Kimi, waren veel stabieler en stemden bijna elke keer met zichzelf overeen. Deze inconsistentie kwam voor, zelfs wanneer de modellen niet probeerden creatief te zijn; ze volgden simpelweg instructies om getallen te berekenen.
Toen de onderzoekers nauwkeurig keken naar de momenten waarop de modellen verschillende antwoorden gaven, ontdekten ze dat de verschillen bijna altijd minuscuul en onschadelijk waren. In bijna alle gevallen was de onenigheid slechts een kwestie van afronding. Bijvoorbeeld, als de berekening uitwees dat een patiënt het medicijn vierentwintig keer zou moeten slikken om één persoon te helpen, kon de ene run dat naar boven afronden naar vierentwintig, terwijl een andere naar beneden afrunden naar drieëntwintig. Deze kleine verschuivingen veranderden het medische advies of de conclusie over de vraag of het medicijn de moeite waard was, niet. De modellen zeiden in essentie hetzelfde, alleen met een iets ander getal op het etiket. Slechts een fractie van de reacties, minder dan twee tienden van één procent, was werkelijk problematisch. Deze zeldzame gevallen betroffen situaties waarin het model een volledig andere waarde gaf, niet antwoordde, of van mening veranderde over de juistheid van het antwoord.
De studie controleerde ook of de taal uitmaakte. De modellen presteerden even goed in het Chinees als in het Engels, zonder significant verschil in nauwkeurigheid tussen de twee talen. Dit suggereert dat het vermogen om deze getallen te hanteren niet gebonden is aan een specifieke taal. De onderzoekers merkten echter op dat het model dat moeite had met consistentie in het Engels, ook in het Chinees moeite had, wat erop wijst dat het probleem bij de specifieke software-engine lag en niet bij de taal zelf. De bevindingen dagen een algemeen geloof uit dat het instellen van een AI op een "zero temperature"-modus garandeert dat het altijd hetzelfde antwoord geeft. In deze studie leverde de dienst, zelfs met die instellingen, soms toch andere getallen, waarschijnlijk vanwege de manier waarop het systeem achter de schermen is opgebouwd en wordt uitgevoerd.
Uiteindelijk laat het onderzoek zien dat hoewel kunstmatige intelligentie uitstekend is in het berekenen van medische statistieken, de betrouwbaarheid ervan afhangt van hoe consistent het die berekeningen herhaalt. Voor een patiënt die een vraag stelt over leven of dood, kan het horen van telkens een ander getal onbetrouwbaar aanvoelen, zelfs als die getallen technisch gezien allemaal correct zijn. De auteurs stellen voor dat experts, bij het evalueren van medische AI, verder moeten kijken dan eenvoudige nauwkeurigheid en ook nauwlettend moeten letten op deze stabiliteit. Ze stellen een nieuwe manier voor om betrouwbaarheid te meten door te tellen hoe vaak een model antwoorden geeft die niet alleen anders, maar ook gevaarlijk anders zijn. In het geval van deze hartziektescenario's waren de modellen veilig, maar de studie benadrukt dat voor deze hulpmiddelen om vertrouwd te worden in echte klinieken, ze niet alleen het juiste antwoord moeten weten, maar ook in staat moeten zijn om het telkens op dezelfde manier te formuleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.