Robustness Gap of Large Language Models in Nephrology

Kunstmatige intelligentie is begonnen met het bieden van ondersteuning in de geneeskunde, waarbij het fungeert als een instrument dat enorme hoeveelheden tekst kan lezen en antwoorden kan suggereren op complexe vragen. In vakgebieden zoals de nierzorg, of nefrologie, moeten artsen voortdurend laboratoriumresultaten, de geschiedenis van de patiënt en fysieke symptomen afwegen om over behandelingen te beslissen. Jarenlang hebben onderzoekers getest of deze computerprogramma's medische examens kunnen halen, een standaardmethode om te zien of ze genoeg weten om nuttig te zijn. Een hoge score op een meerkeuzetoets betekent echter niet noodzakelijkerwijs dat het systeem werkelijk de logica achter het antwoord begrijpt. Het kan simpelweg patronen herkennen in de manier waarop vragen zijn geformuleerd, of gokken op basis van welke opties het meest bekend voorkomen. De kritische vraag voor de toekomst van veilige medische zorg is of deze modellen een probleem kunnen doorgronden wanneer de gebruikelijke afkortingen worden weggehaald, of dat ze instorten wanneer ze worden gedwongen na te denken zonder een vertrouwde kruk.

Een team onderzoekers van de St. Marianna University School of Medicine in Japan zette zich af tegen deze specifieke zwakte met een methode die fungeert als een mentale stresstest. Ze namen een verzameling van 145 echte vragen die werden gebruikt voor de hercertificering van nefrologen in Japan. Deze vragen dekken de diepe, complexe redenering die nodig is voor het beheer van nierziekten. De onderzoekers maakten vervolgens een aangepaste versie van elke vraag. In de originele test was één specifiek antwoord correct. In de nieuwe versie vervingen ze dat correcte antwoord door een frase die betekent "geen van de andere antwoorden". Dit dwong de computermodellen tot iets moeilijks: in plaats van de juiste optie uit een lijst te kiezen, moesten ze beseffen dat elk ander antwoord onjuist was en dat de enige geldige keuze degene was die stelt dat geen van hen past. Als een model werkelijk redeneerde door de medische feiten, zou het in staat moeten zijn geweest om te identificeren dat het oorspronkelijke correcte antwoord ontbrak en de optie "geen van de bovenstaande" te selecteren. Als het slechts gokte op basis van patronen, zou het waarschijnlijk een van de resterende foutieve antwoorden kiezen.

Het team testte vier van de meest geavanceerde taalmodellen die beschikbaar zijn, inclusief systemen van OpenAI en Google. Ze voerden de modellen de originele vragen en de aangepaste versies afzonderlijk, waarbij ze de modellen vroegen om telkens de beste optie te kiezen. De resultaten toonden een duidelijke en significante kloof tussen hoe goed de modellen presteerden wanneer het correcte antwoord aanwezig was versus wanneer dit verborgen was. Wanneer de modellen de originele vragen kregen, presteerden ze vrij goed, waarbij het beste systeem bijna 88 procent correct beantwoordde. Echter, zodra het correcte antwoord werd vervangen door "geen van de andere antwoorden", daalde hun prestatie scherp. Het systeem dat met de hoogste score begon, zakte nog naar ongeveer 73 procent, een statistisch significante daling. Andere modellen zagen zelfs nog steilere dalingen, waarbij één model van ongeveer 66 procent correct naar slechts 19 procent daalde. Dit betekent dat wanneer het vertrouwde patroon van een correct antwoord werd verwijderd, de modellen moeite hadden om te vertrouwen op hun eigen medische redenering en vaak een foutieve optie kozen die plausibel leek, in plaats van toe te geven dat de juiste keuze ontbrak.

De studie suggereert dat hoewel nieuwere modellen robuuster worden en beter worden in het afhandelen van deze lastige veranderingen, ze nog niet volledig betrouwbaar zijn voor onafhankelijke klinische besluitvorming. De onderzoekers ontdekten dat zelfs de meest geavanceerde systemen de neiging hebben om te verankeren in het idee dat een van de zichtbare keuzes juist moet zijn, zelfs wanneer de logica van de casus het tegendeel bewijst. In een echte ziekenhuisomgeving zou dit gedrag gevaarlijk kunnen zijn. Als een arts een stuk informatie mist, zoals een specifieke laboratoriumwaarde of een subtiel fysiek teken, zou een veilige kunstmatige intelligentie moeten herkennen dat de casus niet beoordeeld kan worden en om meer gegevens vragen. In plaats daarvan vullen deze modellen de gaten in met een zelfverzekerde maar incorrecte gok. De auteurs concluderen dat het halen van een meerkeuzetoets niet genoeg is om te bewijzen dat een model kan redeneren als een arts. Om werkelijk veilig te zijn voor gebruik in de nierzorg, moeten deze systemen aantonen dat ze met onzekerheid kunnen omgaan en kunnen herkennen wanneer een antwoord simpelweg niet beschikbaar is, in plaats van alleen patronen te matchen om de hoogste score op een test te behalen.