Metric-dependent evaluation of a retrieval-augmented large language model workflow for oral squamous cell carcinoma treatment planning: a retrospective study
Deze retrospectieve studie toont aan dat de rangschikking van vier RAG-ondersteunde LLM's voor de behandelplanning van plaveiselcelcarcoma van de mond aanzienlijk varieert afhankelijk van de gebruikte evaluatiemethode, wat de beperkingen van het vertrouwen op enkelvoudige geaggregeerde scores bij het bepalen van de klinische modelprestaties benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een arts voor die gaat zitten om een behandelplan op te stellen voor een patiënt met mondkanker. Dit is geen eenvoudige taak waarbij slechts één juist antwoord bestaat. De beslissing hangt af van de exacte locatie van de tumor, hoe ver deze is uitgezaaid, de algehele gezondheid van de patiënt en hun persoonlijke voorkeuren. Zelfs wanneer artsen de beste medische richtlijnen volgen, kunnen ze verschillende, maar even geldige paden kiezen voor dezelfde patiënt. De ene arts kan eerst chirurgie aanbevelen, terwijl een andere eerder voor radiotherapie zou kiezen. Beide plannen zouden medisch verantwoord kunnen zijn. Deze complexiteit maakt het zeer moeilijk om te testen of een computerprogramma artsen kan helpen bij het nemen van deze beslissingen. Als een computer een plan voorstelt dat er anders uitziet dan het plan dat een menselijke arts jaren geleden opschreef, heeft de computer dan ongelijk? Of biedt het simpelweg een ander, even goed scenario aan?
Deze vraag staat centraal in een recente studie die kijkt naar kunstmatige intelligentie in de geneeskunde. Onderzoekers wilden zien of grote taalmodellen — computerprogramma's die getraind zijn op enorme hoeveelheden tekst om menselijke taal te begrijpen en te genereren — konden helpen bij het plannen van de behandeling voor plaveiselcelcarcinoom van de mond, een veelvoorkomend type mondkanker. Deze modellen worden vaak gekoppeld aan een systeem genaamd retrieval-augmented generation. Beschouw dit als het geven van een bibliotheek met medische boeken en richtlijnen aan de computer om te raadplegen voordat hij zijn antwoord schrijft, in plaats van dat hij alleen moet vertrouwen op wat hij zich herinnert uit zijn training. Het doel was om te zien of deze AI-systemen behandelplannen konden produceren die overeenkwamen met de kwaliteit van de plannen die door ervaren menselijke artsen zijn gemaakt.
De onderzoekers verzamelden 100 echte gevallen van mondkanker van een ziekenhuis in China. Deze gevallen besloegen patiënten variërend in leeftijd van 29 tot 89 jaar, met een gemiddelde leeftijd van bijna 60. De meeste patiënten waren mannen. Voor elk geval voerde het team de medische details van de patiënt in bij vier verschillende versies van een AI-systeem. Elk systeem was uitgerust met dezelfde bibliotheek van medische richtlijnen en wetenschappelijke artikelen. De AI genereerde vervolgens een behandelplan voor elke patiënt. De onderzoekers vergeleken deze door AI gegenereerde plannen vervolgens met de werkelijke behandelplannen die menselijke artsen in het verleden voor deze zelfde patiënten hadden opgesteld.
Om deze vergelijking te maken, gebruikte het team verschillende methoden. Ze lieten één AI-systeem fungeren als een rechter om de plannen te beoordelen. Ze gebruikten computerprogramma's om te meten hoe vergelijkbaar de woorden van de AI waren met de woorden van de menselijke arts. Ze keken ook hoe nauw de ideeën van de AI overeenkwamen met de ideeën van de arts met behulp van een wiskundige maatstaf voor betekenis. Ten slotte beoordeelden vijf ervaren specialisten in hoofd-halskanker de plannen op basis van een blind onderzoek, waarbij ze ze beoordeelden op veiligheid, logica en bruikbaarheid.
De resultaten waren verrassend en onthulden een cruciale les over hoe we medische AI testen. Wanneer de onderzoekers naar de scores keken, veranderde het "beste" AI-systeem afhankelijk van welke methode ze gebruikten om het te meten. Eén AI-systeem, genaamd Qwen, kreeg de hoogste score wanneer het door een andere AI werd beoordeeld. Een ander systeem, Doubao, leek het meest op de menselijke plannen wanneer gemeten werd hoe nauw hun betekenissen overeenkwamen. Een derde systeem, Claude, had de meest vergelijkbare bewoording met de menselijke plannen. Echter, toen de menselijke artsen de plannen beoordeelden, gaven zij een totaal andere rangschikking, waarbij zij de voorkeur gaven aan twee van de andere systemen.
Deze bevinding laat zien dat er geen enkele, perfecte manier is om te zeggen welke AI de beste is. Een programma kan er geweldig uitzien als je telt hoeveel woorden het deelt met een menselijk plan, maar dat betekent niet dat het de juiste medische beslissingen heeft genomen. Omgekeerd kan een programma totaal andere woorden gebruiken, maar toch een veilig en effectief behandelplan bieden. De studie vond dat de computerprogramma's in staat waren om plausibele behandelplannen te genereren, maar de onderzoekers konden niet bewijzen dat welk enkel systeem superieur was aan de andere of dat ze klaar waren om zelfstandig in een ziekenhuis te worden gebruikt.
De onderzoekers merkten er zorgvuldig bij op wat hun studie niet bewezen heeft. Omdat ze alleen naar historische gegevens keken, konden ze niet vaststellen of de AI daadwerkelijk de patiëntuitkomsten zou verbeteren of fouten zou voorkomen in een realtime setting. Ze konden ook het effect van de "bibliotheek" van de AI niet scheiden van de eigen intelligentie van de AI, waardoor ze niet met zekerheid konden zeggen of de extra medische boeken het verschil maakten. Bovendien testte de studie niet of de AI de volledige complexiteit van een echte kliniek aan kon, waar artsen en patiënten dynamisch met elkaar interageren.
Uiteindelijk suggereert de studie dat het evalueren van medische AI veel ingewikkelder is dan simpelweg het geven van een score aan een test. De manier waarop je de AI meet, verandert welke als winnaar naar voren komt. Voor deze hulpmiddelen om in de toekomst veilig en nuttig te zijn, zullen ze op meer rigoureuze manieren getest moeten worden, waarbij menselijke artsen met hen samenwerken om ervoor te zorgen dat de plannen niet alleen tekstueel vergelijkbaar zijn met eerdere dossiers, maar ook daadwerkelijk veilig en nuttig zijn voor patiënten. Tot die tijd is de belangrijkste bevinding dat we zeer voorzichtig moeten zijn met de manier waarop we beslissen welk computerprogramma klaar is om levens te redden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.