Comparison of performance of an LLM Council of LFM2.5-1.2B, Qwen3-4B-2507 and Phi-4-Mini- reasoning and Meta LLaMa 3.1 8B against MedGemma 4B on extraction and classification of free-text radiology reports
Hoewel de studie de hypothese stelde dat het domeinspecifieke MedGemma 4B een multi-model LLM Council zou overtreffen, toonden de resultaten aan dat MedGemma een hogere algehele nauwkeurigheid bereikte dan het Council-framework, terwijl het enkele algemene model Qwen3-4B-2507 beide onafhankelijk overtrof, wat suggereert dat sterk algemeen redeneren zowel consensusgebaseerde als gespecialiseerde medische benaderingen kan overtreffen bij de analyse van klinische radiologieverslagen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille brom van een radiologieafdeling in een ziekenhuis leggen machines beelden van het menselijk lichaam vast, maar het ware verhaal over de gezondheid van een patiënt ligt vaak verborgen in de vrij lopende tekst van het verslag van de arts. Jarenlang hebben onderzoekers gehoopt dat kunstmatige intelligentie deze rapporten even vloeiend zou kunnen lezen als een menselijke specialist, waarbij cruciale details zoals tumorgrootte of botfracturen worden geëxtraheerd om de zorg te versnellen. Er zijn twee hoofdpaden ontstaan om dit puzzelstuk op te lossen. Het ene pad houdt in dat een computer specifiek wordt getraind op medische tekstboeken en patiëntendossiers, in de hoop een digitale specialist te bouwen die de taal van ziekte uit het hoofd kent. Het andere pad vertrouwt op krachtige, algemene computers die niet zijn onderwezen in de geneeskunde, maar uitzonderlijk goed zijn in het begrijpen van taal, het opvolgen van instructies en het redeneren door complexe problemen. De grote vraag die het vakgebied bezighoudt, is of een team van deze algemene denkers, die samenwerken om tot een consensus te komen, een enkele, hoogopgeleide medische expert kan overtreffen.
Een team van onderzoekers zette zich in om dit te beantwoorden door een gespecialiseerde medische kunstmatige intelligentie te laten strijden tegen een unieke "raad" van algemene modellen. Ze verzamelden bijna achthonderd echte, geanonimiseerde radiologieverslagen van een ziekenhuis in New Delhi, variërend van mammogrammen tot heup-, knie- en hersenscans (MRI). Hun doel was om te zien welk systeem beter kon presteren bij twee soorten taken: het eruit halen van specifieke getallen en codes uit de tekst, en het beslissen of een scan normaal was of verdere aandacht vereiste. Het gespecialiseerde model dat ze kozen, was MedGemma, een systeem dat specifiek voor de gezondheidszorg is gebouwd. De tegenkracht was een raad bestaande uit drie kleinere, algemene modellen die hun eigen antwoorden onafhankelijk genereerden. Deze antwoorden werden vervolgens beoordeeld en gecombineerd door een vierde model, dat optrad als voorzitter, om tot één enkel definitief besluit te komen. De onderzoekers hypotheseerden dat het gespecialiseerde medische model zou winnen, gezien de diepe training in dit vakgebied.
De resultaten vertelden echter een ander verhaal. Toen de systemen werden getest op de mammografieverslagen, die het extraheren van specifieke scores vereisten, presteerde het gespecialiseerde model goed, maar het was niet de duidelijke winnaar. Sterker nog, een van de algemene modellen in de raad, die alleen optrad, behaalde de hoogste nauwkeurigheid van allemaal. Dit enkele model identificeerde de noodzakelijke details in bijna tweeënnegentig procent van de mammografiegevallen, waarmee het gespecialiseerde medische model net voorbijstreefde. De raad als geheel, met de voorzitter die de gedachten van de groep synthetiseerde, presteerde iets minder goed dan dit enkele sterke model. De kloof werd aanzienlijk groter toen de taak verschoof naar het classificeren van heup-, knie- en enkelrapporten. Hier identificeerde het gespecialiseerde medische model correct of een patiënt vóór of na een operatie zat in ongeveer zesentachtig procent van de gevallen, terwijl de raad moeite had en het slechts in ongeveer tweeënzeventig procent van de gevallen goed had. Het enkele algemene model schoot echter omhoog naar een nauwkeurigheid van bijna drieënnegentig procent, waarbij het de context van de rapporten veel beter interpreteerde dan noch de specialist, noch de inspanning van de groep.
De meest verrassende bevinding kwam naar voren bij de hersenscans. Het gespecialiseerde model was erg goed in het opsporen van afwijkingen, maar maakte ook meer fouten door normale scans als abnormaal te markeren wanneer het andere kleine problemen in de tekst zag. Het enkele algemene model daarentegen was perfect in het identificeren van normale scans; het maakte nooit die specifieke fout, terwijl het nog steeds de overgrote meerderheid van de echte problemen oppikte. Wanneer de onderzoekers naar de prestaties van de raad keken, ontdekten ze dat het proces van het combineren van de meningen van meerdere modellen de juiste antwoorden vaak verwaterde. In verschillende gevallen negeerde de raad het juiste antwoord van haar beste lid en volgde in plaats daarvan de meerderheid, die het vervolgens fout had. De studie suggereert dat voor deze specifieke taken het vermogen om door een narratief te redeneren en instructies op te volgen waardevoller is dan het hebben van een database met medische feiten uit het hoofd geleerd. De complexe architectuur van de raad, die vier keer zoveel rekenkracht en geheugen vereiste als het enkele model, leverde geen betere resultaten op; het kostte simpelweg meer om te draaien.
Uiteindelijk wijst het onderzoek erop dat voor het lezen van radiologieverslagen een enkel, sterk algemeen model dat door tekst kan redeneren, effectiever kan zijn dan een team van modellen dat probeert tot een consensus te komen of een systeem dat uitsluitend op medische gegevens is getraind. Het gespecialiseerde medische model bleek robuust, maar werd overtroffen door het vermogen van de generalist om context te begrijpen. Het experiment onthulde ook dat het toevoegen van lagen van overeenstemming en synthese soms eerder fouten introduceert dan ze oplost, aangezien de uiteindelijke beslissing een compromis kan weerspiegelen in plaats van de waarheid. Hoewel het gespecialiseerde model een sterk hulpmiddel blijft, suggereert de studie dat de toekomst van het lezen van medische rapporten niet afhangt van het bouwen van grotere, complexere teams van kunstmatige intelligentie, maar van het vinden van het enkele model dat het verhaal het beste begrijpt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.