Schema-enforced large language model framework for sarcoma tumor board simulation: a methodology development and reproducibility pilot study
Deze studie heeft een met schema's afgedwongen large language model-framework ontwikkeld en gevalideerd dat een hoge reproduceerbaarheid bereikt en structurele hallucinaties elimineert bij het simuleren van besluitvorming door sarcoom-tumorbordjes, waarmee een robuuste methodologie wordt vastgesteld voor toekomstige concordantiestudies tegen historische multidisciplinaire teamuitkomsten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente, ongelooflijk goed onderlegde robot probeert te leren hoe hij moet handelen als een team van deskundige artsen. Deze artsen, een zogenaamde "tumor board" genoemd, komen samen om complexe kankergevallen te bespreken en de beste behandelingsstrategie te bepalen. Zij zijn de ultieme besluitvormers die de kennis van chirurgen, radiologen en oncologen combineren om levens te redden. Maar er is een addertje onder het gras: je probeert een Large Language Model (LLM) te trainen. Zie een LLM als een digitale encyclopedie die bijna alles heeft gelezen wat ooit is geschreven, maar die een ondeugende gewoonte heeft. Soms, wanneer hem een specifieke medische vraag wordt gesteld, kan hij vol vertrouwen een nep medische studie verzinnen, een statistiek bedenken die niet bestaat, of een ander antwoord geven als je exact dezelfde vraag twee keer stelt. Dit wordt "hallucineren" genoemd, en het is als een student die antwoorden gokt op een toets omdat hij te bang is om te zeggen: "Ik weet het niet."
Voor artsen is dit een groot probleem. Als een robot een behandelplan geeft dat elke keer verandert als je erom vraagt, of als hij een regel verzint die niet bestaat, kan niemand hem vertrouwen om levens te redden. De grote vraag in deze wetenschappelijke hoek is: Kunnen we een "vangrail" bouen voor deze robots? Kunnen we de robot dwingen om te stoppen met gokken en feiten te verzinnen, en in plaats daarvan telkens exact hetzelfde, betrouwbare antwoord te geven als we hem vragen? Als we dat kunnen, kunnen deze robots misschien nuttige assistenten worden in de spreekkamer van de arts, waarbij ze helpen bij het controleren van plannen of het organiseren van complexe informatie zonder het risico dat ze dingen verzinnen.
Het Nieuwe Regelboek van de Robot
In dit onderzoek besloot een team van onderzoekers van het Universitätsklinikum Schleswig-Holstein in Duitsland te testen of ze zo'n vangrail konden bouwen voor een robot die helpt bij een zeer specifieke, zeer lastige vorm van kanker: sarcoom. Sarcomen zijn zeldzame tumoren die kunnen groeien in botten of zachte weefsels, en omdat er zoveel verschillende soorten zijn, zijn ze als een puzzel waarvan de stukjes niet altijd gemakkelijk in elkaar passen. De onderzoekers wildend kijken of ze een robot een tumor board voor deze gevallen konden laten vormen zonder dat de robot in de war raakt of dingen verzint.
Om dit te doen, vroegen ze de robot niet simpelweg: "Wat moeten we doen?" in een normale chat. In plaats daarvan bouwden ze een strikt "regelboek" dat de robot moest volgen. Stel je voor dat je een videogame speelt waarbij je niet zomaar alles kunt typen; je moet je antwoorden kiezen uit een specifiek menu. Als je probeert iets te typen dat niet op het menu staat, laat het spel je simpelweg niet op "enter" drukken. De onderzoekers deden iets vergelijkbaars. Ze dwongen de robot om zijn antwoorden in een zeer specifiek, gestructureerd formaat uit te voeren, genaamd JSON (wat gewoon een chique manier is om gegevens te organiseren zoals een digitaal formulier). Ze gaven de robot een lijst met 21 specifieke vragen die hij moest beantwoorden, zoals "Welk type chirurgie?" of "Hoeveel straling?", en dwongen hem om zijn antwoorden te kiezen uit een vooraf goedgekeurde lijst met opties. Als de robot een nieuwe optie probeerde te verzinnen of een nep medische richtlijn zou creëren, zou het systeem dit onmiddellijk afwijzen.
De Grote Test
Het team nam 51 echte, maar volledig geanonimiseerde, sarcoomgevallen uit hun ziekenhuisarchieven. Deze gevallen besloegen allerlei verschillende patiënten, leeftijden en tumortypes. Ze vroegen de robot om de puzzel voor elk geval op te lossen, maar ze vroegen het de robot niet slechts één keer. Ze stelden exact dezelfde vraag drie keer voor elk geval. Dit was om te zien of de robot elke keer hetzelfde antwoord zou geven, of dat hij zou twijfelen als een muntje dat opwerpelt.
De resultaten waren verrassend goed. Wanneer de robot werd gedwaden een strikt regelboek te gebruiken, gaf hij voor 93,9% van de beslissingen over alle drie de pogingen heen exact hetzelfde antwoord. Dat betekent dat van de meer dan 1.000 specifieke beslissingen die de robot moest nemen, hij slechts 6% van de tijd van gedachten veranderde. Nog beter: de robot stopte volledig met het verzinnen van nepfeiten. In het verleden hadden robots misschien een nep medische studie verzonnen om een bewering te ondersteunen, maar in deze test verscheen er geen enkele nep richtlijn of verzonnen statistiek. De "hallucinaties" waren verdwenen.
Waar de Robot Nog Twijfelt
De robot was echter niet perfect. De weinige keren dat hij van gedachten veranderde, kwam dat niet omdat hij in de war was of dingen verzinde. In plaats daarvan gebeurde dit in situaties waarin zelfs menselijke artsen het oneens zouden kunnen zijn. Bijvoorbeeld, bij het beslissen over de beste manier om een lichaamsdeel na een operatie te reconstrueren (reconstructie), twijfelde de robot soms tussen een "lokale flap" en een "gesteelde flap". De onderzoekers merkten op dat dit geen fout is; het is simpelweg dat in de praktijk beide opties vaak geldig zijn, en dat verschillende chirurgen er anders voor kunnen kiezen op basis van hun eigen stijl. Op een vergelijkbare manier varieerde de robot soms in de exacte dosis straling, maar alle doses die hij koos, lagen binnen het veilige en geaccepteerde bereik voor artsen.
Eén specifieke casus, waarbij een oudere patiënt met een zeer langzaam groeiende tumor betrokken was, zorgde voor de meeste problemen. De robot kon niet beslissen tussen het afwachten van de tumor en het opereren. De onderzoekers realiseerden zich dat dit geen bug was; het was een feature. In deze specifieke situatie zouden zelfs een menselijk team van artsen kunnen discussiëren over de beste weg vooruit. De robot liet correct zien dat er in deze situatie geen enkel "juist" antwoord is.
Wat dit Betekent
De belangrijkste conclusie van dit onderzoek is dat de onderzoekers de robot veel betrouwbaarder hebben gemaakt door deze strikte "vangrails" te plaatsen. Ze bewezen dat als je een robot dwingt een gestructureerd formaat te volgen, hij stopt met het verzinnen van feiten en begint met het geven van consistente antwoorden. Dit betekent niet dat de robot morgen klaar is om artsen te vervangen. De studie testte alleen of de robot consistent was, niet of zijn medische advies daadwerkelijk het beste advies was. Maar het is een enorme stap voorwaarts. Het laat zien dat we een systeem kunnen bouwen waarin de robot een stabiele, voorspelbare tool is die niet liegt of van gedachten verandert, wat de eerste stap is om hem in de toekomst te laten helpen bij het maken van echte beslissingen door artsen. De onderzoekers zijn nu van plan om te testen of deze consistente antwoorden daadwerkelijk overeenkomen met wat menselijke artsen zouden hebben besloten, maar voor nu hebben ze de robot succesvol geleerd om zich aan de regels te houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.