Right Diagnoses, Decorative Reasoning:A Perturbation Audit of Medical Chain-of-Thought
Dit artikel introduceert een auditframework voor medische perturbatie dat een hoge "Chain-Decoupling Rate" over 14 LLM's onthult, waarmee wordt aangetoond dat hun chain-of-thought-redeneringen vaak dienen als decoratieve documentatie in plaats van als getrouwe bewijsvoering voor de werkelijke redenering die ten grondslag ligt aan medische diagnoses.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggestoken wereld van de medische zorg vertrouwen artsen op een specifieke manier van denken om tot een diagnose te komen. Ze verzamelen symptomen, wegen bewijsmateriaal af en volgen een logisch pad naar een conclusie. Toen kunstmatige intelligentiesystemen medische vragen begonnen te beantwoorden, namen ze een vergelijkbare methode over die "chain-of-thought" (keten van gedachten) wordt genoemd. In plaats van direct naar een antwoord te springen, genereren deze computerprogramma's eerst een stapsgewijze uitleg, waarbij ze de manier nabootsen waarop een menselijke arts zou redeneren. Deze functie is essentieel omdat het medische professionals in staat stelt de logica achter een suggestie van een machine te inspecteren, om er zeker van te zijn dat een zelfverzekerd antwoord geen gevaarlijke fout verbergt. De hoop is geweest dat als de computer zijn redenering opschrijft, die tekst een getrouwe registratie is van hoe het tot de beslissing kwam, wat fungeert als een transparant venster in zijn geest.
Echter, een nieuwe studie van onderzoekers van de Eindhoven University of Technology en het Dana-Farber Cancer Institute daagt deze aanname uit. Ze stelden een fundamentele vraag: stuurt de geschreven uitleg daadwerkelijk het antwoord aan, of is het slechts een verhaal dat de machine achteraf aan zichzelf vertelt? Om dit te ontdekken, behandelden de onderzoekers het redeneerproces als een wetenschappelijk experiment. Ze namen veertien verschillende medische AI-modellen en onderwierpen hen aan een rigoureuze audit. De onderzoekers wijzigden systematisch de vragen die de modellen gesteld werden—door een conditie te veranderen van "acuut" naar "chronisch", de leeftijd van een patiënt te wisselen, of een negatieve bewering om te draaien naar een positieve. Deze wijzigingen waren ontworpen om klinisch significant te zijn, het soort details dat een echte arts onmiddellijk zou opmerken. Als de redenering van de AI werkelijk getrouw zou zijn, zou de geschreven uitleg veranderen om de nieuwe informatie te reflecteren, en zou het uiteindelijke antwoord moeten verschuiven als de medische feiten daarom vroegen.
Wat de onderzoekers ontdekten, was een verbijsterende discrepantie. Over de hele linie gedroegen de modellen zich alsof ze de wijzigingen die hen waren opgelegd, negeerden. Wanneer de vraag werd gewijzigd op een manier die de diagnose had moeten veranderen, bleef de geschreven redenering vaak exact hetzelfde, waarbij de oorspronkelijke feiten werden herhaald alsof er niets was gebeurd. In bijna 73 procent van deze gevallen registreerde de uitleg van het model de bewerking niet, en versprong het uiteindelijke antwoord niet, ook al was de input fundamenteel veranderd. Het was alsof de machine al een antwoord had gekozen en simpelweg een script schreef om daarbij aan te sluiten, ongeacht het werkelijke bewijs dat werd gepresenteerd. De studie testte dit door de redeneertekst zelf te corrumperen—door stappen te verwijderen of zinnen te herschikken—en vond dat de nauwkeurigheid van de modellen nauwelijks veranderde. Het uiteindelijke antwoord bleef correct, niet omdat de redenering solide was, maar omdat de redenering niet daadwerkelijk het werk deed.
De onderzoekers bevestigden dat dit geen eenvoudige leesfout was. Ze vroegen twee gecertificeerde clinici om de gewijzigde vragen en de reacties van de modellen te beoordelen. De artsen waren het erover eens dat in 98,5 procent van de gevallen de wijzigingen in de vragen duidelijk en significant genoeg waren dat een getrouwe redeneerprocedure er wel op had moeten reageren. Toch faalden de modellen hier grotendeelijks in. In sommige gevallen veranderden de modellen hun antwoorden zelfs naar onjuiste keuzes wanneer de vraag werd gewijzigd, maar de geschreven uitleg weerspiegelde deze verschuiving niet, wat suggereert dat de redenering niet de oorzaak van de beslissing was. De studie keek ook naar modellen die specifiek waren getraind om beter te redeneren, inclusief die van grote technologiebedrijven, en vond hetzelfde patroon: de zichtbare keten van gedachten was grotendeels decoratief. Het diende als een documentatieoppervlak, een verslag van wat het model wilde zeggen, in plaats van een causaal verslag van hoe het het probleem oploste.
Deze bevinding suggereert dat de huidige afhankelijkheid van deze uitleg als bewijs voor veilig, logisch redeneren mogelijk onjuist is. De studie beweert niet dat de modellen niet in staat zijn het juiste antwoord te geven, noch zegt het dat de uitleg altijd fout is. In plaats daarvan onthult het dat de uitleg vaak niet de motor is die de auto aandrijft. Voor medische professionals die deze hulpmiddelen gebruiken om hun beslissingen te ondersteunen, betekent dit dat zij er niet vanuit kunnen gaan dat een heldere, logisch klinkende uitleg garandeert dat de machine daadwerkelijk het verstrekte bewijs heeft gebruikt. Het onderzoek geeft aan dat totdat het redeneerproces echt gekoppeld is aan de uiteindelijke beslissing, deze AI-systemen zwarte dozen blijven waarbij de zichtbare tekst een narratief is, en geen kaart. De weg vooruit vereist het bouwen van systemen waarbij de uitleg niet alleen een verhaal is, maar het eigenlijke mechanisme van het antwoord.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.