Agentic systems for breast cancer treatment recommendations
Deze studie evalueert agentische large language model-systemen voor borstkankerbehandelingsaanbevelingen aan de hand van 72 echte klinische casussen en 1.147 asymmetrische rubrieken, waarbij wordt vastgesteld dat hoewel de best presterende configuratie een globale score van 0,594 behaalde, aanhoudende klinisch relevante fouten aangeven dat deze systemen momenteel onvoldoende zijn voor ongesuperviseerd klinisch gebruik.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert het ultieme "Medische Superbrein" te bouwen om artsen te helpen beslissen wat de beste manier is om borstkanker te behandelen. Je hebt een bibliotheek van 72 echte patiëntverhalen, variërend van vroege stadia tot gevorderde gevallen, en je wilt zien of een team van AI-robots deze verhalen kan lezen en een perfect behandelplan kan schrijven. Dat is precies wat deze studie deed.
De onderzoekers zetten een grote test op met 72 echte klinische casussen en creëerden 1.147 specifieke checklists (rubrieken) om de antwoorden van de AI te beoordelen. Deze checklists werden gemaakt door een speciale AI die toegang had tot de werkelijke beslissingen van artsen en medische boeken—informatie die de testende AI niet had. Dit "geheime voordeel" zorgde ervoor dat de beoordeling eerlijk en geworteld was in de medische realiteit.
De belangrijkste ontdekking: Meer robots betekent niet altijd een beter brein
Het team probeerde zeven verschillende manieren om de AI te organiseren. Sommige waren eenvoudige single-brain modellen, terwijl andere complexe "agentic" systemen waren waarbij één hoofdrobot optrad als baas en kleinere robots inhuurde om specifieke taken af te handelen, zoals chirurgie, radiotherapie of medicatietherapie. Sommige van deze robotteams hadden zelfs een toegewijde "fact-checker" robot om claims te verifiëren, en sommige konden zelfs nieuwe robots inhuren als ze het gevoel hadden extra hulp nodig te hebben.
Hier is de twist: Het toevoegen van meer hulpmiddelen en meer robots maakte de AI niet automatisch slimmer.
In feite maakte het de AI voor sommige modellen zelfs slechter in hun werk door toegang te geven tot het internet of PubMed (een medische database). Het is alsof je een student een bibliotheekpas en een rekenmachine geeft, maar als ze niet weten hoe ze de juiste vragen moeten stellen of hun berekeningen moeten controleren, raken ze misschien alleen maar meer in de war. De studie vond dat de "beste" opzet een specifieke combinatie was van een krachtig model (Claude Opus 4.8) dat een "verdeel en heers"-strategie gebruikte met een fact-checker en de mogelijkheid om nieuwe helpers te creëren. Zelfs toen scoorde dit top-presterende team slechts 0,594 ± 0,025 op een perfecte 1,0.
Het "goed genoeg"-probleem
Het artikel suggereert dat hoewel deze AI-systemen aanbevelingen kunnen genereren die medisch relevant lijken, ze nog niet goed genoeg zijn om alleen te werken in een ziekenhuis. De beste AI mistte nog steeds de plank bij een groot deel van de criteria.
Toen een menselijke oncoloog (een kankerarts) een nauwkeuriger kijk nam naar de antwoorden van de beste AI, vond hij acht specifieke manieren waarop de AI telkens faalde:
- Verkeerde rechtvaardigingen: De AI kreeg het juiste antwoord, maar gaf de verkeerde reden (zoals zeggen "neem deze pil omdat deze blauw is" terwijl de echte reden is "het doodt kankercellen").
- Ontbrekend of foutief advies: Het vergat soms een noodzakelijke behandeling voor te stellen of suggereerde een behandeling die gevaarlijk is.
- Nep-citaten: Het verzon referenties of beweerde dat een echt wetenschappelijk artikel iets zei wat het niet zei.
- Overmoed: De AI klonk 100% zeker, zelfs wanneer het medische bewijs wankel was of de patiëntgeschiedenis cruciale details miste.
- Verouderde informatie: Het suggereerde behandelingen die niet langer de standaard van zorg zijn.
De menselijke arts besteedde ongeveer 1 uur en 35 minuten aan het beoordelen van slechts één van deze door AI gegenereerde plannen. Dit benadrukt een groot probleem: als een arts deze tijd moet besteden aan het dubbelchecken van elke individuele AI-suggestie, is het misschien sneller om het werk gewoon zelf te doen.
De verrassing rondom het "Stadium"
De AI presteerde beter bij vroege stadia van kanker (Stadium I) dan bij de lastigere, complexere gevallen (Stadium III). Dit is logisch, omdat de behandeling van vroege stadia vaak een strikt, eenvoudig regelboek volgt. Maar wanneer de kanker complexer wordt, raakt de AI de weg kwijt en worstelt het met het combineren van chirurgie, radiotherapie en genetica tegelijkert[t].
Wat het artikel uitsluit
Het onderzoek spreekt zich expliciet tegen het idee uit dat "complexer altijd beter is". Alleen omdat je een multi-agent systeem bouwt met fact-checkers en webzoektools, betekent niet dat het een eenvoudiger model zal overtreffen. In sommige gevallen introduceerde de extra complexiteit juist nieuwe fouten. Het artikel sluit ook de gedachte uit dat deze systemen klaar zijn voor ongesuperviseerd klinisch gebruik; het zijn nog geen "plug-and-play" oplossingen.
Hoe zeker zijn we?
De auteurs zijn zeer voorzichtig in hun taalgebruik. Ze suggereren dat agentic systemen nuttig kunnen zijn, maar blijven onvoldoende voor ongesuperviseerd gebruik. Ze maten de scores met een rigoureus beoordelingssysteem en observeerden specifieke foutmodi via menselijke beoordeling. Ze beweerden niet de borstkankermet de AI te hebben "opgelost", noch beweerden ze dat de AI beter is dan een menselijke arts. In plaats daarvan stelden ze vast dat hoewel de technologie veelbelovend is, er nog steeds aanzienlijke hiaten zijn die moeten worden opgevuld voordat men er blind op kan vertrouwen om levensbelangrijke beslissingen te nemen zonder dat er een mens over de schouder meekijkt.
Kortom, de AI is als een zeer slimme stagiair die alle boeken heeft gelezen, maar nog steeds een senior arts nodig heeft om het huiswerk te controleren, omdat hij soms feiten verzint, in complexe gevallen in de war raakt en te zelfverzekerd is over zijn eigen fouten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.