DoctorAgents: an agentic framework to iteratively refine AutoML pipeline for small clinical temporal data
DoctorAgents is een agentisch AI-framework dat gespecialiseerde grote taalmodellen inzet om klinische machine learning-pipelines iteratief te verfijnen door middel van redeneergestuurde updates en natuurlijke taalfeedback, waarmee het traditionele AutoML-systemen overtreft op kleine, heterogene temporele data.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een computer probeert te leren om een arts te zijn. Je geeft het een stapel patiëntendossiers, in de hoop dat het patronen kan ontdekken die voorspellen wie ziek kan worden of wie een specifieke behandeling nodig heeft. Dit is de wereld van Clinical Machine Learning. Maar hier komt de crux: echte patiëntendossiers zijn rommelig. Het zijn geen nette spreadsheets waar elke rij een perfecte momentopname in de tijd is. In plaats daarvan zijn ze als een chaotisch dagboek waarin een patiënt bijvoorbeeld eens per jaar naar de dokter gaat, dan drie keer per week, en dan weer maandenlang verdwijnt. Sommige aantekeningen ontbreken, andere zijn vaag, en de timing van een meting is vaak net zo belangrijk als de waarde zelf.
Om zin te krijgen in deze chaos, bouwen wetenschappers meestal Machine Learning Pipelines. Denk aan een pipeline als een op maat gemaakte fabriekslijn. Eén onderdeel reinigt de data, een ander deel organiseert de rommelige aantekeningen in een format dat de computer begrijpt, en een laatste deel bouwt het voorspellingsmodel. Traditioneel gezien is het bouwen van deze fabrieken een traag, handmatig proces dat een team van experts vereist: een statisticus om de wiskunde te controleren, een computerwetenschapper om de code te schrijven, en een arts om te controleren of de logica medisch gezien klopt. Onlangs heeft Kunstmatige Intelligentie (AI) geprobeerd dit te automatiseren. Sommige systemen, genaamd AutoML, werken als een gejaaide chef-kok die elke mogelijke recept in de wereld probeert om te zien welke het best smaakt. Ze gooien duizenden combinaties op het probleem, hopend dat er eentje tussen zit. Maar voor kleine, rommelige medische datasets is deze "brute force"-aanpak vaak een verspilling van tijd, mist het de subtiele aanwijzingen en levert het resultaten op die moeilijk te begrijpen zijn.
Maak kennis met DoctorAgents, een nieuwe aanpak beschreven in een paper door onderzoekers van de McGill University en het Quebec AI Institute. In plaats van een gejaaide chef die ingrediënten tegen een muur smijt, stellen de onderzoekers een team van gespecialiseerde AI-"artsen" voor die samenwerken als een collaboratief medisch panel. Dit systeem, genaamd DoctorAgents, raadt niet alleen maar; het redeneert. Het gebruikt een team van Large Language Model (LLM) agents—gespecialiseerde AI-assistenten—om de data te analyseren, een pipeline te bouwen, deze te testen, en vervolgens na te denken over waarom het faalde voordat het een kleine, gerichte aanpassing maakt.
De kern van het idee is Iteratieve Agentic Refinement. Stel je voor dat je een complexe puzzel oplost. Een traditionele computer zou de hele puzzelbord kunnen vervangen telkens wanneer een stukje niet past. DoctorAgents werkt echter als een detective. Als een stukje niet past, vraagt het: "Waarom?" en vervolgens geeft het heel voorzichtig dat ene stukje een zetje of verandert het de hoek van het bord een klein beetje, in plaats van helemaal opnieuw te beginnen. Het gebruikt een techniek genaamd Textual Gradient Descent, wat vergelijkbaar is met het vertalen van de natuurlijke taalfeedback van een arts ("Deze feature is te ruisachtig") naar een precieze code-update, zonder het hele programma te hoeven herschrijven.
De onderzoekers testten dit systeem op vier verschillende klinische uitdagingen met behulp van echte patiëntgegevens. Deze omvatten het voorspellen van wie overlijdt op de IC, wie binnen een week opnieuw wordt opgenomen, hoe lang een patiënt in het ziekenhuis verblijft, en of een patiënt met reumatoïde artritis zal reageren op een specifieke medicamenteuze behandeling. De data was "klein" in de grote context van AI (vaak slechts enkele honderden tot enkele duizenden patiënten) en "temporeel", wat betekent dat de timing van elke meting cruciaal en onregelmatig was.
De resultaten suggereren dat DoctorAgents een sterke kandidaat is. In deze experimenten presteerde de AI-groep consistent beter dan andere geautomatiseerde systemen, inclus[ief] de huidige state-of-the-art "brute force"-methoden en andere AI-agents. Zo behaalde DoctorAgents-DS (een gespecialiseerde versie van het systeem) bij het voorspellen van IC-sterfte een score van 0,520, waarmee het de op één na beste methode met een score van 0,476 versloeg. Bij het voorspellen van de respons op de behandeling van reumatoïde artritis bereikte het een score van 0,577, waarmee het de vorige beste score van 0,564 overtrof.
Maar de paper suggereert dat er iets nog belangrijkers is dan alleen een hogere score: interpreteerbaarheid. Omdat de AI-agents hun stappen onderbouwen en een "geheugenlogboek" bijhouden van wat wel en niet werkte, zijn de door hen gecreëerde kenmerken (features) begrijpelijk voor mensen. Voor de artritis-voorspelling construeerde het systeem niet zomaar een willekeurig getal, maar bouwde het features die een menselijke arts als betekenisvol zou herkennen, zoals de variabiliteit in het vermoeidheidsniveau van een patiënt gedurende een jaar of het specifieke type medicijn dat werd voorgeschreven. Het systeem sloot expliciet de gedachte uit dat het simpelweg vanaf nul genereren van volledige pipelines de beste manier is; in plaats daarvan ontdekte het dat gerichte, geheugenbewuste verfijning leidt tot stabielere en betrouwbaardere resultaten.
De auteurs merken er voorzichtig bij op dat hoewel het systeem robuust en efficiënt is, het geen toverstaf is. Bij de taak rond reumatoïde artritis was de prestatie bescheiden over alle methoden heen, wat suggereert dat de data zelf mogelijk een gebrek heeft aan sterke voorspellende signalen, een beperking die de AI niet magisch kan overwinnen. Desalniettemin suggereert de studie sterk dat voor kleine, rommelige, tijdsgebonden medische data, een team van redenerende AI-agents dat van zijn fouten leert, een effectievere strategie is dan een systeem dat simpelweg alles probeert en hoopt op het beste. Het verandert het proces van het bouwen van een medisch voorspellingsmodel van een spel van kans in een doordachte, iteratieve conversatie tussen een machine en de data die het probeert te begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.