A ReAct Agentic AI System for Natural Language Querying and Statistical Analysis of The Cancer Genome Atlas Clinical Data

Ziekenhuizen en onderzoekscentra genereren enorme hoeveelheden informatie over patiënten, van hun medische geschiedenis tot de specifieke genetische samenstelling van hun tumoren. Een van de meest significante collecties van deze gegevens is The Cancer Genome Atlas, een enorme digitale bibliotheek die klinische gegevens bevat van meer dan 11.000 patiënten verspreid over 33 verschillende soorten kanker. Decennialang hebben wetenschappers op deze bron vertrouwd om patronen te vinden die kunnen leiden tot betere behandelingen, maar het ontsluiten van de informatie was een moeilijke taak. De gegevens zijn opgeslagen in complexe bestandsstructuren en verspreid over veel verschillende formaten, waardoor onderzoekers gespecialiseerde computercode moeten schrijven om eenvoudige vragen te kunnen stellen. Deze barrière betekent dat waardevolle inzichten vaak op slot blijven, toegankelijk voor slechts enkelen met geavanceerde programmeervaardigheden, terwijl artsen en clinici die de gegevens direct zouden kunnen gebruiken, zonder directe manier worden gelaten om de data op te vragen.

Om dit probleem op te lossen, hebben onderzoekers een nieuw type computersysteem ontwikkeld dat ontworpen is om natuurlijke taal te begrijpen en statistische analyses uit te voeren op deze medische gegevens. In plaats van een mens te dwingen een complexe programmeertaal te leren, stelt dit systeem een gebruiker in staat om simpelweg een vraag te stellen in gewoon Engels, zoals het informeren naar de overlevingskansen van patiënten met een specifieke behandeling. Het systeem fungeert als een autonome agent, een digitale assistent die een probleem stap voor stap kan doordenken. Wanneer een vraag binnenkomt, raadt de agent niet zomaar een antwoord; in plaats daarvan gebruikt het een groot taalmodel om te redeneren over welke instrumenten het nodig heeft om de waarheid te vinden. Het selecteert uit een set van acht verschillende computationele hulpmiddelen, die kunnen variëren van functies om specifieke datapunten te extraheren, gemiddelden te berekenen, of groepen patiënten te vergelijken om te zien of er een statistisch significant verschil is.

Het proces werkt door de agent een complexe vraag op te delen in kleinere stappen. Als een gebruiker vraagt naar de overlevingstijd van patiënten met een bepaalde tumor, kan de agent eerst de relevante patiëntendossiers ophalen, vervolgens berekenen hoe lang zij hebben geleefd, en tot slot een statistische test uitvoend om te zien of het resultaat betrouwbaar is. Cruciaal is dat het systeem zijn eigen werk controleert. Het vergelijkt de bevindingen met een gecureerde, vertrouwde versie van de gegevens, bekend als de Clinical Data Resource, om de nauwkeurigheid te waarborgen. Als de eerste poging mislukt of als de gegevens incompleet lijken, past de agent zijn aanpak aan, waarbij hij een ander hulpmiddel probeert of een andere manier vindt om naar de cijfers te kijken totdat hij een correct, klinisch betekenisvol antwoord vindt. Deze cyclus van redeneren, handelen en verifiëren stelt het systeem in staat om moeilijke vragen te beantwoorden die een standaard computerprogramma of een eenvoudige chatbot zouden zouden overkomen.

Om te testen hoe goed dit systeem werkt, hebben de onderzoekers een rigoureuze evaluatie ontwikkeld genaamd TCGA-Agent-Bench. Deze test bevatte 440 verschillende vragen, variërend van eenvoudige opvragingen van een enkel patiëntendossier tot complexe vergelijkingen tussen grote groepen mensen. De vragen werden beoordeeld op vijf moeilijkheidsgraden, en de antwoorden werden gecontroleerd tegen de vertrouwde Clinical Data Resource om te zien of het systeem de juiste cijfers gaf en of de medische context volledig was. De resultaten toonden aan dat het agentische systeem zeer effectief was, waarbij het 93,4% van de vragen correct beantwoordde. Het presteerde perfect op eenvoudige opvragingen en behaalde een succespercentage van 99,1% op vragen over groepen patiënten. Vergeleken met andere methoden, zoals een vaste set regels of een standaard taalmodel dat geen hulpmiddelen gebruikt, was dit nieuwe systeem aanzienlijk nauwkeuriger. Een standaardmodel dat simpelweg de gegevens leest zonder door de stappen te redeneren, behaalde slechts 81,8% nauwkeurigheid, terwijl een systeem dat probeert informatie op te halen zonder een gestructureerde redeneerlus, zakte naar 66,9%.

De studie onthulde ook waar het systeem de meeste waarde toevoegt. Hoewel de vertrouwde Clinical Data Resource alleen al de meeste vragen kon beantwoorden, waren er specifieke gebieden waar het tekortschoot, zoals details over medicamenteuze behandelingen, specifieke tumorafmetingen en biologische markers. Wanneer de onderzoekers het systeem testten op 26 vragen die deze ontbrekende details vereisten, beantwoordde het volledige agentische systeem 100% van hen correct, terwijl het vertrouwen op de vertrouwde bron alleen slechts 3,8% correcte antwoorden zou hebben opgeleverd. Dit demonstreert dat het vermogen van het systeem om gegevens uit de ruwe, complexe bestanden te trekken essentieel is voor een compleet beeld. Verdere analyse toonde aan dat de redeneerlus — het deel waar de agent nadenkt over zijn volgende stap en zijn werk controleert — de belangrijkste factor was, wat de nauwkeurigheid met 9,1% verhoogde en de volledigheid van de antwoorden met 22 procentpunten verbeterde.

De bevindingen suggereren dat de kracht van dit systeem niet voortkomt uit de omvang van het computermodel zelf, maar uit hoe het is gebouwd om instrumenten te gebruiken en zijn eigen resultaten te verifiëren. Door het vermogen om menselijke taal te begrijpen te combineren met de precisie van statistische software en de discipline van zelfcontrole, maakt het systeem een enorme, moeilijk bruikbare medische database toegankelijk voor iedereen die een vraag kan stellen. Het biedt een manier om accurate, controleerbare antwoorden met duidelijke bronnen te verkrijgen, waardoor een bibliotheek van complexe bestanden wordt omgevormd tot een gesprekspartner voor medische ontdekkingen. Deze aanpak biedt een pad vooruit voor het analyseren van klinische gegevens, en bewijst dat de juiste architectuur inzichten kan ontsluiten die voorheen verborgen bleven achter een muur van technische complexiteit.