PanVasc Research for AI assisted evidence analysis in panvascular intervention

In de uitgestrekte wereld van medisch onderzoek vertrouwen artsen en wetenschappers op een enorme, georganiseerde bibliotheek van klinische studies om te begrijpen hoe nieuwe behandelingen werken. Deze studies worden geregistreerd in openbare databases, waar elke studie precies vermeldt wat het beoogt te meten, hoe lang het zal duren en welke specifieke resultaten het hoopt te vinden. Deze informatie vormt de basis van evidence-based medicine, waardoor onderzoekers verschillende benaderingen voor het genezen van het hart, de slagaders en de aderen met elkaar kunnen vergelijken. Echter, naarmate de hoeveelheid gegevens groeit, wordt de taak om deze specifieke details te vinden en te interpreteren voor mensen alleen overweldigend. Dit heeft geleid tot een toename van de belangstelling voor kunstmatige intelligentie, in de hoop dat computersystemen deze complexe verslagen kunnen lezen, de juiste getallen kunnen extraheren en onderzoekers helpen om de bewijslast sneller en nauwkeuriger te begrijpen. De centrale vraag is niet alleen of een computer de woorden kan lezen, maar of hij de strikte regels van de gegevens kan begrijpen zonder feiten te verzinnen of het overzicht over de herkomst van de informatie te verliezen.

Een team van onderzoekers zette zich scharpe schijnwerpers op een specifieke stuk software die ontworpen is om precies met dit probleem te helpen, met de focus op interventies die bloedvaten door het hele lichaam behandelen. Ze bouwden een systeem genaamd PanVasc Research, dat fungeert als een digitale assistent voor het analyseren van deze medische dossiers. Om te testen of deze assistent werkelijk betrouwbaar was, vroegen ze de computer niet simpelweg om een paar verhalen samen te vatten. In plaats daarvan creëerden ze een rigoureuze test waarbij ze de computer 50 echte klinische trial-verslagen voerden en de computer vroegen om specifieke details naar voren te halen, zoals de belangrijkste uitkomst die wordt gemeten en het tijdsbestek van de studie. Om de test moeilijker te maken, verwijderden ze doelbewust een deel van de informatie uit de verslagen voordat ze de computer om een antwoord vroegen, om te controleren of het systeem eerlijk zou toegeven dat het het niet wist, of dat het een antwoord zou gokken en verzinnen. Ze testten het systeem ook op een andere set van 100 stellingen over medische trials om te zien of het correct kon beoordelen of een stuk bewijs een specifieke claim ondersteunde.

De resultaten van dit experiment onthulden een duidelijke en belangrijke beperking in de huidige technologie. Wanneer de computer werd gevraagd om exacte details uit de verslagen te kopiëren, slaagde het slechts ongeveer een kwart van de tijd met een standaardbenadering. Wanneer de onderzoekers de computer een zorgvuldigerere set instructies gaven, waarbij hem werd verteld zijn werk te dubbelchecken voordat hij antwoord geeft, verbeterde het succespercentage naar net onder de veertig procent. Hoewel deze verbetering aantoont dat zorgvuldige instructies helpen, faalde het systeem nog steeds in meer dan de helft van de gevallen om het juiste antwoord te geven. In de tests waar informatie ontbrak, had de computer grote moeite en faalde hij vaak om te herkennen dat de gegevens verdwenen waren. Wanneer de onderzoekers de bekwaamheid van het systeem testten om de betekenis van medische stellingen te begrijpen, presteerde het niet beter dan een eenvoudige meerderheidsbaseline, waarbij het het antwoord slechts ongeveer de helft van de tijd goed had. Dit is hetzelfde succespercentage dat men zou verwachten als iemand simpelweg het meest voorkomende antwoord op elke vraag zou gokken, in plaats van een willekeurige gok te doen.

Cruciaal was dat de onderzoekers ontdekten dat het vermogen van de computer om regels te volgen, geen garantie bood voor het begrijpen van de betekenis. Het systeem kon geprogrammeerd worden om te controleren of het het juiste brondocument had en of het naar de juiste sectie van de tekst keek, maar deze "veiligheidscontrole" voorkwam niet dat het logische fouten maakte over wat de gegevens daadwerkelijk betekenden. Sterker nog, de veiligheidscontroles hielden soms onjuiste antwoorden in de definitieve resultaten omdat de computer de opmaakregels perfect had gevols, ook al was de conclusie onjuist. De studie sloot expliciet de gedachte uit dat dit kleine computermodel een doorbraak had bereikt in het begrijpen van de medische wetenschap of dat het menselijke experts zou kunnen vervangen bij het interpreteren van complexe trial-data. Het systeem was niet in staat om te fungeren als een autonome wetenschapper die nieuwe waarheden ontdekt of op betrouwbare wijze de nuances van verschillende ziekten interpreteert.

De onderzoekers concludeerden dat hoewel hun framework er succesvol in was om de taak van het vinden van het juiste brondocument te scheiden van de taak van het begrijpen van de betekenis, de huidige technologie nog niet klaar is voor dat laatste. Het systeem bewees dat het een hulpmiddel kon zijn voor het traceren van de herkomst van informatie, maar het kon niet vertrouwd worden om die informatie te interpreteren zonder menselijk toezicht. De studie suggereert dat voor kunstmatige intelligentie om een echte partner te worden in vasculair onderzoek, toekomstige systemen veel meer nodig zullen hebben dan alleen betere instructies; ze zullen een dieper, gespecialiseerd begrip van medische concepten vereisen dat veel verder gaat dan simpelweg woorden aan een database koppelen. Tot die tijd blijft de rol van deze digitale assistenten beperkt tot het helpen organiseren van gegevens, niet tot het nemen van de uiteindelijke medische oordelen die bepalen hoe patiënten worden behandeld.