TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models

Stel je voor dat je een mysterie probeert op te lossen, maar in plaats van één aanwijzing heb je een hele tijdlijn aan bewijsmateriaal. In de wereld van kunstmatige intelligentie is er een speciaal type robotbrein dat een "Vision-Language Model" wordt genoemd. Denk aan deze als superintelligente detectives die tegelijkertijd een foto kunnen bekijken en een verhaal kunnen lezen. Lange tijd werden deze detectives alleen getest op "single-snapshot" mysteries: ze bekeken één foto van een patiënt en probeerden te raden wat er mis was. Maar in de echte wereld kijken artsen niet naar slechts één foto; zij zijn als detectives die een dossier doorzien. Ze vergelijken de huidige röntgenfoto van een patiënt met foto's van vorige maand, vorig jaar of zelfs gisteren om te zien of de patiënt beter wordt, slechter wordt of gelijk blijft. Dit artikel introduceert een nieuwe, moeilijkere test voor deze AI-detectives om te zien of ze daadwerkelijk veranderingen in de loop van de tijd kunnen volgen, in plaats van alleen te gokken op basis van een enkel moment.

De onderzoekers achter deze studie, gepubliceerd op de COLM 2026 conferentie, creëerden een nieuwe uitdaging genaamd TEMMED-BENCH. Ze realiseerden zich dat de meeste AI-tests te makkelijk waren omdat ze de AI slechts één afbeelding tegelijk lieten zien. In het echte leven moet een arts subtiele verschuivingen kunnen opmerken, zoals een schaduw op een long die iets groter is geworden of een breuk die begonnen is te genezen. Om te testen of AI dit kon, bouwde het team een enorme "trainingsgym" voor AI-modellen. Deze gym bevat meer dan 17.000 voorbeelden van patiëntendossiers, waarbij elk voorbeeld twee afbeeldingen heeft (één van een vorig bezoek en één van het huidige bezoek) en een rapport dat precies beschrijft hoe de toestand van de patiënt tussen beide bezoeken is veranderd.

Het team liet 12 verschillende AI-modellen door deze gym gaan, inclusief zowel beroemde "closed-source" modellen (zoals GPT-4 en Claude) als open-source modellen. De resultaten waren een beetje een waarschuwing. Wanneer de AI-modellen werden gedwongen om zonder externe hulp te werken (een "closed-book" setting), hadden de meeste modellen grote moeite. Bij de visuele vraag-antwoordtaken presteerden veel modellen niet beter dan willekeurig gokken; ze gooiden in feite een muntje op om te beslissen of een patiënt verbeterde. Zelfs de beste modellen, zoals GPT-4o-mini, kregen slechts ongeveer 79% van de antwoorden goed, terwijl veel anderen onder de 60% scoorden. Het artikel suggereert dat de huidige AI-training simpelweg niet genoeg gefocust heeft op de vaardigheid om afbeeldingen over de tijd heen te vergelijken.

Echter, het verhaal wordt interessanter wanneer de onderzoekers de AI een "referentieblad" gaven. Ze probeerden een techniek genaamd retrieval augmentation, waarbij de AI de mogelijkheid krijgt om vergelijkbare oude gevallen uit een database op te zoeken voordat hij antwoord geeft. Maar hier komt de twist: ze lieten de AI niet alleen tekstuele rapporten lezen; ze lieten het ook naar andere paren afbeeldingen en hun rapporten kijken. Deze "multi-modale" aanpak (het gebruik van zowel afbeeldingen als woorden) deed wonderen. Voor sommige modellen zorgde het toevoegen van deze visuele en tekstuele aanwijzingen voor een verbetering van de prestaties met meer dan 10%. Het bleek dat het tonen van een vergelijkbaar geval waarbij de toestand van een patiënt verbeterde, de AI hielp om te begrijpen hoe hij verbetering in het huidige geval kon herkennen.

Het artikel concludeert dat hoewel AI goed wordt in het bekijken van enkele afbeeldingen, het nog steeds onhandig is in de "tijdreis"-redenering die artsen dagelijks gebruiken. De studie weerlegt het idee dat huidige modellen van nature deze temporele veranderingen kunnen afhandelen zonder hulp. In plaats daarvan suggereert het dat de toekomst van medische AI ligt in het geven van toegang tot een bibliotheek van soortgelijke oude gevallen—zowel de afbeeldingen als de verhalen—om deze modellen te helpen redeneren over de veranderingen. De auteurs merken er voorzichtig bij op dat dit een startpunt is; de benchmark is momenteel alleen gebouwd op borstfoto's (X-rays), en de uitdaging om veranderingen over langere perioden met complexere beelden te volgen, blijft een onderwerp voor toekomstig onderzoek. Maar voor nu heeft TEMMED-BENCH succesvol aangetoond waar de AI-detectives tekortschieten en hoe we hen kunnen helpen beter te worden in het oplossen van het mysterie van de tijd.