LoMeVQA: A Comprehensive Benchmark for Longitudinal Medical VQA

Technische Samenvatting: LoMeVQA: Een Uitgebreide Benchmark voor Longitudinaal Medisch VQA

Probleemstelling
Hoewel Multimodale Large Language Models (MLLM's) aanzienlijk zijn geavanceerd in algemene visuele taal-taken en de analyse van medische enkelvoudige beelden, blijven ze grotendeels onderbelicht in de context van longitudinaal medisch visueel redeneren. In de klinische praktijk is de beoordeling van patiënten sterk afhankelijk van het vergelijken van sequentiële beeldstudies over een bepaalde tijd om de progressie van ziekten, de respons op behandelingen en de prognose te evalueren. Bestaande datasets voor medische Visual Question Answering (VQA) en rapportgeneratie zijn voornamelijk beperkt tot scenario's met één bezoek en één afbeelding. Bovendien bevatten huidige multi-afbeelding datasets vaak afbeeldingen van verschillende patiënten of modaliteiten, in plaats van de temporele evolutie van de conditie van een enkele patiënt vast te leggen. Bijgevolg is er een gebrek aan een systematische benchmark om het vermogen van modellen te evalueren om over temporele sequenties te redeneren in medische beeldvorming.

Methodologie
Om dit gat te dichten, introduceren de auteurs LoMeVQA, een uitgebreide benchmark bestaande uit 206.000 longitudinale VQA-paren. De constructie van de dataset volgt een geautomatiseerde pijplijn die is ontworpen om klinische gronding te garanderen en hallucinaties te verminderen:

1. Longitudinale Dataconstructie: De pijplijn organiseert patiëntendossiers uit de MIMIC-CXR dataset chronologisch. Met behulp van RadGraph extraheert het gestructureerde medische entiteiten en hun ondersteunende zin-niveau beschrijvingen uit radiologieverslagen. Deze entiteiten worden geaggregeerd over bezoeken heen om "entiteits-niveau trajecten" te construeren die de temporele evolutie van specifieke klinische bevindingen weerspiegelen.
2. Moeilijkheidsgraad-gecontroleerde VQA-synthese: Het systeem gebruikt een sliding window-benadering om opeenvolgende studies te samplen. Het identificeert gedeelde klinische entiteiten over deze tijdstappen en gebruikt een Large Language Model (LLM) om vragen en antwoorden te generen op basis van de entiteitstrajecten. Dit proces maakt controle over de moeilijkheidsgraad mogelijk door de temporele spanne en het aantal betrokken entiteiten te variëren.
3. Filtering en Validatie: Om betrouwbaarheid te garanderen, wordt een tweestaps filtering toegepast. Ten eerste voert een geautomatiseerde consistentiecontrole gebruik van een LLM om te verifiëren of gegenereerde Q&A-paren overeenkomen met de bronradiologieverslagen, waarbij ze worden gelabeld als consistent, tegenstrijdig of onzeker. Ten tweede vindt een menselijke beoordeling plaats door drie clinici met verschillende expertiseniveaus om hoogwaardige monsters voor de testset te selecteren.
4. Taakdefinitie: LoMeVQA definieert vijf onderscheidende taken:
   • Progress Classificatie (PC): Het classificeren van ziekteprogressie als verbeterd, stabiel of verslechterd.
   • Progress Beschrijving (PD): Het genereren van beschrijvende verklaringen van veranderingen in de ziekte.
   • Progress Rapport Generatie (PRG): Het synthetiseren van geïntegreerde rapporten die de progressie over meerdere tijdstippen en regio's samenvatten.
   • Differentieel Regio Gronding (DRG): Het lokaliseren van regio's met opvallende veranderingen via bounding boxes.
   • Differentieel Regio Beschrijving (DRD): Het beschrijven van specifieke verschillen binnen een vooraf gedefinieerde regio.

Belangrijkste Bijdragen

• LoMeVQA Benchmark: De eerste grootschalige, multi-task benchmark die specifiek is ontworpen voor longitudinale medische beeldanalyse, met 206K samples over vijf diverse redeneertaken.
• Geautomatiseerde Constructiepijplijn: Een nieuwe methode die medische kennisgrafen (via RadGraph) integreert met LLM's om klinisch gegronde VQA-paren te synthetiseren, terwijl hallucinaties worden gemitigeerd door middel van trajectmodellering en consistentie-filtering.
• MedLong-8B: Een gespecialiseerd model dat is gefinetuned van Qwen3-VL-8B op de LoMeVQA-dev set, ontworpen om de specifieke uitdagingen van temporeel medisch redeneren aan te pakken.
• Systematische Evaluatie: Een uitgebreide evaluatie van zowel algemene als medisch-domein MLLM's, die aanzienlijke prestatiekloven in longitudinaal redeneren onthult.

Resultaten
Uitgebreide evaluaties op de LoMeVQA-testset (2.500 hoogwaardige samples) en out-of-distribution benchmarks (MMXU-test en MIMIC-CXR-T) leveren de volgende bevindingen op:

• Huidige Beperkingen: Bestaande MLLM's, inclus�els state-of-the-art medische modellen zoals Lingshu en MedGemma, presteren slecht op LoMeVQA. Zo bereiken de best presterende modellen slechts ~55% nauwkeurigheid op classificatietaken en ongeveer 25% Intersection over Union (IoU) op grounding-taken. Algemene modellen falen vaak in het detecteren van subtiele temporele veranderingen of vertrouwen te veel op tekstuele priors in plaats van visueel bewijs.
• Prestaties van MedLong-8B: Het gefinetunde MedLong-8B model bereikt state-of-the-art prestaties over alle vijf de in-distribution taken, waarbij het zowel algemene als medische baseline-modellen significant overtreft. Het vertoont ook sterke generalisatiecapaciteiten op out-of-distribution datasets, met een verbetering van meer dan 10-20% vergeleken met het basismodel.
• Fine-tuning Dynamiek: Experimenten wijzen uit dat grotere modelcapaciteiten (8B vs. 4B) leiden tot betere adaptatie. Bovendien presteert multi-task fine-tuning (trainen op alle taken gezamenlijk) vergelijkbaar met single-task fine-tuning, wat suggereert dat voldoende grote modellen meerdere taakspecifieke patronen kunnen leren zonder substantiële interferentie.
• Kwalitatieve Analyse: Visualisaties van attention maps onthullen dat terwijl basismodellen tijdens generatie vaak minimaal aandacht besteden aan visuele inputs, MedLong-8B een versterkte uitlijning vertoont tussen visueel bewijs en linguïstisch redeneren, waarbij het zich progressief focust op relevante beeldregio's terwijl het antwoorden genereert.

Betekenis
Het artikel stelt dat LoMeVQA een kritiek gat vult in medisch AI-onderzoek door de eerste systematische framework te bieden voor het evalueren van longitudinaal visueel redeneren. De resultaten benadrukken dat huidige MLLM's niet beschikken over de noodzakelijke temporele redeneerkracht voor real-world klinische toepassingen waar het volgen van de evolutie van een ziekte essentieel is. Door MedLong-8B als een sterke baseline te vestigen en een rigoureuze dataset te bieden, beogen de auteurs toekomstig onderzoek te faciliteren naar de ontwikkeling van meer capabele medische MLLM's die in staat zijn om temporele sequenties accuraat te interpreteren, waardoor zij bijdragen aan een nauwkeurigere en gepersonaliseerde klinische besluitvorming. De auteurs benadrukken dat hun werk een stap is naar het overbruggen van de kloof tussen statische beeldanalyse en dynamische, longitudinale klinische beoordeling.