ScintiGround-38K: A Grounded Visual Question Answering Benchmark for Paired Anterior–Posterior Bone Scintigraphy

Technische Samenvatting: ScintiGround-38K

Probleemstelling
Whole-body botscintigrafie (WBBS) is een standaard, kosteneffectieve screeningsmethode voor skeletmetastasen, die doorgaans wordt verkregen als gepaarde anterieure en posterieure opnames. Hoewel deep learning de detectie en classificatie van laesies in dit domein heeft geavanceerd, reduceren bestaande benchmarks klinische bevindingen vaak tot vrije tekstlabels, waardoor de link tussen antwoorden en het specifieke visuele bewijs dat nodig is om deze te ondersteunen, wordt verbroken. Standaard Visual Question Answering (VQA) evaluatie leunt zwaar op de ruwe antwoordnauwkeurigheid, wat misleidend kan zijn in medische contexten waar modellen de neiging kunnen hebben om gebruik te maken van vraag-geconditioneerde priors of klassenfrequentie in plaats van visuele inhoud. Er is een gebrek aan een benchmark die de oorspronkelijke beeldgeometrie behoudt, traceerbare bronannotaties (bounding boxes en labels) handhaaft en tegelijkertijd answer-only, localization-only en grounded VQA-taken ondersteunt voor gepaarde WBBS-data.

Methodologie
De auteurs presenteren ScintiGround-38K, een bevroren, herkomst-behoudende dataset afgeleid van twee broncollecties: BS-80K (die beeldreferenties, regio-/laesielabels en bounding boxes biedt) en LIBS-160K (die gecontroleerde, op regels gebaseerde vraagtemplates biedt).

• Dataset Constructie: De benchmark bevat 38.469 instanties afgeleid van 54.768 bronrecords en 23.967 anterieur–posterieur beeldparen van 2.815 patiënten. Het definieert drie verschillende taaktypen:
  1. VQA: Vereist een ja/nee-antwoord met betrekking tot een gespecificeerd gebied of het hele lichaam, zonder een voorspelde box.
  2. Image Localization: Vereist één of twee bounding boxes voor een benoemde botregio of hotspot, zonder antwoordscoring.
  3. Grounded VQA: Vereist zowel een correct antwoord als de bijbehorende doel-box(en).
• Herkomst en Integriteit: Elke instantie behoudt zijn bronidentificator, view, native-image box coördinaten en patiëntniveau split-toewijzing. Alleen metadata-rijen zijn uitgesloten. De release distribueert alleen afgeleide annotaties; de ruwe upstream-beelden worden niet herverdeeld.
• Data Splits: Patiënten zijn op subjectniveau gepartitioneerd (80% training, 10% validatie, 10% test) om datalekken en shortcut learning op basis van patiëntidentiteit te voorkomen.
• Baseline Protocollen: Twee vision-language modellen, Qwen3-VL-2B-Instruct en PaliGemma-3B-pt-224, werden aangepast met behulp van Low-Rank Adaptation (LoRA) op dezelfde multitask trainingsset. Qwen3-VL ontving native anterieure en posterieure beelden, terwijl PaliGemma een samengesteld anterieur–posterieur canvas ontving.
• Evaluatie: Metrieken omvatten ruwe nauwkeurigheid, gebalanceerde nauwkeurigheid, macro-F1 en klasse-specifieke precisie/recall/F1. Voor lokalisatie worden mean Intersection over Union (IoU), box-nauwkeurigheid (IoU ≥ 0,50) en strikte lokalisatienauwkeurigheid gerapporteerd. Prestaties van Grounded VQA worden gemeten via strikte grounded accuracy, waarbij een voorspelling alleen krediet krijgt als zowel het antwoord als de box correct zijn.

Belangrijkste Bijdragen

1. Taakdefinitie: Het artikel definieert gepaarde anterieur–posterieur VQA, image localization, en grounded VQA taken die opereren over botregio-, laesie- en whole-body niveaus met behulp van originele locaties.
2. Herkomstbehoud: Een strikte release-grens is vastgesteld waarbij elke instantie traceerbaar is naar bronannotaties via geregistreerde links en hashes, wat garandeert dat er geen klinisch bewijs de novo wordt gegenereerd.
3. Methodologische Baselines: Parameters-efficiënte trainingsprotocollen worden gespecificeerd voor twee verschillende modelfamilies, waarbij expliciet onderscheid wordt gemaakt in inputformaten en selectieprocedures.
4. Metriekscheiding: De studie rapporteert klasse-gebalanceerde en lokalisatiemetrieken die de ruwe antwoordnauwkeurigheid ontkoppelen van de prestaties van minderheidsklassen en bewijs-niveau gedrag.

Resultaten
Evaluatie op de uitgesloten testset onthult een significante dissociatie tussen antwoordcorrectheid en bewijs-grounding:

• Antwoordnauwkeurigheid: Beide modellen behaalden een hoge ruwe antwoordnauwkeurigheid (>0,90) op VQA- en Grounded VQA-taken.
• Gebalanceerde Prestaties: Ondanks de hoge ruwe nauwkeurigheid bleef de gebalanceerde nauwkeurigheid nabij de 0,53 (0,528 voor Qwen3-VL en 0,535 voor PaliGemma op VQA), wat wijst op prestaties die dicht bij willekeurig gokken liggen voor de minderheidsklasse.
• Prestaties Minderheidsklasse: De F1-score voor de "Abnormal" klasse bleef onder de 0,15 voor alle configuraties.
• Lokalisatie: Modellen toonden competentie in ruimtelijke lay-out, met een mean IoU rond de 0,64 en een box-nauwkeurigheid tussen de 0,78 en 0,86.
• Grounded Accuracy: De strikte grounded accuracy (vereist zowel correct antwoord als box) was 0,765 voor Qwen3-VL en 0,701 voor PaliGemma. Deze kloof tussen box-nauwkeurigheid en strikte grounded accuracy benadrukt dat modellen vaak correct lokaliseren maar falen in het genereren van de juiste classificatie voor de minderheidsklasse.

Betekenis en Claims
Het artikel claimt dat ScintiGround-3 ever dient als een methodologische bron om aan te tonen dat een hoge ruwe antwoordnauwkeurigheid zwak minderheidsklasse- en bewijs-niveau gedrag kan verhullen. De auteurs stellen dat antwoordcorrectheid en bewijs-lokalisatie scheidbare capaciteiten zijn in dit medium; een benchmark die alleen de eerste meet, zou deze systemen onterecht als robuust karakteriseren.

Het werk benadrukt dat de dataset niet bedoeld is voor klinische diagnose, behandelkeuze of patiëntenzorg, aangezien deze geen klinische validatie heeft ondergaan en vertrouwt op door specialisten beoordeelde beeldlabels in plaats van pathologische grondwaarheid. De primaire bijdrage is het bieden van een instrument om de uitlijning tussen antwoorden en beeldbewijs te meten, waarbij het belang van gebalanceerde metrieken en strikte grounding evaluatie in medisch AI-onderzoek wordt benadrukt. Toekomstige richtingen geïdentificeerd door de auteurs omvatten het vaststellen van non-image controle baselines, het aanpakken van klasse-imbalans door gestratificeerde rapportage, en het uitvoeren van externe validatie op onafhankelijke cohorten.