Technische Samenvatting: GRAPE – Graph-Augmented Prototype Explanations voor Interactieve Medische Beelddiagnostiek

Probleemstelling

Hoewel deep learning-modellen een nauwkeurigheid op het niveau van radiologen hebben bereikt in de medische beeldvorming, wordt hun klinische adoptie gehinderen door een gebrek aan interpreteerbaarheid en de veiligheidsrisico's die gepaard gaan met interactieve feedback. Bestaande prototype-gebaseerde modellen, die interpreteerbaarheid bieden door afbeeldingen te matchen met geleerde visuele voorbeelden, lijden onder drie specifieke structurele beperkingen:

1. Onafhankelijke Conceptmodellering: Huidige taakkoppen behandelen klinische bevindingen als onafhankelijk, waarbij bekende anatomische co-occurrences (bijv. actieve tuberculose en caviteitsvorming) worden genegeerd, waardoor klinisch betekenisvolle structuren verloren gaan.
2. Onveilige Ruimtelijke Interactie: Wanneer artsen corrigerende feedback geven (bijv. het tekenen van een bounding box), past het systeem deze feedback blindelings toe. Als het model verward is en een ander concept associeert met de aangegeven regio, versterkt de feedback stilzwijgend fouten, wat risico's voor de patiëntveiligheid met zich meebrengt.
3. Gesloten Vocabulaire: Het toevoegen van een nieuwe klinische bevinding (bijv. een zeldzame variant) vereist het volledig opnieuw trainen van de prototype-atlas, wat in klinische settings evenredig duur is.

Methodologie: De GRAPE-architectuur

GRAPE stelt een verenigd vierfasen trainingsframework voor dat conceptsupervisie, contrastief prototype-leren, Vision-Language Model (VLM) alignment en graafgestructureerde classificatie integreert. De architectuur bestaat uit drie kernmodules:

Module A: Graph Attention Task Head

Om de onafhankelijkheid van concepten aan te pakken, construeert GRAPE een datagedreven co-occurrence graaf vanuit de trainingslabels.

• Graafconstructie: Een $K \times K$ conditionele waarschijnlijkheidsmatrix wordt afgeleid uit de trainingsset, die $P(k | k')$ representeert. Deze matrix wordt gedrempelde om een gerichte adjacency graaf met self-loops te creëren.
• Graph Attention Network (GAT): In plaats van een platte lineaire laag, gebruikt het model twee lagen Graph Attention Networks. De initiële knoopkenmerken zijn de prototype-gelijkenisscores ($s_{k,:}$). De GAT verfijnt deze scores via geleerde attention-mechanismen voordat ze worden doorgegeven aan een Layer-Norm–Dropout–Linear readout voor classificatie. Dit stelt het model in staat om gebruik te maken van de anatomische correlaties tussen bevindingen.

Module B: Concept-Mismatch Safety Check

Deze module introduceert een veiligheidsmechanisme om de amplificatie van foutieve artsfeedback te voorkomen.

• Mechanisme: Wanneer een arts een bounding box ($B$) tekent om een specifiek concept ($k^*$) te versterken, berekent het systeem de gemiddelde gelijkenis ($\bar{s}_k(B)$) voor alle concepten binnen die regio met behulp van de ruimtelijke gemiddelde van de prototype-gelijkeniskaarten.
• Veiligheidslogica: Het systeem identificeert het dominante concept ($k^\dagger$) binnen de box. Als $k^\dagger \neq k^*$ en het verschil in gemiddelde gelijkenis de drempelwaarde ($\eta = 0.05$) overschrijdt, wordt een veiligheidswaarschuwing uitgegeven. De feedback wordt ingehouden totdat de arts de correctie bevestigt.
• Variantiesignaal: Het systeem maakt gebruik van prototype variantiekaarten ($U_k$) om ambigue bewijslast te detecteren, wat dient als leidraad voor prototype-maskering tijdens de training en als een deterministisch signaal voor veiligheidscontroles tijdens de inferentie (om de sampling overhead van Bayesiaanse onzekerheidsmethoden te vermijden).

Module C: Open-Vocabulary Prototype Anchoring

Om de closed-vocabulary bottleneck te elimineren, aligneert GRAPE visuele prototypes met bevroren tekst-embeddings.

• Alignment: Een leerbare projectie ($W_{txt}$) brengt tekst-embeddings van een bevroren BioViL-T encoder naar de visuele prototype-ruimte. Een alignment loss ($L_{align}$) trekt visuele prototypes naar hun corresponderende tekst-ankers.
• Zero-Shot Toevoeging: Tijdens de testfase kunnen nieuwe concepten worden toegevoegd zonder de backbone of andere componenten opnieuw te trainen. Een clinicus initialiseert prototypes voor een nieuw concept met behulp van het tekst-anker dat is geperturbeerd met Gaussische ruis. Deze prototypes zijn direct bruikbaar voor inferentie of kunnen worden aangepast met enkele gelabelde voorbeelden via concept-local fine-tuning.

Belangrijkste Bijdragen

1. Graafgestructureerde Redenering: De introductie van een Graph Attention Task Head die concept co-occurrence modelleert, wat de macro-F1 met +13,8 procentpunten verbetert ten opzien van prototype-baselines op de TBX11K dataset.
2. Veiligheidsmechanisme: De eerste "Concept-Mismatch Safety Check" in prototype-gebaseerde medische classifiers. Het detecteert wanneer de beoogde label van een arts conflicteert met de dominante visuele bewijslast van het model in een regio, waarbij het 85% van de foutieve annotaties vangt (versus 51% voor MC-Dropout) zonder extra kosten voor de inferentie.
3. Open-Vocabulary Extensie: Een mechanisme om nieuwe klinische bevindingen toe te voegen vanaf één gelabelde afbeelding (of tekstbeschrijving) zonder de bestaande modelcomponenten te wijzigen, wat de bottleneck van hertraining aanpakt.
4. Ruimtelijke Getrouwheid: Prototype-kaarten bereiken 2,6$\times$ betere lokalisatie van laesies (Pointing Game) dan end-to-end baselines op TBX11K, wat aantoont dat interpreteerbaarheid geen offer hoeft te brengen in ruimtelijke nauwkeurigheid.
5. Efficiëntie: Al deze drie capaciteiten voegen slechts +1 ms latentie toe bij interactieve batch-groottes, wat voldoet aan de eisen voor real-time interactie.

Experimentele Resultaten

De auteurs evalueerden GRAPE op TBX11K (3-klasse TB-detectie) en NIH ChestX-ray14 (14-klasse bevindingdetectie).

• Classificatieprestaties: Op TBX11K bereikte GRAPE (met GNN en onzekerheidsmodules) een Macro F1 van 0,866 ± 0,042, wat significant beter is dan de CSR baseline (0,728 ± 0,050) met een p-waarde van 0,0013. De winst wordt primair toegeschreven aan de GNN-kop.
• Lokalisatie (Pointing Game): GRAPE behaalde een Pointing Game score van 0,140 op TBX11K, vergeleken met 0,055 voor Concept Bottleneck Models (CBM) en 0,053 voor PIP-Net. Dit duidt op een superieure alignment tussen de aandacht van het model en de grondwaarheid locaties van laesies.
• Effectiviteit van de Safety Check: In gesimuleerde foutscenario's ving de safety check 85,1% van de foutief getekende boxen met een False Positive rate van 16,4%.
• Zero-Shot Capaciteit: Op NIH ChestX-ray14 stelde een enkele gelabelde afbeelding voor het concept "Effusion" het model in staat om 100% van de full-supervision Pointing Game nauwkeurigheid te herstellen. Op TBX11K herstelde 1-shot learning 41% van de full-supervision nauwkeurigheid.
• Getrouwheid: Insertion/Deletion AUC evaluaties bevestigden dat de prototype-gelijkeniskaarten werkelijk voorspellende ruimtelijke regio's vastleggen, waarbij ze de standaard baselines overtreffen in Insertion AUC.

Betekenis en Claims

Het artikel positioneert GRAPE als een stap richting veiligere, meer aanpasbare en klinisch levensvatbare interactieve AI.

• Klinisch Vertrouwen: Door de stille amplificatie van fouten te voorkomen via de Concept-Mismatch Safety Check, adresseert het systeem een kritieke faalmodus in human-in-the-loop medische AI.
• Aanpasbaarheid: De Open-Vocabulary capaciteit verlaagt de drempel voor omgevingen met beperkte middelen, waardoor nieuwe concepten geïntroduceerd kunnen worden zonder de buitensporige kosten van volledige hertraining.
• Interpreteerbaarheid vs. Nauwkeurigheid: Het werk demonstreert dat graafgestructureerde redenering de classificatienauwkeurigheid (macro-F1) kan verbeteren terwijl de ruimtelijke interpreteerbaarheid behouden blijft of zelfs verbetert, wat de vaak veronderstelde trade-off tussen deze twee doelen uitdaagt.

De auteurs merken beperkingen op, waaronder het feit dat de absolute Pointing Game scores laag blijven door resolutieverschillen (7x7 kaarten versus 224x224 boxen) en de noodzaak voor verdere validatie op demografische subgroepen. Zij benadrukken dat het systeem een onderzoeksprototype is en nog niet in klinische settings is ingezet.