LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning

Technische Samenvatting: LUX – Een Laesie-bewuste Graaf-geconditioneerde Visuele-Taal Architectuur voor Verklaarbare Endoscopische Captioning

1. Probleemstelling

De interpretatie van endoscopische beelden voor colitis ulcerosa (CU) is een complex, subjectief proces dat sterk afhankelijk is van de beoordeling van subtiele mucosale inflammatie, vasculaire patronen en de verdeling van laesies. Hoewel deep learning de geautomatiseerde analyse heeft gevorderd, lijden bestaande vision-language modellen (VLM's) voor medische beeld-captioning onder kritieke beperkingen:

• Afhankelijkheid van Globale Embeddings: De meeste modellen comprimeren heterogene pathologische patronen tot één enkele globale visuele embedding. Deze aanpak verwaarloost het gelokaliseerde en relationele karakter van pathologisch bewijs, wat leidt tot captions die gebrekkige gronding op laesieniveau vertonen.
• Hallucinatie en Gebrek aan Traceerbaarheid: Gegenereerde beschrijvingen combineren vaak verschillende bevindingen of introduceren ononderbouwde pathologische beweringen (hallucinaties), omdat de linguïstische generatie niet expliciet wordt beperkt door specifiek visueel bewijs.
• Interpretabiliteitskloof: Huidige verklaarbaarheidsmethoden (bijv. Grad-CAM) bieden post-hoc visualisaties, maar integreren interpreteerbaarheid niet in het redeneerproces zelf. Clinici vereisen systemen die gelokaliseerde bevindingen associëren met coherente diagnostische beschrijvingen, in plaats van enkel diffuse aandachtregio's te highlighten.
• Domeinspecifiteit: Algemene foundation-modellen (LLM's/VLM's) vertrouwen zwaar op grootschalige taal-priors in plaats van expliciet pathologisch bewijs, wat onvoldoende is voor de genuanceerde, op bewijs gebaseerde redenering die vereist is bij gastro-intestinale endoscopie.

2. Methodologie

De auteurs stellen LUX (Lesion-aware Unified eXplainable captioning) voor, een framework dat endoscopische captioning herformuleert als een op bewijs gebaseerd klinisch redeneerproces in plaats van een directe beeld-naar-tekst translatie. De architectuur bestaat uit vijf interagerende componenten:

A. Visuele Hybride Encoder (ResNet-50 + CBAM)

• Backbone: Een ResNet-50 geïnitialiseerd met ImageNet-gewichten, aangepast voor colonoscopische beeldvorming.
• Aandachtsmechanisme: Een Convolutional Block Attention Module (CBAM) is geïntegreerd na elke residuele stage. Dit versterkt selectief onderscheidende mucosale patronen (bijv. vasculaire attenuatie, ulceratie) terwijl irrelevante achtergrondinformatie wordt onderdrukt.
• Multi-scale Fusie: Kenmerken uit verschillende receptieve velden ($conv3\_x, conv4\_x, conv5\_x$) worden geconcateneerd en geprojecteerd om compatibiliteit met de T5-decoder te garanderen.

B. Scène-Laesie Graaf Constructie

• Laesielokalisatie: Kandidaat-pathologische regio's worden gelokaliseerd met behulp van Grad-CAM activatiekaarten, geregulariseerd tijdens training door een Dice-gebaseerde loss tegen handmatig geannoteerde laesiemaskers (uit een subset van de LIMUC dataset).
• Graafvorming: Gelokaliseerde regio's worden geabstraheerd naar graafknopen ($x_i$). Randen ($w_{ij}$) coderen zowel ruimtelijke nabijheid (Euclidische afstand tussen zwaartepunten) als semantische gelijkenis (cosine similarity van knoop-embeddings).
• Relationeel Redeneren: Een Graph Convolutional Network (GCN) propageert contextuele informatie over verbonden laesies, waardoor interacties zoals het samen voorkomen van ulceratie en bloeding worden gevangen. Een globale graafdescriptor wordt verkregen via attention pooling.

C. Laesie-bewuste Captioning (T5 Decoder + Dual Cross-Attention)

• Dual Cross-Attention: De T5-decoder maakt gebruik van een dual attention mechanisme waarbij elke gegenereerde token gezamenlijk aandacht besteedt aan globale visuele kenmerken en de laesie-graaf embeddings.
• Dynamische Gating: Een leerbare gating parameter ($\gamma_t$) balanceert dynamisch de invloed van visuele context en laesie-gecentreerd redeneren bij elke decoding stap.
• Token-naar-Laesie Alignment: Een expliciete alignment matrix ($M_{tok-les}$) wordt berekend om de bijdrage van specifieke laesieknopen aan elke gegenereerde token te kwantificeren, wat traceerbaarheid tussen taal en pathologisch bewijs waarborgt.

D. Linguïstische Formattering

• Een lichtgewicht, deterministisch post-processing module standaardiseert de output. Het brengt gegenereerde tokens in kaart met een gecureerde klinische vocabulaire (bijv. UCEIS descriptoren), dwingt grammaticale consistentie af en herordent bevindingen om een "bewijs-eerst" klinisch narratief te volgen (mucosale verschijning $\to$ vasculair patroon $\to$ laesies $\to$ bloeding).

E. Verklaarbaarheid

• Het systeem biedt pixel-niveau verklaringen via Grad-CAM heatmaps en token-niveau laesie-attributie, waarbij elke gegenereerde term wordt gekoppeld aan specifieke pathologische regio's.

Trainingsstrategie
Het framework maakt gebruik van een dual-dataset benadering:

1. UC-Caption: Een gecureerde dataset van 500 afbeeldingen met expert-geschreven captions en MES-labels, gebruikt voor gesuperviseerde caption generatie.
2. LIMUC: Een grootschalige dataset (11.276 afbeeldingen) met MES-labels maar zonder captions. Deze wordt gebruikt voor het pretrainen van de visuele encoder en de GCN, en voor semi-gesuperviseerde pseudo-caption augmentatie. Een handmatig geannoteerde subset (400 afbeeldingen) biedt laesie-niveau supervisie voor de lokalisatie-branch.

3. Belangrijkste Bijdragen

• Laesie-bewuste Graaf-geconditioneerde Architectuur: Een nieuw framework dat gelokaliseerd pathologisch bewijs direct integreert in het caption generatieproces via een scène-laesie graaf.
• Gestructureerde Scène-Laesie Graaf: Een representatie die ruimtelijke en semantische relaties tussen inflammatoire bevindingen modelleert, waarmee verder wordt gegaan dan geïsoleerde laesiedetectie naar relationeel redeneren.
• Dual Cross-Attention Mechanisme: Een decoding strategie die token-niveau grounding mogelijk maakt, waardoor gegenereerde taal expliciet kan aandacht schenken aan laesie-niveau representaties.
• Op Bewijs Gebaseerde Formulering: De formulering van endoscopische captioning als een multimodale redeneerprobleem dat wordt beperkt door visueel bewijs, wat de afhankelijkheid van linguïstische priors vermindert.
• Uitgebreide Evaluatie: Een verenigde benchmark die LUX vergelijkt met classificatie-georiënteerde modellen, standaard captioning baselines en state-of-the-art foundation VLM's (bijv. Qwen2-VL, LLaVA-Med).

4. Experimentele Resultaten

Geëvalueerd op de UC-Caption testset en gevalideerd op de LIMUC dataset, demonstreerde LUX superieure prestaties over meerdere metrieken:

• Caption Kwaliteit: LUX presteerde beter dan alle baselines, met een CIDEr score van 0.92 (vs. 0.79 voor de sterkste baseline) en een SPICE score van 0.25 (vs. 0.19). De significante winst in SPICE duidt op verbeterde relationele en scène-niveau semantische correctheid.
• Reductie van Hallucinatie: LUX reduceerde de hallucinatie-rate naar 5.3%, een relatieve reductie van 44% vergeleken met de sterkste foundation VLM baseline (Qwen2-VL bij 9.4%).
• Klinische Consistentie: Het model behield een hoge nauwkeurigheid in Mayo Endoscopic Subscore (MES) classificatie (84.7%) terwijl het klinisch getrouwe beschrijvingen genereerde.
• Ablatie Studies: Het verwijderen van de laesie graaf of het dual cross-attention mechanisme resulteerde in de meest significante prestatiedegradatie, wat bevestigt dat relationeel redeneren op decoder-niveau de primaire drijfveer is voor klinische getrouwheid.
• Menselijke Evaluatie: Expert reviewers beoordeelden LUX hoog op klinische correctheid (4.4/5), laesie-specificiteit (4.6/5) en het vermijden van hallucinaties (4.7/5), waarbij zij de bekwaamheid van het model benadrukten om vasculaire attenuatie, friabiliteit en ulceratie accuraat te beschrijven zonder ongefundeerde ernst-inflatie.

5. Betekenis en Claims

Het paper claimt dat LUX een transparante en klinisch betekenisvolle stap biedt richting verklaarbare AI voor gastro-intestinale endoscopie. De primaire betekenis ligt in het aantonen dat expliciete laesie-niveau grounding en gestructureerd relationeel redeneren complementaire voordelen bieden aan model schaal.

• Voorbij Schaal: De auteurs argumenteren dat in gespecialiseerde klinische domeinen met beperkte geannoteerde data, architecturale inductieve biases (laesie lokalisatie, graaf codering) effectiever zijn voor het waarborgen van klinische betrouwbaarheid dan simpelweg het opschalen van foundation-modellen.
• Traceerbare Redenering: In tegenstelling tot post-hoc verklaarbaarheid, integreert LUX interpreteerbaarheid in het generatieproces, waardoor wordt gegarandeerd dat elke klinische bewering direct is uitgelijnd met gelokaliseerd pathologisch bewijs.
• Klinische Nut: Door hallucinaties te verminderen en de correspondentie tussen gegenereerde tekst en visuele bevindingen te verbeteren, adresseert LUX een kritieke barrière voor de implementatie van AI in klinische workflows, door een betrouwbaar beslissingsondersteunend instrument voor de beoordeling van colitis ulcerosa aan te bieden.

De auteurs concluderen dat hoewel foundation-modellen excelleren in linguïstische vloeiendheid, zij de expliciete mechanismen missen om tekstuele bevindingen te associëren met gelokaliseerd bewijs. LUX overbrugt deze kloof en biedt een principieel pad naar bewijs-gebaseerde multimodale AI die zowel accuraat als interpreteerbaar is.