Technische Samenvatting: Attribuutretrieval voor Open-Vocabulary Endoscopische Compositionele Referentiële Segmentatie

Probleemstelling

Referring Image Segmentation (RIS) streeft naar het segmenteren van beeldregio's op basis van natuurlijke taalbeschrijvingen, wat een fijne visuele interpretatie mogelijk maakt. Hoewel succesvol in natuurlijke beelden, brengt het uitbreiden van RIS naar endoscopische beelden unieke uitdagingen met zich mee:

1. Schaarste en kwaliteit van data: Er is een gebrek aan hoogwaardige, instructie-gegronde annotaties in het medische domein.
2. Complexe domeinspecificiteit: Endoscopische beelden vertonen complexe texturen, occlusies, dynamische interacties tussen instrumenten en weefsels, en uitdagende omstandigheden zoals lage verlichting en rook.
3. Fijnmazige vereisten: Medische beschrijvingen vereisen de interpretatie van subtiele anatomische en instrumentale variaties (bijv. specifieke instrumentonderdelen, weefseltypen) die verder gaan dan typische objectbeschrijvingen.
4. Klassenimbalans: Endoscopische datasets vertonen vaak long-tail distributies waarbij specifieke organen of instrumenten veel vaker voorkomen dan andere.
5. Generalisatiekloof: Bestaande methoden leunen zwaar op beeld-only data binnen beperkte domeinen, en missen de tekstuele sturing die nodig is voor robuuste open-vocabulary generalisatie.

Methodologie: AR-ERIS Framework

De auteurs stellen Attribute Retrieval-based Endoscopic-RIS (AR-ERIS) voor, een framework ontworpen voor open-vocabulary endoscopische compositionele referentiële segmentatie. De kerncomponenten zijn:

1. ReferEndoscopy Benchmark

Om de schaarste aan data aan te pakken, hebben de auteurs ReferEndoscopy geconstrueerd, een grootschalige benchmark bestaande uit:

• 65.964 endoscopische beelden uit 10 diverse datasets (waaronder AutoLaparo, DSAD, Cholecseg8k, EndoVis-17/18, Kvasir-Instrument, RoboTool, SAR-RARP50, SISVSE, en LaparoI2I).
• 242.055 instructie-gegronde maskers.
• 1.452.330 beeld-masker-instructie triplets.
• 59 categorieën die instrumenten (onderdelen), organen en weefsels beslaan.

Attribuut-gestuurde annotatiepipeline:

• Stap 1 (Verzameling): Aggregatie van data uit diverse domeinen en preprocessing (het bijsnijden van zwarte achtergronden, herschalen naar 448×448).
• Stap 2 (Attribuutherkenning): Gebruik van OpenCV om automatisch attributen voor elk masker te extraheren, waaronder:
  • Kleur: Gemiddelde kleur gemapt naar labels (bijv. rood, zilver).
  • Grootte: Maskeroppervlakte gemapt naar kwalitatieve labels (klein, medium, groot).
  • Ruimtelijke Locatie: Berekening van het zwaartepunt voor relatieve positie (bijv. linksonder).
  • Referentie/Relatie: Afstandsberekeningen tussen contouren om relaties te bepalen (bijv. aanraken, nabij, overlappen).
• Stap 3 (Instructieontwerp): Genereren van adaptieve instructies met behulp van een template-engine die attributen combineert in prompts van variërende complexiteit:
  • Naïef: Alleen de klassenaam.
  • Simpel/Medium/Hard: Toenemend aantal attributen (1, 3 of 5) die kleur, textuur, locatie, vorm en grootte beschrijven.

2. AR-ERIS Architectuur

Het framework bestaat uit een dual encoder, Feature Pyramid Network (FPN), cross-model aandacht en een projector.

• Frequency-Aware Referring Network (FAR-Net):

  • Frequentie-decompositie: In tegenstelling tot standaardmethoden past FAR-Net een 2D Fast Fourier Transform (FFT) toe om invoerbeelden te decomponeren in laagfrequente (textuur/orgaanlichaam) en hoogfrequente (grenzen/randen) componenten.
  • Freq-Fusie: Het model scheidt deze componenten met behulp van frequentiemaskers, past inverse FFT toe en concateneert ze met het originele RGB-beeld ($I_{combined} = \text{Concat}(I, I_{low}, I_{high})$). Dit stelt het model in staat om klasse-rigiditeit en deformatie onafhankelijk van kleur waar te nemen.
  • Feature Fusie: Een mixture-of-experts netwerk fuseert deze multi-frequentie kenmerken met de originele visuele kenmerken.
  • Cross-Modale Uitlijning: Tekstprompts worden geëmbed via een CLIP text encoder en uitgelijnd met beeldkenmerken via een gecascadeerde Transformer decoder en cross-attention mechanismen.

• Attribute Retrieval Module (ARM):

  • Ontworpen om open-vocabulary en nieuwe attributen te verwerken.
  • Tijdens inferentie, indien een testklasse nieuw is, berekent ARM gelijkenisscores tussen de doelklasse en pre-training klassen om de meest relevante attributen (kleur, grootte, textuur, locatie) te extraheren uit een class-attribute memory bank.
  • Dit maakt de generatie van accurate instructies voor ongeziene klassen mogelijk op basis van de pre-getrainde attribuut-co-occurrences.

• Trainingsstrategie:

  • Loss Functies: Het model wordt geoptimaliseerd met een combinatie van Binary Cross-Entropy (BCE), Dice Loss ($L_{Dice}$) en een nieuwe Frequency Consistency Loss ($L_{freq}$).
  • $L_{freq}$ straft specifiek discrepanties af tussen het hoogfrequente beeldcomponent en het segmentatiemasker, waardoor het model wordt gedwongen scherpe randdetails te vangen die cruciaal zijn voor chirurgische instrumenten.

Belangrijkste Bijdragen

1. ReferEndoscopy Benchmark: De creatie van een grootschalige, instructie-gegronde dataset die diverse endoscopische domeinen, instrumenten en anatomische structuren beslaat, waarmee het gebrek aan fijnmazige tekst-beeld data in de chirurgie wordt aangepakt.
2. AR-ERIS Framework: Een nieuwe architectuur die:
   • RGB-inputs decomponeert in onderscheidende frequentiecomponenten om rand-, vorm- en textuurkenmerken te vangen.
   • Een mixture-of-experts netwerk gebruikt voor adaptieve feature selectie.
   • Een Attribute Retrieval Module (ARM) inzet om open-vocabulary settings en attribuutretrieval voor nieuwe klassen te beheren.
3. State-of-the-Art Prestaties: Heeft superieure prestaties aangetoond ten opzien van baseline modellen (bijv. GroundedSAM, LAVT, CRIS) over diverse instructiecomplexiteiten en datasets.

Experimentele Resultaten

• Benchmark Prestaties: Op de ReferEndoscopy dataset behaalde AR-ERIS state-of-the-art resultaten. De "medium" variant (voorgetraind met 3 attributen) bereikte een mIoU van 73,98% en een DICE van 85,04% op de gehele benchmark, waarmee het baselines zoals LAVT (38,75% mIoU) en GroundedSAM (9,84% mIoU) overtrof.
• Robuustheid tegen Complexiteit: Terwijl baselines voor natuurlijke beelden significante prestatievermindering vertoonden naarmate de instructiecomplexiteit toenam (bijv. van "naïef" naar "hard"), behielden AR-ERIS varianten die op attributen zijn voorgetraind hun robuustheid, met winsten van respectievelijk 2,50% en 1,61% in mIoU voor "medium" en "hard" settings vergeleken met naïeve baselines.
• Generalisatie (Zero-Shot): Op de ongeziene SAR-RARP50 dataset (robot-geassisteerde radicale prostatectomie) behaalde AR-ERIS een 21,32% mIoU (hard variant), wat aanzienlijk beter is dan GroundedSAM (9,25% mIoU). Dit demonstreert het vermogen van het model om te generaliseren naar nieuwe chirurgische domeinen en anatomieën zonder specifieke training.
• Componentanalyse:
  • Dice Loss ($L_{Dice}$): Verbeterde de prestaties op segmentatie van zacht weefsel (bijv. leverligamenten, buikwand).
  • Frequency Loss ($L_{freq}$): Cruciaal voor instrumentsegmentatie, wat enorme IoU-winsten opleverde (bijv. +21,46% voor elektrische haken) door scherpe, hoogfrequente randen te behouden.
  • ARM Module: Maakte effectieve attribuutretrieval mogelijk, wat de mIoU verbeterde van 72,35% naar 74,85% bij de overgang van naïeve naar harde instructie-subsets.

Betekenis

Het artikel stelt dat dit werk een fundamentele aanpak en benchmark vestigt voor vision-language grounding in het medische domein. Door gebruik te maken van attribuutretrieval en frequentie-bewuste feature fusie, adresseert AR-ERIS de specifieke uitdagingen van endoscopische beelden, zoals klasseimbalans, complexe texturen en de noodzaak voor fijnmazige, open-vocabulary segmentatie. De auteurs stellen dat dit framework het potentieel heeft om real-time navigatie te verbeteren en contextbewuste robotische assistentie te bieden tijdens minimaal invasieve procedures, waarbij de stap wordt gezet van statische objectdetectie naar dynamische, instructie-gestuurde chirurgische ondersteuning.