TAMISeg: Text-Aligned Multi-scale Medical Image Segmentation with Semantic Encoder Distillation

Probleemstelling

Medische beeldsegmentatie blijft een uitdagend probleem vanwege drie hoofdfactoren:

1. Beperkte fijnkorrelige annotaties: Het verkrijgen van pixel-precieze labels in klinische settings is kostbaar en vereist veel expertise.
2. Complexe anatomische structuren: Ziektehaarden variëren sterk in grootte en vorm, wat leidt tot problemen bij het detecteren van zowel kleine laesies als grote gebieden.
3. Beelddegradatie: Medische beelden lijden vaak onder ruis, lage contrasten en variaties in verlichting, wat de prestaties van visuele modellen aantast.

Bestaande methoden vertrouwen vaak uitsluitend op visuele informatie (unimodaal) of gebruiken uniforme decoderingsmechanismen die de schaalvariatie van anatomische structuren negeren. Hoewel tekstgeleide methoden (multimodaal) beloftevol zijn, kampen ze vaak met beperkte semantische discriminatievermogen en inefficiënte decoders die kleine laesies missen.

Methodologie: TAMISeg

De auteurs stellen TAMISeg voor, een tekstgeleid raamwerk dat klinische taalprompts gebruikt als aanvullende semantische aanwijzingen. Het model volgt een tweefasige architectuur:

1. Fase I: Consistentie-bewuste Pretraining (Consistency-Aware Encoder - CAE)

Om robuustheid tegen beelddegradatie te garanderen, wordt de encoder (gebaseerd op ResNet-50) vooraf getraind met sterke data-perturbaties (bijv. helderheidsaanpassingen, ruis, grijsconversie).

• Doel: Het leren van invariantie in features.
• Methode: Het model wordt getraind om consistente voorspellingen te doen voor zowel het originele beeld als een verstoord versie, gebruikmakend van een hybride verliesfunctie (Binary Cross-Entropy + Dice) en een symmetrische consistentieverliesfunctie.

2. Fase II: Cross-modale Fine-tuning

In deze fase worden de features verrijkt en uitgelijnd met tekst:

• Semantische Encoder Distillatie (SED): Een bevroren DINOv3-model fungeert als een "leraar" om de features van de encoder te distilleren. Dit verbetert de semantische discriminatievermogen van de multi-scale features door ze te aligneren met de rijke, zelf-supervised representaties van DINOv3.
• Cross-modale Uitlijning (CMA): De verrijkte visuele features worden uitgelijnd met klinische tekstprompts die zijn ingebed door een bevroren CXR-BERT model. Via cross-attention mechanismen worden tekstuele semantische cues in de visuele hiërarchie geïnjecteerd.
• Schaal-Adaptieve Decoder (SAD): In plaats van één decoder, gebruikt TAMISeg drie parallelle decoders die zijn gespecialiseerd voor kleine, middelgrote en grote anatomische structuren. Deze branches verwerken uitgelijnde features op verschillende schalen en fusioneren deze via attention-mechanismen (ECA en PSA) om nauwkeurige segmentaties te genereren voor uiteenlopende laesiegroottes.

Belangrijkste Bijdragen

1. TAMISeg Framework: Een nieuw tekstgeleid raamwerk dat klinische taal gebruikt om de afhankelijkheid van dichte pixel-annotaties te verminderen en het visuele begrip te verrijken.
2. Semantische Encoder Distillatie (SED): Een innovatieve module die een bevroren DINOv3-leraar gebruikt om de semantische kwaliteit van multi-scale encoder-features te verbeteren vóór de tekstuitlijning.
3. Schaal-Adaptieve Decoder (SAD): Een decoderarchitectuur met gespecialiseerde takken voor verschillende anatomische maten, wat de nauwkeurigheid voor zowel kleine als grote structuren aanzienlijk verbetert.

Resultaten

De prestaties van TAMISeg zijn geëvalueerd op drie benchmarks: Kvasir-SEG, MosMedData+ en QaTa-COV19.

• Kwantitatieve Prestaties: TAMISeg overtreft consequent zowel state-of-the-art unimodale (zoals U-Net++, nnU-Net, TransUNet) als multimodale methoden (zoals LanGuideSeg, ProLearn).
  • Op Kvasir-SEG bereikte het een Dice-score van 91,59% en een mIoU van 84,11%, wat een verbetering is ten opzichte van de beste concurrenten.
  • Het model presteert ook superieur op de andere datasets, met name in scenario's met lage contrasten en variërende laesiegroottes.
• Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat TAMISeg nauwkeurigere en completere segmentaties levert, met minder over- en ondersegmentatie, vooral bij kleine laesies die door andere modellen vaak worden gemist.
• Ablatiestudies: Experimenten bevestigen dat elk component (CAE, CMA, SED, SAD) een positieve bijdrage levert aan de totale prestaties, waarbij de combinatie van alle modules het beste resultaat oplevert.

Betekenis en Impact

TAMISeg adresseert kritieke beperkingen in de huidige medische beeldanalyse:

• Efficiëntie: Door gebruik te maken van bestaande klinische rapporten als tekstprompts, vermindert het de noodzaak voor extra, kostbare pixel-annotaties.
• Robuustheid: De combinatie van consistentie-bewuste pretraining en distillatie maakt het model zeer weerbaar tegen beeldkwaliteitsproblemen die veel voorkomen in de kliniek.
• Veelzijdigheid: De schaal-adaptere decoder lost het probleem op van het segmenteren van structuren met sterk variërende maten, wat essentieel is voor een breed scala aan medische toepassingen.

Samenvattend biedt TAMISeg een robuust, nauwkeurig en schaalbaar raamwerk dat de integratie van visuele en tekstuele informatie in de medische beeldsegmentatie significant vooruitbrengt.