BTI-Net: Bidirectional Decoder-Level Task Interaction via Uncertainty-Aware Gating for Multi-Task Medical Image Analysis

Technische Samenvatting van BTI-Net

Probleemstelling
Huidige Multi-Task Learning (MTL) architecturen voor medische beeldanalyse vertrouwen voornamelijk op encoder-sharing ontwerpen, waarbij een gedeelde feature extractor naar onafhankelijke decoder-heads voert. Hoewel dit efficiënt is, beperkt deze aanpak de cross-task communicatie tot een grove bottleneck, waardoor waardevolle signalen permanent verloren gaan zodra de decoders uiteenlopen. Specifiek genereren segmentatietaken precieze randinformatie die classificatie kan disambigueren, terwijl classificatietaken globale semantische priors kunnen accumuleren die ambigue ruimtelijke regio's kunnen oplossen. Bestaande decoder-interactiemethoden (bijv. MTI-Net, DenseMTL) proberen deze kloof te overbruggen, maar lijden onder twee kritieke beperkingen: ze propageren informatie vaak unidirectioneel of passen vaste, per-sample blending-gewichten toe. Deze vaste strategieën houden geen rekening met de inherente variabiliteit in medische beeldvorming, waarbij de betrouwbaarheid van cross-task interactie aanzienlijk fluctueert op basis van pathologietype, beeldvormingscondities en laesiemorfologie. Bovendien brengen veel bestaande interactiemechanismen hoge computationele kosten met zich mee of vereisen ze externe annotaties om zich aan te passen aan de moeilijkheidsgraad van een sample.

Methodologie
Het voorgestelde BTI-Net framework adresseert deze beperkingen door bidirectionele communicatie op elk decoderniveau te vestigen, gereguleerd door een adaptief gating-mechanisme. De architectuur breidt een EfficientNet-B4 encoder uit met twee primaire componenten:

1. Task Interaction Modules (TIM):
   TIM faciliteert bidirectionele informatiestroom over vier decoderresoluties ($D_1$ tot $D_4$), progressief van grove semantiek naar fijne randdetails.

   • Seg$\to$Clf Pathway: De door de decoder herstelde ruimtelijke randcontext wordt via een gated residual geïnjecteerd in de classificatievector. Een 1$\times$1 convolutie reduceert de decoderkaart, gevolgd door global average pooling en een geleerde projectie om een ruimtelijke samenvatting te genereren. Dit wordt gegated door een sigmoid functie om relevante cues per sample te selecteren.
   • Clf$\to$Seg Pathway: Globale semantische priors van de classificatie-tak moduleren de decoder feature map multiplicatief. De classificatievector wordt geprojecteerd naar de kanaalruimte van de decoder en gecombineerd met een self-gate afgeleid van de decoder features om alleen kanalen te versterken die consistent zijn met de semantische prior.
   • Beide pathways opereren parallel op pre-interactie features om dubbeltelling te voorkomen, waarbij verfijnde features progressief door de decoder stack propageren.

2. Uncertainty Proxy Attention (UPA):
   In het besef dat cross-task interactie niet uniform voordelig is (bijv. bij lage contrast of ambigue inputs), introduceert UPA een per-instance, per-level adaptieve gate.

   • Onzekerheidssignalen: UPA maakt gebruik van drie interpreteerbare signalen die worden afgeleid zonder externe annotaties of extra inference passes:
     1. Cross-task alignment ($a_\ell$): Meet de cosine similarity tussen de latente verschuivingen van beide takken.
     2. Segmentation gradient energy ($E_{seg}$): Legt scènecomplexiteit vast via de gemiddelde absolute ruimtelijke gradiënt van de decoder kaart.
     3. Classification activation spread ($E_{clf}$): Maakt onderscheid tussen zelfverzekerde en onzekere voorspellingen met behulp van de log-variantie van de classificatievector.
   • Adaptieve Gating: Een twee-laagse MLP brengt deze signalen in kaart naar onafhankelijke sigmoid gewichten ($w_{seg}, w_{clf}$) voor elke taak. In tegenstelling tot softmax maken onafhankelijke sigmoids het mogelijk dat beide taken simultaan worden verbeterd wanneer interactie betrouwbaar is.
   • Training: De gates worden getraind met behulp van een difficulty-aware auxiliary loss ($L_{gate}$) die de gate gewichten afstemt op de per-sample taakprestaties (afgeleid van soft-IoU en voorspellingsvertrouwen), waardoor de gate leert de interactie op moeilijke samples te onderdrukken.

Kernbijdragen

1. TIM: Een nieuw bidirectioneel decoder-level interactiemechanisme dat verfijnde ruimtelijke features en semantische priors propageert over alle vier de decoderresoluties via kanaal-gewijze gated operaties.
2. UPA: Een per-instance, per-level adaptieve gating strategie gedreven door drie interpreteerbare uncertainty proxies. Het maakt dynamische interactie-sterkte mogelijk zonder externe annotaties of de overhead van Bayesian sampling.
3. Cross-Modality Validatie: Uitgebreide evaluatie op drie diverse medische benchmarks (echografie, dermoscopie en hersen-MRI), inclus inclusief de eerste decoder-interactie MTL evaluatie op de BRISC dataset.

Experimentele Resultaten
Het framework werd geëvalueerd op drie publieke benchmarks: BUSI (borst echografie), HAM10000 (dermoscopie) en BRISC (hersen MRI).

• Prestaties: BTI-Net presteerde consistent beter dan zowel encoder-sharing baselines (bijv. MTAN, MTANet) als eerdere decoder-interactiemethoden (bijv. MTI-Net, DenseMTL).
  • Op BUSI behaalde het een segmentatie IoU van 74,50% en een classificatie nauwkeurigheid van 93,16%.
  • Op HAM10000 bereikte het 89,80% IoU en 87,84% nauwkeurigheid.
  • Op BRISC behaalde het een 76,74% IoU en een classificatie nauwkeurigheid van 99,10%.
• Ablatie Studies:
  • Adaptieve gating (UPA) droeg een extra +2,36 IoU bij ten opzichte van vaste bidirectionele interactie.
  • Het volledige model verbeterde de classificatie nauwkeurigheid met tot wel +2,26 punten ten opzichte van de sterkste multi-task baseline.
  • Het verwijderen van de difficulty-aware regularisatie veroorzaakte een daling van -0,53 IoU, wat de noodzaak van directe supervisie op de moeilijkheidsgraad bevestigt.
• Effectiviteit van Uncertainty Proxies: UPA diende als een betrouwbaar single-pass failure signaal. Op de BUSI dataset presteerden de gate gewichten beter dan 30-pass Monte Carlo Dropout in zowel AUC-ROC als AUPRC voor de detectie van segmentatie-fouten.

Significantie en Claims
Het artikel claimt dat BTI-Net een kritieke kloof in medische beeldanalyse dicht door cross-task verfijning mogelijk te maken tijdens de ruimtelijke reconstructiefase, een fase die voorheen werd genegeerd door encoder-sharing modellen. De significantie ligt in de demonstratie dat adaptieve, bidirectionele interactie superieur is aan vaste of unidirectionele benaderingen, met name in heterogene medische datasets waar pathologie en beeldvormingscondities sterk variëren. De auteurs benadrukken dat hun methode complementaire taaksignalen (rand cues en semantische priors) extraheert zonder de computationele overhead van stochastische sampling of de noodzaak van externe moeilijkheidsgraad annotaties. De resultaten suggereren dat decoder-level interactie, wanneer gegated door instance-specifieke onzekerheid, zowel de segmentatieprecisie als de classificatierobustheid over meerdere beeldvormingsmodaliteiten aanzienlijk kan verbeteren.