Hierarchy-Aware and Anatomy-Guided Learning for Lung Ultrasound Video Classification

Technische Samenvatting: Hiërarchie-bewuste en Anatomie-gestuurde Learning voor Classificatie van Longultrasound-video's

Probleemstelling
Longultrasound (LUS) is een cruciale, stralingsvrije tool aan het bed voor de beoordeling van pulmonaal oedeem bij patiënten met hartfalen of nierinsufficiëntie. Vroege detectie van beeldvormende tekenen, zoals B-lijnen en consolidaties, is essentieel voor tijdige interventie. De automatische analyse van LUS-video's blijft echter uitdagend vanwege speckle-ruis, beeldvormingsartefacten, operator-afhankelijke acquisitievariabiliteit en de inherente moeilijkheid om onderscheid te maken tussen pathologische subtypes. Bestaande deep learning-benaderingen missen vaak een anatomische grondslag, vertrouwen op private datasets met beperkte reproduceerbaarheid, of falen in het benutten van de hiërarchische aard van klinische diagnose (bijv. het onderscheid tussen gezond en pathologisch is verschillend van het onderscheid tussen specifieke pathologieën).

Methodologie
De auteurs stellen een deep learning-framework voor multi-class LUS-video-classificatie voor die twee primaire componenten integreert: hiërarchie-bewuste training en anatomie-gestuurde learning.

1. Framework Architectuur:
   Het systeem verwerkt een videosequentie $X$ van $N$ frames. Een frame-encoder $E(\cdot)$ extraheert latente representaties, die temporeel worden geaggregeerd door een functie $T(\cdot)$ om een video-niveau representatie te vormen. Deze wordt doorgegeven aan een classifier head. De studie evalueert diverse backbones (USFM, HiCo, ResNet-18, ViT-Small) en temporele aggregatiestrategieën (Majority Voting, Mean Pooling, Weighted Pooling, Transformer-gebaseerd).

2. Hiërarchie-bewuste Training:
   In het besef dat het scheiden van gezonde van abnormale gevallen klinisch onderscheidend is van het differentiëren tussen pathologische subtypes, onderzoeken de auteurs drie hiërarchische strategieën:

   • Hard Hierarchical Classification: Twee-fasen strategieën (aparte classifiers voor gezond vs. B-lijnen en gezond vs. consolidaties) en One-vs-All strategieën (drie onafhankelijke classifiers).
   • Soft Hierarchical Training: Een enkel gedeeld model met twee taakspecifieke heads (gezond vs. pathologisch, en pathologie-subtype). Dit maakt gebruik van een samengestelde loss-functie waarbij de binaire loss en de subtype loss worden gewogen ($\lambda_{healthy}$ en $\lambda_{path}$), waarbij de subtype loss alleen wordt toegepast wanneer de sample als pathologisch wordt voorspeld.

3. Anatomie-gestuurde Learning (Mask-Guided Attention):
   Om het gebrek aan anatomische focus in standaardmodellen aan te pakken, introduceren de auteurs een supervisiemechanisme met behulp van pleurale lijn-masks.

   • Data Curatie: Een semi-automatische pipeline met behulp van SAM2 (Segment Anything Model 2) en punt-prompts van clinici werd ontwikkeld om een dataset voor pleurale lijn-segmentatie (147.342 frames) te genereren.
   • Attention Supervision: De methode zet binaire pleurale lijn-masks om in doel [CLS]-naar-patch attention distributies. Een KL-divergentie loss ($L_{mask}$) wordt toegepast op geselecteerde attention heads in specifieke transformer blocks (bijv. Block 8 of Block 12) om de aandacht van het model naar de pleurale lijn en subpleurale regio's te dwingen.

Belangrijkste Bijdragen

• Framework: Een LUS-specifiek video-classificatieframework dat hiërarchie-bewuste doelstellingen combineert met anatomie-gestuurde attention-supervisie.
• Dataset Curatie: Een semi-automatische annotatie-pipeline met behulp van SAM2 die de labeltijd aanzienlijk heeft verminderd, wat resulteerde in een door clinici geannoteerde pleurale lijn-segmentatiedataset afgeleid van de open-access Stanford LUS-dataset.
• Prestaties en Interpreteerbaarheid: Demonstratie van verbeterde multi-class classificatieprestaties en meer gelokaliseerde attention-patronen gefocust op klinisch relevante regio's (pleurale lijn).
• Transfereerbaarheid: Evaluatie op de externe COVID-BLUeS dataset, waarbij een concurrente, parameter-efficiënte adaptatie werd getoond terwijl de pleura-gefocusseerde attention-gedragingen behouden bleven.

Experimentele Resultaten
Het framework werd geëvalueerd op de Stanford LUS-dataset (1.886 video's, 219 patiënten) met behulp van patiënt-niveau vijf-voudige cross-validatie over vier klassen: Gezond, B-lijnen, Consolidaties en Gemengd (B-lijnen + Consolidaties).

• Backbone Selectie: ViT-Small met Transformer-gebaseerde aggregatie presteerde beter dan ultrasound-specifieke pre-trained modellen (USFM, HiCo) en ResNet-18, en behaalde een baseline macro-F1 van 62,8%. De auteurs merken op dat USFM en HiCo, ondanks dat ze getraind zijn op ultrasound-data, onderpresteerden, mogelijk door een mismatch tussen brede multi-organ pretraining en de specifieke doeltaak.
• Impact van Hiërarchie: De "One-vs-All" hiërarchische strategie bereikte de beste hiërarchische prestatie (64,5% macro-F1), wat de detectie van gemengde pathologieën (Class 3) significant verbeterde ten opzichte van flat classificatie. Soft hiërarchische training liet bescheiden winst zien maar overtrof de One-vs-All aanpak niet.
• Impact van Anatomie-gestuurde Learning: Mask-guided attention-supervisie leverde de hoogste gemiddelde macro-F1 van 65,7% (gebruikmakend van Block 8 met 3 gesuperviseerde heads). Deze configuratie verbeterde met name de detectie van Consolidaties (Class 2). Kwalitatieve analyse bevestigde dat de mask-gesuperviseerde modellen attention-maps produceerden die consistenter gefocust waren op de pleurale lijn vergeleken met de diffuse attention van baseline modellen.
• Gecombineerde Aanpak: Het combineren van hiërarchische doelstellingen met anatomie-gestuurde supervisie leverde geen verdere verbeteringen op ten opzichte van de best presterende anatomie-gestuurde setting, wat suggereert dat er potentiële overlappende beperkingen zijn op de gedeelde representatie.
• Transfer Learning: Op de externe COVID-BLUeS dataset demonstreerde het anatomie-gestuurde model een robuuste transfereerbaarheid. Voor COVID-detectie presteerde het finetunen van enkel de temporele aggregator en de classification head (4,41M parameters) beter dan volledige fine-tuning (26,15M parameters) in F1-score (72,9% vs. 71,7%). Cruciaal is dat de transfer-modellen de aandacht gericht op de pleurale lijn behielden, zelfs zonder mask-supervisie tijdens de transferfase.

Betekenis en Claims
Het artikel claimt dat het combineren van klinisch gestructureerde doelstellingen (hiërarchie-bewuste training) met expliciete ruimtelijke sturing (anatomie-gestuurde supervisie) een praktische aanpak biedt voor robuuste en interpreteerbare LUS-video-analyse. De bevindingen suggereren dat:

1. Het expliciet coderen van de diagnostische structuur de pathologische separatie verbetert.
2. Het sturen van de aandacht van het model naar anatomisch relevante regio's (de pleurale lijn) zowel de classificatie-accuratesse als de interpreteerbaarheid verhoogt.
3. Deze methoden de anatomische focus behouden bij het transfereren naar externe datasets, zelfs met parameter-efficiënte adaptatiestrategieën.

De auteurs hanteren een bescheiden toon met betrekking tot statistische significantie, waarbij zij opmerken dat hoewel het mask-gestuurde model een gunstige prestatietrend vertoonde ten opzien van de baseline, het verschil de conventionele statistische significantie ($p=0,0625$) niet bereikte, gegeven de vijf-voudige cross-validatie opzet. Zij erkennen ook beperkingen zoals de matige cohortgrootte, class imbalance en het semi-automatische karakter van de pleurale lijn ground truth.