HypCBC: Domain-Invariant Hyperbolic Cross-Branch Consistency for Generalizable Medical Image Analysis

Technische Samenvatting: HypCBC

Probleemstelling
Diepe neurale netwerken worden geconfronteerd met aanzienlijke uitdagingen bij het generaliseren buiten de trainingsdistributies, een cruciaal probleem in de medische beeldanalyse waar dataschaarste en covariabele verschuivingen (veroorzaakt door verschillende hardware, beeldvormingsprotocollen en patiëntenpopulaties) betrouwbare klinische inzetbaarheid in de weg staan. Bestaande oplossingen vertrouwen vaak op Euclidische representatieleer, die een vlakke geometrie veronderstelt die de complexe, hiërarchische structuren die inherent zijn aan klinische data niet kan vatten. Bovendien hebben end-to-end hyperbolische netwerken, hoewel ze theoretisch geschikt zijn voor hiërarchische data, historisch gezien te lijden gehad onder numerieke instabiliteit en verminderde trainingsefficiëntie op grote datasets.

Methodologie
De auteurs stellen HypCBC (Hyperbolic Cross-Branch Consistency) voor, een framework dat hyperbolische manifolds gebruikt voor robuuste domeingeneralisatie zonder dat daar domeinlabels voor nodig zijn. De methode werkt op een bevroren vooraf getrainde Euclidische backbone (bijv. ViT) en introduceert een lichtgewicht hyperbolische projectiestrategie:

1. Hyperbolische Projectie: In plaats van een end-to-end hyperbolisch netwerk te trainen, projecteert de methode Euclidische embeddings van een bevroren backbone naar een Poincaré-balmodel ($D^d_c$) met behulp van een exponentiële kaart. Dit combineert de stabiliteit van vooraf getrainde Euclidische kenmerken met de geometrische voordelen van de hyperbolische ruimte (constante negatieve kromming).
2. Twee-takken Architectuur: De architectuur maakt gebruik van twee parallelle takken:
   • Hoog-dimensionale Tak ($d_1=128$): Legt fijnmazige, klasse-specifieke kenmerken vast voor inferentie.
   • Laag-dimensionale Tak ($d_2=2$): Fungeert als een informatiebottleneck. Empirische analyse suggereert dat deze laag-dimensionale ruimte van nature domein-invariantie afdwingt door domein-specifieke ruis te verwijderen terwijl label-onderscheidende informatie behouden blijft.
3. Cross-Branch Consistency (CBC): Een nieuwe ongecontroleerde regularisatiebeperking wordt geïntroduceerd. De logits van de laag-dimensionale (domein-invariante) tak superviseren de hoog-dimensionale tak via een Kullback–Leibler (KL) divergentie-loss. Dit draagt domein-agnostische kennis over aan de hoofd-inferentietak zonder afhankelijk te zijn van adversarial training of expliciete domeinlabels.
4. Trainingsdoelstelling: De totale loss combineert cross-entropy losses voor beide takken, gewogen met een hyperparameter $\lambda$, inclusief de consistentie-loss.

Belangrijkste Bijdragen

• Uitgebreide Validatie van Hyperbolisch Leren: Het artikel biedt de eerste uitgebreide validatie van hyperbolische representatieleer voor medische beeldvorming, waarbij statistisch significante verbeteringen worden aangetoond ten opzichte van Euclidische baselines over elf in-distributie datasets die negen beeldvormingsmodaliteiten, steekproefgroottes van $10^2$ tot $10^5$ en variërende label-granulariteiten beslaan.
• Ongecontroleerde Domeingeneralisatie: De introductie van HypCBC, een twee-takkenstrategie met domein-invariante consistentie, die de prestaties van state-of-the-art Euclidische methoden (inclusclusief augmentatie-gebaseerde en invariant risk minimization benaderingen) overtreft op drie domeingeneralisatie-benchmarks.
• Ablatie-inzichten: De studie onthult dat een 2D laag-dimensionale tak de sterkste domein-invariantie biedt (laagste domein-classificatie AUC) terwijl de label-onderscheidend vermogen behouden blijft. Verder toont het aan dat de winst in robuustheid voortkomt uit de geometrische eigenschappen van de hyperbolische manifold en de consistentie-beperking, en niet louter uit een toename in het aantal parameters.

Experimentele Resultaten

• In-Distribution (ID) Prestaties: Over drie ViT-modellen (ViT-S, DeiT3-S, DINOv2-S) en elf medische datasets presteerden hyperbolische classifiers (HypERM) consequent beter dan Euclidische classifiers (ERM). De winsten waren statistisch significant ($p < 0,05$), met opvallende verbeteringen op OCT (+2,70%), Path (+1,48%) en Tissue (+1,36%) datasets met DINOv2.
• Domeingeneralisatie (DG): Op drie benchmarks—Fitzpatrick17k (dermatologie), Camelyon17-WILDS (histopathologie) en een cross-dataset retina-beeldvormingsopstelling—bereikte HypCBC de beste prestaties.
  • Het overtrof de beste Euclidische methode (AugMix) met +0,68% op de Retina testset.
  • Het behaalde een gemiddelde verbetering van +2,1% AUC over de drie DG-benchmarks vergeleken met de Euclidische baselines.
  • In tegen tegenstelling tot methoden zoals VREx, behaalt HypCBC deze winsten op een volledig ongecontroleerde wijze, zonder toegang tot domeinlabels tijdens de training.
• Ablatie-bevindingen:
  • Dimensionaliteit: Een 2D bottleneck bood de sterkste domein-invariantie (laagste domein-classificatie AUC) terwijl de hoge label-onderscheidend vermogen behouden bleef. Hyperbolische embeddings behielden winsten in label-accuratesse tot $d=128$, terwijl Euclidische embeddings een plateau bereikten.
  • Consistentie: De cross-branch consistentie-regularisatie leverde positieve AUC-winsten op over alle datasets en bottleneck-groottes in de hyperbolische ruimte, terwijl Euclidische consistentie ongelijkmatige of negatieve resultaten produceerde.

Betekenis en Claims
De auteurs beweren dat HypCBC een "eenvoudig maar krachtig alternatief" biedt voor het bouwen van robuuste medische AI-systemen. Het werk benadrukt dat de constante negatieve kromming van hyperbolische manifolds de hiërarchische structuren van klinische data op natuurlijke wijze weerspiegelt, een kenmerk dat vlakke Euclidische geometrie niet kan vatten. Door bevroren Euclidische kenmerken in een hyperbolische ruimte te projecteren en cross-branch consistentie af te dwingen, bereikt de methode een stabiele training en superieure generalisatie naar ongeziene domeinen. Het artikel benadrukt dat deze verbeteringen geen artefacten zijn van een grotere modelcapaciteit, maar intrinsiek zijn aan de hyperbolische geometrie en de voorgestelde consistentie-beperking.

Beperkingen
De auteurs merken op dat de huidige implementatie een statische krommingsparameter ($c=1,0$) en een bevroren backbone gebruikt. Zij suggereren dat leerbare kromming of het finetunen van de backbone de prestaties verder zou kunnen verbeteren, maar dit ten koste gaat van de complexiteit. Daarnaast wordt de methode momenteel alleen geëvalueerd op single-label multi-class classificatietaken, hoewel de logit-level consistentie-mechanisme conceptueel uitbreidbaar is naar multi-label settings.