HypCBC: Domain-Invariant Hyperbolic Cross-Branch Consistency for Generalizable Medical Image Analysis

Sintesi Tecnica: HypCBC

Problematica
Le reti neurali profonde affrontano sfide significative nel generalizzare oltre le distribuzioni di addestramento, un problema critico nell'analisi delle immagini mediche dove la scarsità di dati e i cambiamenti di covariata (derivanti da diversi hardware, protocolli di imaging e popolazioni di pazienti) ostacolano un dispiegamento clinico affidabile. I rimedi esistenti si affidano spesso all'apprendimento di rappresentazioni euclidee, che assume una geometria piatta che non riesce a catturare le complesse strutture gerarchiche intrinseche nei dati clinici. Inoltre, le reti iperboliche end-to-end, pur essendo teoricamente adatte per dati gerarchici, hanno storicamente sofferto di instabilità numerica e ridotta efficienza di addestramento su grandi dataset.

Metodologia
Gli autori propongono HypCBC (Hyperbolic Cross-Branch Consistency), un framework che sfrutta i manifold iperbolici per una robusta generalizzazione del dominio senza richiedere etichette di dominio. Il metodo opera su un backbone euclideo pre-addestato e congelato (es. ViT) e introduce una strategia di proiezione iperbolica leggera:

1. Proiezione Iperbolica: Invece di addestrare una rete iperbolica end-to-end, il metodo proietta gli embedding euclidei da un backbone congelato in un modello di sfera di Poincaré ($D^d_c$) utilizzando una mappa esponenziale. Ciò combina la stabilità delle caratteristiche euclidee pre-addestrate con i vantaggi geometrici dello spazio iperbolico (curvatura negativa costante).
2. Architettura a Due Rami: L'architettura impiega due rami paralleli:
   • Ramo ad Alta Dimensionalità ($d_1=128$): Cattura caratteristiche specifiche per classe e a grana fine per l'inferenza.
   • Ramo a Bassa Dimensionalità ($d_2=2$): Agisce come un collo di bottiglia informativo. L'analisi empirica suggerisce che questo spazio a bassa dimensionalità impone naturalmente l'invarianza del dominio, scartando il rumore specifico del dominio pur mantenendo l'informazione discriminante per le etichette.
3. Cross-Branch Consistency (CBC): Viene introdotta una nuova regolarizzazione di consistenza non supervisionata. I logit dal ramo a bassa dimensionalità (invariante rispetto al dominio) supervisionano il ramo ad alta dimensionalità tramite una perdita di divergenza di Kullback–Leibler (KL). Questo trasferisce la conoscenza agnostica rispetto al dominio al ramo principale di inferenza senza fare affidamento sull'addestramento avversario o su esplicite etichette di dominio.
4. Obiettivo di Addestramento: La perdita totale combina le perdite di cross-entropy per entrambi i rami e la perdita di consistenza, pesata da un iperparametro $\lambda$.

Contributi Chiave

• Validazione Esaustiva dell'Apprendimento Iperbolico: Il documento fornisce la prima estesa validazione dell'apprendimento di rappresentazioni iperboliche per l'imaging medico, dimostrando miglioramenti statisticamente significativi rispetto ai baseline euclidei su undici dataset in-distribution che spaziano tra nove modalità di imaging, dimensioni dei campioni da $10^2$ a $10^5$ e diverse granularità delle etichette.
• Generalizzazione del Dominio Non Supervisionata: L'introduzione di HypCBC, una strategia a due rami con consistenza invariante rispetto al dominio, che supera i metodi euclidei allo stato dell'arte (inclusi quelli basati su augmentation e approcci di minimizzazione del rischio invariante) su tre benchmark di generalizzazione del dominio.
• Approfondimenti dall'Ablazione: Lo studio rivela che un ramo a bassa dimensionalità 2D bilancia efficacemente l'invarianza del dominio con la discriminazione delle etichette. Inoltre, dimostra che i guadagni di robustezza sono dovuti alle proprietà geometriche del manifold iperbolico e al vincolo di consistenza, piuttosto che a un semplice aumento del numero di parametri.

Risultati Sperimentali

• Performance In-Distribution (ID): Attraverso tre modelli ViT (ViT-S, DeiT3-S, DINOv2-S) e undici dataset medici, i classificatori iperbolici (HypERM) hanno costantemente superato i classificatori euclidei (ERM). I guadagni sono statisticamente significativi ($p < 0.05$), con miglioramenti notevoli sui dataset OCT (+2.70%), Path (+1.48%) e Tissue (+1.36%) utilizzando DINOv2.
• Generalizzazione del Dominio (DG): Su tre benchmark — Fitzpatrick17k (dermatologia), Camelyon17-WILDS (istopatologia) e un setup di imaging retinico cross-dataset — HypCBC ha ottenuto le migliori prestazioni.
  • Ha superato il miglior metodo euclideo (AugMix) di +0.68% sul test set della Retina.
  • Ha ottenuto un miglioramento medio di +2.1% AUC attraverso i tre benchmark DG rispetto ai baseline euclidei.
  • A differenza di metodi come VREx, HypCBC ottiene questi guadagni in modo completamente non supervisionato, senza accesso alle etichette di dominio durante l'addestramento.
• Risultati dell'Ablazione:
  • Dimensionalità: Un collo di bottiglia 2D ha fornito la più forte invarianza del dominio (AUC di classificazione del dominio più bassa) mantenendo un'alta discriminazione delle etichette. Gli embedding iperbolici hanno mantenuto i guadagni di accuratezza delle etichette fino a $d=128$, mentre gli embedding euclidei hanno raggiunto un plateau.
  • Consistenza: La regolarizzazione della consistenza cross-branch ha prodotto guadagni positivi di AUC in tutti i dataset e le dimensioni del collo di bottiglia nello spazio iperbolico, mentre la consistenza euclidea ha prodotto risultati disomogenei o negativi.

Significatività e Rivendicazioni
Gli autori affermano che HypCBC offre un'alternativa "semplice ma potente" per costruire sistemi di IA medica robusti. Il lavoro evidenzia come la curvatura negativa costante dei manifold iperbolici rispecchi naturalmente le strutture gerarchiche dei dati clinici, una caratteristica che la geometria euclidea piatta non può catturare. Proiettando le caratteristiche euclidee pre-addestrate in uno spazio iperbolico e imponendo la consistenza tra i rami, il metodo garantisce un addestramento stabile e una superiore generalizzazione a domini non visti. Il documento sottolinea che questi miglioramenti non sono artefatti di un aumento della capacità del modello, ma sono intrinseci alla geometria iperbolica e al proposto vincolo di consistenza.

Limitazioni
Gli autori notano che l'attuale implementazione utilizza un parametro di curvatura statico ($c=1.0$) e un backbone congelato. Suggeriscono che una curvatura apprendibile o l'affinamento (fine-tuning) del backbone potrebbero migliorare ulteriormente le prestazioni, ma a costo di una maggiore complessità. Inoltre, il metodo è attualmente valutato solo su compiti di classificazione multi-classe a etichetta singola, sebbene il meccanismo di consistenza a livello di logit sia concettualmente estendibile a contesti multi-label.