Parameter-efficient Prompt Tuning and Hierarchical Textual Guidance for Few-shot Whole Slide Image Classification

1. Il Problema: Classificazione Few-Shot su Immagini di Patologia (WSI)

Le Whole Slide Images (WSI) utilizzate in patologia computazionale sono immagini di scala gigapixel. Per renderle gestibili computazionalmente, vengono solitamente suddivise in piccole patch chiamate "istanze".
Il problema centrale affrontato è la classificazione WSI con supervisione debole e pochi esempi (FSWC - Few-shot Weakly Supervised Classification):

• Costo delle annotazioni: Ottenere annotazioni a livello di istanza (cellula o regione specifica) è estremamente costoso e richiede esperti. Si dispone quindi solo di etichette a livello di vetrino (slide-level).
• Scarsità di dati: In contesti clinici reali, i dati etichettati sono scarsi, specialmente per malattie rare, rendendo necessari framework few-shot (pochi esempi per classe).
• Limiti dei modelli attuali (VLM): I recenti Modelli Vision-Language (VLM) pre-addestrati (come CLIP o CONCH) offrono buone prestazioni, ma presentano due difetti critici quando applicati alle WSI:
  1. Overhead computazionale: I metodi di prompt tuning esistenti (es. CoOp con cross-attention) aumentano drasticamente il numero di parametri addestrabili e il costo di inferenza.
  2. Filtraggio rigido delle istanze: Molti metodi scartano le istanze con bassa allineamento agli embedding testuali per risparmiare risorse. Questo approccio "hard filtering" può eliminare regioni clinicamente rilevanti ma non perfettamente descritte dal testo, portando a una perdita di informazioni critica in scenari few-shot.

2. Metodologia: Il Framework HIPSS

Gli autori propongono HIPSS (Hierarchical textual guidance based WSI representation learning and Prompt tuning with Scaling and Shifting features), un approccio basato su due pilastri principali:

A. Prompt Tuning Efficiente (Scaling and Shifting Features - SSF)

Invece di utilizzare meccanismi di cross-attention costosi o di addestrare vettori di contesto complessi (come in CoOp), HIPSS introduce un metodo di prompt tuning parametricamente efficiente nel codificatore testuale:

• Meccanismo: Vengono introdotti parametri scalabili ($\gamma$) e di spostamento ($\beta$) su un sottoinsieme di strati del codificatore testuale pre-addestrato.
• Trasformazione: Le feature $x$ vengono trasformate in $y$ tramite la formula: $y = \gamma \cdot x + \beta$.
• Vantaggi:
  • Adatta le distribuzioni delle feature pre-addestrate al dominio delle WSI con un numero minimo di parametri.
  • Zero overhead di inferenza: I parametri possono essere fusi nel modello tramite re-parameterization, rendendo l'inferenza veloce quanto il modello originale.

B. Apprendimento della Rappresentazione con Guida Testuale Gerarchica (Soft)

Per gestire la struttura gerarchica intrinseca delle WSI (Vetrino $\to$ Regioni $\to$ Istanze) senza perdere dati:

• Struttura Gerarchica: Ogni WSI viene divisa in regioni (es. 4096x4096 px), e ogni regione in istanze (256x256 px).
• Guida Testuale "Soft": Invece di filtrare rigidamente le istanze, il sistema utilizza gli embedding testuali (generati da LLM descrittivi delle caratteristiche visive della patologia) per rifinire i pesi di attenzione.
  • Viene calcolata la similarità coseno tra l'embedding dell'istanza/regione e l'embedding testuale.
  • Se la similarità è alta, il peso viene amplificato; se è bassa ma positiva, viene mantenuto con un peso lineare; se negativa, viene soppressa.
  • Questo meccanismo permette di preservare istanze "incerte" ma potenzialmente informative, evitando la perdita di dati diagnostici.
• Pooling: Due blocchi di attention pooling aggregano le istanze in rappresentazioni di regione, e le regioni in una rappresentazione finale della slide.

C. Strategia di Addestramento

Il modello viene addestrato utilizzando una loss di apprendimento contrastivo che avvicina le coppie immagine-testo corrispondenti nello spazio degli embedding e allontana quelle non corrispondenti, ottimizzando simultaneamente il codificatore visivo (fissato) e i parametri SSF del codificatore testuale.

3. Contributi Chiave

1. Nuovo metodo di Prompt Tuning: Introduzione dell'approccio SSF (Scaling and Shifting) nel codificatore testuale, che riduce drasticamente i parametri addestrabili rispetto alle tecniche basate su cross-attention.
2. Strategia di Guida Testuale Gerarchica Soft: Un metodo di apprendimento della rappresentazione che sfrutta la struttura gerarchica delle WSI e guida l'attenzione tramite testo senza eliminare istanze (no hard filtering).
3. Performance Superiori: HIPSS supera sistematicamente gli stati dell'arte (SOTA) su tre dataset oncologici (mammella, polmone, ovaio) in scenari few-shot (da 1 a 16 esempi).
4. Efficienza Computazionale: Riduzione significativa dei parametri addestrabili e del tempo di inferenza.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset pubblici: Camelyon16 (cancro al seno), TCGA-Lung (cancro al polmone) e UBC-OCEAN (cancro ovarico).

• Accuratezza (AUC):
  • Camelyon16: Miglioramenti fino al 10.9% rispetto al metodo SOTA precedente nello scenario 4-shot.
  • TCGA-Lung: Miglioramenti fino al 7.8% (4-shot).
  • UBC-OCEAN: Miglioramenti fino al 13.8% nello scenario 1-shot (il più critico).
• Efficienza dei Parametri:
  • Riduzione del 18.1% dei parametri addestrabili rispetto al metodo SOTA più efficiente (TOP) su dataset di seno e polmone.
  • Riduzione del 5.8% sul dataset ovarico.
• Tempo di Inferenza: Riduzione del 12.6% del tempo di inferenza per vetrino rispetto a ViLa-MIL.
• Localizzazione del Tumore: Nonostante sia addestrato solo per la classificazione, HIPSS dimostra eccellenti capacità di localizzazione del tumore (supervisione debole), ottenendo un coefficiente Dice di 0.732 su Camelyon16, superando di gran lunga i metodi MIL convenzionali e few-shot (es. TOP: 0.203).

5. Significato e Impatto

Il lavoro di HIPSS è significativo perché risolve il compromesso tra efficienza computazionale e prestazioni nell'ambito della patologia digitale few-shot.

• Superamento dei limiti attuali: Dimostra che non è necessario un addestramento massiccio o un filtraggio aggressivo dei dati per ottenere alte prestazioni con pochi esempi.
• Robustezza Clinica: La capacità di mantenere informazioni "ambigue" tramite la guida testuale soft rende il modello più robusto e affidabile per la diagnosi, riducendo il rischio di ignorare regioni tumorali sottili.
• Scalabilità: La ridotta complessità parametrica e l'assenza di overhead di inferenza rendono HIPSS una soluzione praticabile per l'integrazione in ambienti clinici reali con risorse limitate.

In sintesi, HIPSS rappresenta un avanzamento fondamentale nell'adattamento dei modelli Vision-Language alla patologia computazionale, offrendo un framework scalabile, preciso ed efficiente per la diagnosi assistita da AI con dati limitati.