DC-ViT: Modulating Spatial and Channel Interactions for Multi-Channel Images

1. Il Problema

L'addestramento e la valutazione di encoder visivi su dati di Imaging Multi-Canale (MCI) presentano sfide fondamentali dovute all'eterogeneità delle configurazioni dei canali. A differenza delle immagini naturali standardizzate a 3 canali (RGB), le immagini MCI (usate in microscopia, telerilevamento, ecc.) possono avere un numero arbitrario di canali con semantica specifica che dipende dal protocollo di acquisizione (es. colorazioni diverse, sensori spettrali).

Le architetture attuali, come i Multi-Channel Vision Transformers (MC-ViT), affrontano questo problema trattando tutti i token di tutti i canali come un'unica sequenza lunga e applicando un meccanismo di attenzione condivisa. Tuttavia, questo approccio presenta due limiti critici:

1. Diluizione delle caratteristiche: L'interazione illimitata tra tutti i token (spaziali e di canale) tende a omogeneizzare le caratteristiche, diluendo le informazioni semantiche specifiche di ciascun canale, che sono spesso cruciali per l'interpretazione biologica o fisica.
2. Mancanza di controllo: Non esiste un controllo esplicito su come le informazioni tra i canali vengono integrate, portando a un "collasso informativo" dove la diversità dei canali viene persa.

2. Metodologia: DC-ViT

Gli autori propongono il Decoupled Vision Transformer (DC-ViT), un'architettura progettata per regolare esplicitamente lo scambio di informazioni tra i canali, preservando la diversità semantica. DC-ViT si basa su due componenti principali:

A. Decoupled Self-Attention (DSA)

Invece di applicare un'attenzione congiunta su tutta la sequenza di token (lunghezza $C \times N$), la DSA scompone l'aggiornamento dei token in due percorsi complementari:

• Aggiornamento Spaziale ($Attn_{sp}$): Aggrega informazioni tra le diverse posizioni spaziali ($N$) all'interno dello stesso canale. Questo rafforza le caratteristiche specifiche del canale.
• Aggiornamento per Canale ($Attn_{ch}$): Aggrega informazioni tra i diversi canali ($C$) per una data posizione spaziale. Questo permette l'integrazione di informazioni contestuali tra canali.

Questi due percorsi sono combinati tramite un peso scalare apprendibile $\alpha$. Crucially, l'attenzione tra i canali non è applicata in tutti i livelli dell'encoder, ma solo in un sottoinsieme selezionato di livelli $\mathcal{M}$ (es. livelli intermedi). I livelli iniziali elaborano i canali in modo indipendente per catturare caratteristiche a basso livello specifiche, mentre i livelli selezionati permettono uno scambio controllato di informazioni.

B. Decoupled Aggregation (DAG)

Le metodologie esistenti spesso utilizzano un token cls globale o un pooling globale su tutti i token, ignorando l'importanza relativa dei singoli canali. DC-ViT introduce un'aggregazione gerarchica:

1. Pooling Spaziale: Prima si aggregano i token all'interno di ciascun canale (producendo un embedding specifico per canale).
2. Pooling tra Canali: Successivamente, si aggregano gli embedding dei canali per formare la rappresentazione finale.
   Questa struttura permette al modello di imparare l'importanza specifica di ciascun canale per il compito di downstream, adattandosi alla natura eterogenea dei dati MCI.

3. Contributi Chiave

• Separazione delle Interazioni: La prima architettura ViT che separa esplicitamente le interazioni spaziali (intra-canale) da quelle tra canali, mitigando la diluizione delle caratteristiche.
• Regolazione Strutturata: Introduzione di un collo di bottiglia strutturato (tramite i livelli $\mathcal{M}$) che bilancia l'indipendenza dei canali con la necessità di contesto incrociato.
• Aggregazione Gerarchica: Un nuovo schema di pooling che modella esplicitamente il contributo dei canali, superando i limiti del pooling globale standard.
• Efficienza Computazionale: La DSA riduce la complessità computazionale da quadratica rispetto al numero di canali ($O(C^2N^2)$ per l'MSA classica) a quasi lineare ($O(CN^2 + NC^2)$), rendendo il modello più scalabile per dataset con molti canali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark standard MCI: CHAMMI (microscopia), JUMP-CP (microscopia con perturbazioni chimiche) e So2Sat (telerilevamento).

• Prestazioni Superiori: DC-ViT ha mostrato miglioramenti coerenti rispetto agli stati dell'arte (ChAdaViT, ChannelViT, DiChaViT, ChaMAEViT) su tutti i benchmark, sia in termini di punteggio medio che di generalizzazione fuori distribuzione (OOD).
• Transfer Learning: Il modello ha dimostrato una migliore capacità di trasferimento quando inizializzato con encoder pre-addestrati su dati a canale singolo, adattandosi meglio ai compiti MCI rispetto alle architetture esistenti.
• Analisi delle Componenti: Gli studi di ablazione confermano che sia la DSA che la DAG sono essenziali; la rimozione di una delle due componenti porta a un calo significativo delle prestazioni.
• Efficienza: L'analisi della complessità mostra che DC-ViT è significativamente più veloce dell'MSA tradizionale quando il numero di canali ($C$) è elevato, grazie alla riduzione delle operazioni di moltiplicazione matriciale.

5. Significato e Impatto

Il lavoro di DC-ViT è significativo perché affronta la radice del problema nell'elaborazione delle immagini multi-canale: l'assunzione errata che tutti i canali debbano interagire liberamente e indiscriminatamente. Dimostrando che strutturare e regolare le interazioni tra i canali è fondamentale, DC-ViT offre un framework più robusto per dati scientifici complessi dove la semantica dei canali è distinta e non intercambiabile.

Questa architettura non solo migliora le prestazioni nei compiti di classificazione, ma fornisce anche un meccanismo più interpretabile per capire come i diversi canali contribuiscono alla decisione finale, aprendo la strada a modelli più affidabili in campi critici come la diagnostica medica e il monitoraggio ambientale.