LoC-Path: Learning to Compress for Pathology Multimodal Large Language Models

1. Il Problema: Sfide delle MLLM in Patologia Digitale

Le Immagini di Vetro Intero (Whole Slide Images - WSI) in patologia digitale presentano dimensioni gigapixel (spesso >10.000x10.000 pixel), che vengono suddivise in migliaia di "patch" o "tile".
I modelli attuali di Multimodal Large Language Models (MLLM) per la patologia affrontano due ostacoli principali:

• Redondanza Estrema: Le feature visive estratte dalle migliaia di tile sono altamente ridondanti sia a livello globale (l'intera slide) che locale (tile vicini).
• Rilevanza del Task Sparsa: Solo una piccola frazione delle regioni della slide è clinicamente rilevante per la diagnosi o la generazione del rapporto. La maggior parte delle patch è irrilevante rispetto al testo di supervisione.
• Costo Computazionale: I metodi esistenti (stile LLaVA) concatenano tutte le feature visive con il testo e applicano l'attenzione su sequenze lunghe. Questo porta a costi di memoria e calcolo proibitivi (complessità quadratica $O((T+L)^2)$), rendendo difficile lo sviluppo e il deployment end-to-end con risorse limitate.

2. Metodologia: LoC-Path

LoC-Path è un framework MLLM efficiente progettato per comprimere le rappresentazioni visive prima della fusione con il modello linguistico, basandosi sul principio che la rilevanza è dipendente dalla query e sparsa. L'architettura si compone di quattro moduli chiave:

A. Riduzione della Redondanza (Pre-Fusione)

1. Sparse Token Merger (STM):
   • Opera localmente sulla griglia 2D delle tile.
   • Fonde le tile adiacenti altamente correlate all'interno di finestre non sovrapposte ($s \times s$) prima dell'elaborazione globale.
   • Riduce la lunghezza della sequenza preservando la diversità del tessuto.
2. Resampler Pre-addestrato con MAE:
   • Sostituisce i pesanti encoder a livello di slide.
   • Utilizza un addestramento Masked Autoencoder (MAE) pre-training. Questo insegna al resampler a "scansionare" l'intera sequenza di token e ricostruire le parti mancanti, costringendolo a catturare informazioni globali senza sovrapporsi al rumore o calcolare semplici medie.
   • Comprime la sequenza ridotta di tile in un insieme compatto di latenti ($L \ll N$).
   • Include termini di regolarizzazione per garantire la diversità dei latenti e la copertura dell'intera slide (evitando che tutti i latenti guardino la stessa regione).

B. Fusione Efficiente e Routing (Post-Compressione)

3. Token Importance Scorer (TIS):
   • Seleziona dinamicamente solo i latenti visivi più rilevanti per la specifica domanda (query) del testo.
   • Utilizza un meccanismo di routing per scegliere i top-$M$ latenti ($M \le L$) basandosi sulla similarità con l'embedding del testo.
   • Viene addestrato tramite distillazione da un "teacher" (l'attenzione del modello completo) senza etichette aggiuntive.
4. Cross-Attention Routing Adapter (CARA):
   • Invece di concatenare tutte le feature visive al testo, CARA inietta solo i $M$ latenti selezionati in alcuni strati decoder dell'LLM tramite cross-attention.
   • Utilizza gate apprendibili per controllare quanto peso dare alle informazioni visive in ogni strato.
   • Vantaggio Computazionale: Riduce la complessità della fusione da $O((T+L)^2)$ a $O(T^2 + TM)$, dove $T$ è la lunghezza del testo e $M$ è il numero di latenti selezionati (molto piccolo).

3. Contributi Chiave

• Caratterizzazione del Regime WSI: Dimostrazione empirica che le WSI hanno una forte ridondanza multi-scala e una rilevanza del task sparsa, invalidando l'assunzione standard di preservare tutti i token visivi.
• Framework Efficiente: Introduzione di LoC-Path, che combina compressione multi-stadio (STM + Resampler MAE) e fusione instradata (TIS + CARA).
• Efficienza End-to-End: Il design permette lo sviluppo e il deployment di MLLM a livello di slide con risorse computazionali limitate, riducendo drasticamente la memoria e i FLOPs senza sacrificare le prestazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come WSI-Bench, Slide-Bench e Path-Bench (basati su TCGA).

• Prestazioni: LoC-Path raggiunge prestazioni competitive o superiori rispetto allo stato dell'arte (es. WSI-LLaVA, SlideChat) su compiti di VQA (Visual Question Answering), classificazione e generazione di rapporti.
  • In particolare, ottiene punteggi superiori in WSI-Precision e WSI-Relevance, metriche cruciali per la rilevanza clinica.
• Efficienza:
  • Memoria: Riduzione del 38.9% nell'uso della memoria di picco durante l'inferenza rispetto alla media dei baseline.
  • Calcolo (FLOPs): Riduzione dell'81.91% nei FLOPs di inferenza.
  • Scalabilità: A differenza di metodi come SlideChat, il tempo di primo token (TTFT) e l'uso di memoria rimangono costanti anche all'aumentare della lunghezza della sequenza visiva, grazie al routing selettivo.
• Analisi Ablativa:
  • Il pre-training MAE è essenziale per evitare che i latenti collassino in una media globale.
  • Il routing TIS e la perdita di ranking migliorano la coerenza tra gli strati e la selezione delle regioni rilevanti.
  • L'iniezione multi-strato di CARA è più efficace rispetto all'uso di un singolo strato di fusione.

5. Significato e Impatto

LoC-Path rappresenta un passo fondamentale verso l'adozione pratica dei MLLM in patologia digitale.

• Democratizzazione: Rende possibile l'addestramento e il deployment di modelli complessi su hardware limitato (es. GPU consumer o cluster più piccoli), rimuovendo la barriera dell'enorme costo computazionale delle WSI.
• Interpretabilità Clinica: Il meccanismo di routing (TIS) allinea naturalmente l'attenzione del modello alle regioni clinicamente rilevanti menzionate nel report, simulando il processo decisionale del patologo che si concentra su aree specifiche.
• Scalabilità Futura: L'approccio "compress-then-route" offre una soluzione scalabile per gestire l'esplosione dei dati in patologia digitale, permettendo di integrare modelli linguistici sempre più grandi senza dover aumentare proporzionalmente le risorse visive.

In sintesi, LoC-Path risolve il collo di bottiglia computazionale delle MLLM per la patologia trasformando il problema da "gestire migliaia di token" a "selezionare e fondere intelligentemente i pochi token rilevanti".