Riepilogo Tecnico: SLAM-AGS

1. Definizione del Problema

La citologia computazionale affronta due sfide critiche che ostacolano l'applicazione del deep learning per la rilevazione del cancro:

1. Etichette di istanza inaffidabili e costose: Ottenere annotazioni esaustive a livello di patch per le immagini Whole Slide (WSI) da gigapixel è proibitivamente costoso. Di conseguenza, l'addestramento completamente supervisionato è spesso impraticabile.
2. Tasso di testimonianza estremamente basso: Nelle WSI citologiche, il rapporto tra patch positive (che contengono cellule anormali) e patch totali è spesso inferiore all'1%. A tali bassi tassi di testimonianza, i metodi debolmente supervisionati standard (che si affidano esclusivamente alle etichette a livello di slide) sono dominati da istanze negative. Ciò porta al overfitting, a una scarsa generalizzazione verso i positivi rari e al collasso del modello, in cui il modello non riesce a distinguere i bag positivi da quelli negativi.

Sebbene l'Apprendimento Multi-Istanza (MIL) sia una soluzione standard per la etichettatura a livello di slide, esso fatica quando la discriminazione a livello di istanza è debolmente supervisionata e i segnali positivi sono sparsi. Inoltre, gli esistenti metodi di pre-addestramento multi-task che combinano obiettivi auto-supervisionati e debolmente supervisionati soffrono spesso di conflitti di gradiente, destabilizzando l'addestramento e limitando i benefici della supervisione debole.

2. Metodologia: SLAM-AGS

Gli autori propongono SLAM-AGS (Slide-Label Aware Multi-task pretraining using Adaptive Gradient Surgery), un framework progettato per ottimizzare congiuntamente l'apprendimento delle rappresentazioni sia per le patch slide-negative che per quelle slide-positive, stabilizzando al contempo il processo di addestramento.

2.1. Obiettivi di Pre-addestramento Multi-Task

Il framework adatta l'approccio WeakSupCon, trattando le patch in base alle loro etichette a livello di slide:

• Patch Slide-Negative (Similarità Supervisionata): Le patch provenienti da slide sane (negative) sono trattate come aventi un'etichetta negativa nota e condivisa. Il modello ottimizza una Loss di Similarità derivata dalla perdita di Contrasto Supervisionato (SupCon) per incoraggiare una rappresentazione compatta di queste istanze negative nello spazio delle caratteristiche.
• Patch Slide-Positive (Contrasto Auto-Supervisionato): Le patch provenienti da slide positive (che possono contenere un mix di cellule normali e anormali) sono trattate come non etichettate. Il modello ottimizza un obiettivo contrastivo SimCLR su queste patch per apprendere caratteristiche visive robuste e prive di etichette.

La perdita totale è la somma di questi due obiettivi: $L = L_{Similarity} + L_{SimCLR}$.

2.2. Chirurgia del Gradiente Adattiva

Per affrontare l'instabilità causata dalla combinazione di obiettivi eterogenei, SLAM-AGS integra la Chirurgia del Gradiente Adattiva basata sull'algoritmo PCGrad:

1. Risoluzione dei Conflitti: Quando la similarità del coseno tra i gradienti dei task è negativa (indicando un conflitto), l'algoritmo proietta il gradiente di ciascun task sul piano normale al gradiente dell'altro task. Questo rimuove l'interferenza distruttiva.
2. Riscalamento del Gradiente: Un'innovazione critica in questo lavoro è il passaggio di riscalamento del gradiente. La proiezione standard può ridurre la magnitudo effettiva del gradiente, rallentando la convergenza. SLAM-AGS calcola la norma del gradiente combinato originale ($\|g_{sum}\|$) e del gradiente proiettato ($\|g_{pc}\|$). Se la norma proiettata è minore, il gradiente viene riscalato per preservare la magnitudo dell'aggiornamento originale:
   $$g_{pc} \leftarrow g_{pc} \cdot \frac{\|g_{sum}\|}{\|g_{pc}\|}$$
   Ciò assicura che, pur rimuovendo le direzioni conflittuali, la scala complessiva del segnale di apprendimento venga mantenuta.

2.3. Pipeline a Valle

L'encoder pre-addestrato viene integrato in un aggregatore Attention-based Multiple Instance Learning (MIL) (specificamente PAMIL). Ciò consente:

• Predizione a livello di bag: Classificazione dell'intera slide (ad esempio, rilevamento della malignità).
• Recupero a livello di istanza: Utilizzo dei punteggi di attenzione per identificare e recuperare le patch più anormali all'interno di un bag positivo.

3. Configurazione Sperimentale

• Dataset: Il dataset di Citologia del Midollo Osseo [14], caratterizzato da WSI colorate con May-Grünwald-Giemsa/Pappenheim.
• Simulazione: Per simulare le impostazioni MIL con tassi di testimonianza controllati, i "Linfociti" (classe maggioritaria) sono stati etichettati come "normali", e sette tipi cellulari minoritari sono stati uniti in una classe "anomala". Le istanze anormali sono state iniettate in bag normali per creare tassi di testimonianza target del 10%, 5%, 1% e 0,5%.
• Baseline: Il metodo è stato confrontato con l'addestramento Debolmente Supervisionato, SimCLR, WeakSupCon e una variante di SLAM-AGS senza riscalamento del gradiente.
• Metriche:
  • Livello Bag: F1-Score.
  • Livello Istanza: Recall@400 (il numero di istanze chiave correttamente identificate tra le prime 400 patch classificate per punteggio di attenzione).

4. Risultati Chiave

Gli esperimenti dimostrano che SLAM-AGS supera significativamente i metodi esistenti, in particolare al diminuire dei tassi di testimonianza:

• Classificazione a Livello di Bag (F1-Score):
  • Ai tassi di testimonianza del 10% e 5%, SLAM-AGS ha ottenuto i punteggi più elevati (rispettivamente 97,1% e 96,0%), superando il Debolmente Supervisionato (53,4%) e WeakSupCon (84,6%).
  • Al tasso di testimonianza dello 0,5%, il vantaggio è stato più pronunciato. SLAM-AGS ha raggiunto il 66,4%, mentre il Debolmente Supervisionato, SimCLR e WeakSupCon sono tutti collassati a prestazioni quasi casuali (~50%).
• Rilevamento a Livello di Istanza (Recall@400):
  • SLAM-AGS ha mantenuto un tasso di rilevamento superiore al 60% attraverso tutti i tassi di testimonianza (ad esempio, 65,3% allo 0,5% WR).
  • I metodi concorrenti (SimCLR, WeakSupCon) sono scesi a livelli quasi casuali (~40-45%) ai bassi tassi di testimonianza, fallendo nell'identificare efficacemente le istanze chiave anormali.
• Studio di Ablazione: La variante "SLAM-AGS w/o rescaling" è stata significativamente peggiore (ad esempio, 46,0% F1 allo 0,5% WR), confermando che la componente di riscalamento del gradiente è essenziale per stabilizzare l'ottimizzazione e preservare i segnali di apprendimento.

5. Significato e Rivendicazioni

L'articolo sostiene che SLAM-AGS fornisce una soluzione robusta per la citologia computazionale dove i segnali positivi sono estremamente sparsi. Il nucleo della significatività risiede nella dimostrazione che:

1. L'Interferenza del Gradiente è un Collo di Bottiglia Primario: Nel pre-addestramento multi-task con etichette positive sparse, i gradienti conflittuali tra gli obiettivi auto-supervisionati e debolmente supervisionati possono destabilizzare l'addestramento.
2. La Chirurgia Adattiva Abilita la Stabilità: Combinando la proiezione del gradiente con il riscalamento che preserva la magnitudo, il framework permette agli obiettivi supervisionati e auto-supervisionati di rinforzarsi anziché interferire tra loro.
3. Performance all'Estrema Sparsità: Il metodo consente un pre-addestramento stabile e una prestazione a valle superiore anche a tassi di testimonianza così bassi come lo 0,5%, un regime in cui i metodi debolmente supervisionati e auto-supervisionati standard falliscono.

Gli autori concludono che mitigare i conflitti di gradiente e riscalare gli aggiornamenti sono critici per un apprendimento di rappresentazione robusto in scenari con scarsa supervisione positiva. Notano che, sebbene il recupero a livello di istanza rimanga stabile, i punteggi F1 a livello di bag degradano ancora leggermente ai tassi di testimonianza più bassi, suggerendo che il lavoro futuro dovrebbe concentrarsi sul miglioramento dell'aggregatore MIL per sfruttare meglio i segnali identificati a livello di istanza.

Riproducibilità: Gli autori hanno rilasciato la loro implementazione completa e il framework di valutazione come open source all'indirizzo https://github.com/Ace95/SLAM-AGS.