Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

Sintesi Tecnica: Oltre la Classificazione: Modelli Fondazionali di Patologia come Encoder di Rilevamento per Figure Mitotiche

Problematica
I Modelli Fondazionali (FM) di patologia, come UNI, Virchow e H-Optimus, hanno dimostrato prestazioni elevate in compiti di classificazione a livello di immagine e di patch, sfruttando l'apprendimento auto-supervisionato su vasti dataset istopatologici non etichettati. Tuttavia, la loro utilità nei compiti di rilevamento di oggetti densi rimane incerta. Nello specifico, non è noto se gli spazi latenti di questi FM — addestrati principalmente sulla supervisione a livello di immagine — contengano caratteristiche sufficientemente discriminanti e spazialmente risolte per servire come backbone per il rilevamento di figure mitotiche (MF). Il rilevamento delle MF è un compito critico in oncologia per la stratificazione prognostica, ma richiede una localizzazione spaziale fine invece di una sintesi semantica. Tentativi precedenti di integrare gli FM in pipeline a livello cellulare (ad es., CellViT++) hanno mostrato che le forti rappresentazioni di classificazione non si trasferiscono automaticamente al rilevamento, spesso sottoperformando rispetto a modelli addestrati da zero. Questo studio investiga se i backbone FM congelati possano competere con i baseline convoluzionali completamente addestrati end-to-end per il rilevamento delle MF.

Metodologia
Gli autori hanno condotto una valutazione sistematica confrontando i FM di patologia congelati contro un baseline convoluzionale convenzionale sul dataset multi-dominio MIDOG++ e sul dataset out-of-domain (OOD) TUPAC16.

• Backbone: Sei FM basati su ViT sono stati valutati come estrattori di caratteristiche strettamente congelati: UNI, UNI2-h, Virchow, Virchow2, H-Optimus-0 e H-Optimus-1. Questi sono stati confrontati con due baseline ResNet-50: uno completamente fine-tunnato end-to-end e uno congelato.
• Teste di Rilevamento: Ogni backbone è stato accoppiato con tre distinte architetture di rilevamento che rappresentano diversi paradigmi:
  • Single-stage: RetinaNet
  • Two-stage: Faster R-CNN
  • Set prediction basata su Transformer: Deformable DETR
• Adattamento dell'Architettura: Poiché i backbone ViT producono mappe di caratteristiche a scala singola mentre i rilevatori richiedono gerarchie multi-scala, un collo leggero Feature Pyramid Neck (basato sul design ViTDet) è stato inserito tra il backbone congelato e la testa di rilevamento. Questo collo era l'unica componente apprendibile nelle configurazioni a backbone congelato, responsabile dell'adattamento delle rappresentazioni a scala singola a predizioni dense multi-scala.
• Protocollo di Addestramento: Tutti i modelli sono stati addestrati utilizzando il framework MMDetection con identico data augmentation (flip, trasformazioni affini, jittering della colorazione) e impostazioni di ottimizzazione (AdamW, programmi di apprendimento learning rate cosine/step). Le metriche di valutazione includevano F1 media micro, precisione, recall e l'Area Under the Free-range Operating Characteristic curve (FROC-AUC).

Risultati Chiave
Lo studio ha prodotto le seguenti caratteristiche di prestazione sul test set MIDOG++ e sul set OOD TUPAC16:

1. Competitività dei FM Congelati: La migliore configurazione di FM congelato (H-Optimus-0 con RetinaNet) ha raggiunto un punteggio F1 di 0,7718 su MIDOG++, avvicinandosi strettamente al baseline ResNet-50 completamente fine-tunnato (F1 0,7917). Notevolmente, i FM congelati hanno superato significativamente il baseline ResNet-50 congelato (miglior F1 0,7498), indicando che il vantaggio deriva dal pre-addestramento specifico per la patologia piuttosto che dal mero atto di congelare un backbone.
2. Impatto delle Teste di Rilevamento: Le prestazioni sono variate significativamente in base alla testa di rilevamento. RetinaNet è stata la testa più affidabile, raggiungendo i punteggi F1 più elevati per il baseline ResNet-50, H-Optimus-0 e Virchow. Faster R-CNN e Deformable DETR hanno mostrato risultati più variabili a seconda del backbone.
3. Robustezza Out-of-Domain: Sul dataset TUPAC16, l'ordine delle prestazioni si è invertito. Il miglior F1 complessivo (0,7349) è stato raggiunto da un FM congelato (H-Optimus-0 con RetinaNet), superando la migliore configurazione ResNet-50 (0,7193). Ciò suggerisce che le caratteristiche dei FM congelati possano essere leggermente più robuste ai cambiamenti di dominio rispetto alle reti convoluzionali completamente fine-tunnate addestrate sul dominio di origine.
4. Classifica dei Backbone: Tra gli FM, i modelli H-Optimus (0 e 1) specifici per la patologia hanno generalmente guidato le prestazioni, seguiti da vicino dalla famiglia Virchow. UNI e UNI2-h sono rimasti in coda.

Significatività e Rivendicazioni
Il documento conclude che gli spazi latenti congelati degli attuali FM di patologia sono sufficientemente ricchi e spazialmente risolti da supportare il rilevamento denso di figure mitotiche senza alcuna adattazione specifica del task dei pesi del backbone. Gli autori affermano che:

• L'Informazione Spaziale è Presente: Nonostante siano stati addestrati esclusivamente sulla supervisione a livello di immagine, questi modelli codificano l'informazione spaziale necessaria per localizzare piccoli oggetti come le figure mitotiche, recuperabile tramite un collo e una testa leggeri.
• Robustezza: I FM congelati dimostrano un grado di robustezza ai cambiamenti di dominio che supera quello dei baseline completamente fine-tunnati in questo specifico contesto di rilevamento.
• Implicazioni di Design: Lo studio evidenzia che la scelta della testa e del collo di rilevamento è critica, spesso superando le differenze tra specifici modelli fondazionali.

Gli autori rimangono cauti, notando che questi risultati caratterizzano le informazioni presenti nelle rappresentazioni congelate. Suggeriscono che il fine-tuning con parametri efficienti (ad es., LoRA) potrebbe potenzialmente colmare il gap rimanente rispetto ai modelli addestrati end-to-end, sebbene rimanga una questione aperta se tale adattamento preserverebbe la robustezza osservata out-of-domain. Il lavoro stabilisce che i modelli fondazionali sono backbone validi per compiti di rilevamento denso in patologia, andando oltre il loro ruolo stabilito nella classificazione.