Colony Grounded SAM2: Zero-shot detection and segmentation of bacterial colonies using foundation models

Titolo

Colony Grounded SAM2: Rilevamento e segmentazione zero-shot di colonie batteriche utilizzando modelli fondazione.

1. Il Problema

La rilevazione, il conteggio e la classificazione delle colonie batteriche su piastre di agar sono fondamentali per la diagnostica medica, la valutazione del rischio e la sicurezza alimentare. Tuttavia, il processo manuale è complesso e dispendioso in termini di tempo.
Sebbene l'Intelligenza Artificiale (AI) abbia mostrato risultati promettenti, i modelli tradizionali richiedono dataset specifici etichettati manualmente per ogni compito. La creazione di tali dataset è onerosa in termini di risorse e tempo, limitando l'adozione dell'AI in contesti dove i dati etichettati scarseggiano o sono difficili da ottenere. Esiste quindi un bisogno critico di un metodo robusto che possa operare senza ulteriore addestramento specifico (zero-shot) su diversi tipi di agar e specie batteriche.

2. Metodologia: Colony Grounded SAM2

Gli autori propongono una pipeline di inferenza zero-shot chiamata Colony Grounded SAM2, che combina due potenti modelli fondazione pre-addestrati, adattati al dominio microbiologico:

• Rilevamento (Detection):

  • Viene utilizzato Grounding DINO, un modello di rilevamento "open-vocabulary" basato su transformer visivi pre-addestrati.
  • Poiché Grounding DINO è stato pre-addestrato su immagini naturali e le piastre di agar presentano caratteristiche visive molto diverse, il modello "out-of-the-box" avrebbe prestazioni scarse.
  • Adattamento: Gli autori hanno effettuato un fine-tuning estremamente leggero (una sola epoca) su Grounding DINO utilizzando il dataset AGAR (Annotated Germs for Automated Recognition). Questo approccio mantiene le capacità zero-shot intrinseche del modello mentre lo adatta al dominio specifico.
  • Il modello rileva le colonie e genera bounding box. Per la valutazione, è stato utilizzato un soglia di IoU (Intersection-over-Union) di 0.2 per compensare le etichette di ground truth talvolta imprecise o troppo lasche.

• Segmentazione (Segmentation):

  • Le bounding box generate da Grounding DINO vengono inviate come prompt al Segment Anything Model 2 (SAM2).
  • SAM2 è un modello fondazione progettato per segmentare qualsiasi oggetto in un'immagine.
  • Ipotesi: Poiché SAM2 riceve le coordinate esatte delle colonie da rilevare (tramite le bounding box), non è necessario un ulteriore adattamento al dominio per la segmentazione; il modello sa già dove concentrare l'attenzione.
  • Il risultato è una maschera di segmentazione istanziata per ogni colonia rilevata.

La pipeline è disponibile come codice open-source e i pesi del modello sono condivisi pubblicamente.

3. Dati e Valutazione

Lo studio è stato validato su tre dataset open-access:

1. AGAR: 18.000 foto, 336.442 colonie (5 tipi farmaceutici su agar Tryptic Soy). Usato per il fine-tuning del rilevatore.
2. ADBC: 369 foto, 56.865 colonie (24 specie veterinarie su 4 tipi di agar). Usato per valutare le capacità di rilevamento zero-shot su dati fuori distribuzione (OOD).
3. Hemolysis segmentation: 286 foto con maschere di segmentazione su agar emolitico. Usato per valutare la precisione della segmentazione.

4. Risultati Chiave

• Rilevamento (Dataset ADBC):

  • Il modello Colony Grounded SAM2 ha raggiunto una mAP (mean Average Precision) del 93,1%.
  • Questo risultato supera o è paragonabile a cinque modelli baseline (incluso Colony-YOLO, Faster R-CNN, YOLOv5/v8/v10), che hanno ottenuto mAP tra il 76,5% e il 91,1%.
  • Il modello dimostra una forte capacità di generalizzazione su tipi di colonie e condizioni di imaging non visti durante l'addestramento.

• Segmentazione (Dataset Hemolysis):

  • Il punteggio Dice@Detection (misura la qualità della segmentazione dati le bounding box corrette) è stato di 0,85.
  • Il punteggio Dice complessivo è stato di 0,60. La differenza è attribuita agli errori di rilevamento (alcune colonie centrali molto dense non sono state rilevate), non alla capacità di segmentazione del modello.
  • Un punteggio Dice@Detection di 0,85 indica prestazioni di segmentazione eccellenti, specialmente considerando che il punteggio Dice è penalizzato severamente per gli oggetti piccoli.

• Analisi Qualitativa:

  • Il modello genera bounding box più precise rispetto alle annotazioni umane, specialmente per le colonie piccole, rendendolo ideale come pre-annotatore.
  • Gli errori osservati (es. rilevamento di colonie non target o mancata rilevazione di colonie densamente impacchettate al centro) sono considerati accettabili nel contesto pratico, poiché gli esperti umani tendono a focalizzarsi sulle colonie esterne più distinguibili.

5. Contributi e Significato

• Pipeline Zero-Shot Robusta: Dimostra che è possibile creare un sistema di rilevamento e segmentazione efficace per la microbiologia senza la necessità di raccogliere e etichettare massicci dataset specifici per ogni nuovo compito.
• Efficienza delle Risorse: Riduce drasticamente il tempo e il costo associati alla creazione di dataset di addestramento, permettendo a ricercatori ed esperti di dominio di utilizzare l'AI su dati precedentemente non analizzabili automaticamente.
• Supporto all'Umano: Il sistema non sostituisce l'esperto, ma ne potenzia le capacità agendo come un assistente per l'annotazione preliminare o la classificazione, accelerando i processi di diagnosi e sicurezza alimentare.
• Open Science: La condivisione completa della pipeline e dei pesi del modello favorisce la riproducibilità e l'ulteriore sviluppo nella comunità scientifica.

In conclusione, Colony Grounded SAM2 rappresenta un passo significativo verso l'automazione accessibile e robusta in microbiologia, sfruttando la potenza dei modelli fondazione adattati in modo minimale ma efficace.