SSeg: Active Sparse Point-Label Augmentation for Semantic Segmentation

1. Il Problema

La segmentazione semantica è fondamentale per l'analisi automatizzata in campi come l'ecologia (es. monitoraggio dei fondali marini o immagini aeree). Tuttavia, l'addestramento di modelli all'avanguardia richiede annotazioni dense a livello di pixel, un processo estremamente costoso, lento e che necessita di esperti (es. biologi marini).
Spesso, i dataset esistenti contengono solo annotazioni sparse (pochi punti etichettati per immagine, come nel progetto CoralNet). L'uso diretto di questi punti limita le prestazioni dei modelli. Le soluzioni esistenti per propagare queste etichette sparse in maschere dense presentano due limiti principali:

1. Campionamento passivo: I punti sono spesso scelti casualmente o su griglie fisse, ignorando il contenuto dell'immagine. Questo porta a trascurare oggetti piccoli o a posizionare punti su regioni ambigue (bordi), riducendo l'efficacia della propagazione.
2. Propagazione imperfetta: I metodi basati su superpixel tendono a perdere dettagli fini, mentre i moderni foundation models (come SAM2) possono soffrire di incoerenza spaziale o non coprire l'intera immagine.

2. Metodologia: Il Framework SSeg

Il paper propone SSeg, un framework interattivo che combina due componenti chiave per trasformare pochi punti etichettati in maschere di segmentazione dense e di alta qualità.

A. Selezione Attiva dei Punti (Active Point Sampling)

Invece di campionare punti casualmente, SSeg utilizza una strategia attiva per guidare l'esperto verso i punti più informativi. La strategia bilancia tre criteri:

1. Prossimità ai centroidi degli oggetti: Utilizza SAM2 per generare maschere candidate e calcola i centroidi. I punti vengono scelti vicino ai centroidi degli oggetti più grandi per evitare bordi ambigui.
2. Copertura spaziale: Unisce una funzione di acquisizione che massimizza la distanza dai punti già etichettati, garantendo una distribuzione uniforme.
3. Inclusione dello sfondo: Una parte del budget di punti (50%) viene selezionata casualmente dalle aree non coperte dalle maschere di oggetti (sfondo o zone a basso contrasto), cruciale per insegnare al modello a distinguere gli oggetti dallo sfondo.

L'algoritmo seleziona dinamicamente i punti massimizzando una funzione di acquisizione $A(p)$ che pesa la vicinanza ai centroidi e la distanza dagli altri punti selezionati.

B. Augmentation delle Etichette (Point Label Augmentation)

Una volta ottenuti i punti etichettati, SSeg utilizza un approccio ibrido per propagarli su tutta l'immagine:

1. Espansione SAM2: Ogni punto viene espanso in una maschera binaria utilizzando SAM2 (Segment Anything Model 2). Questo garantisce bordi di alta qualità e precisione.
2. Risoluzione dei conflitti: Quando le maschere SAM2 si sovrappongono, viene applicato un algoritmo di risoluzione che assegna l'etichetta basandosi sulla vicinanza ai punti sorgente originali, evitando errori di classificazione.
3. Riempimento PLAS: Le regioni non coperte da SAM2 vengono riempite utilizzando PLAS (Point Label Augmentation Strategy), un metodo basato su superpixel. Questo assicura una copertura completa dell'immagine, combinando la precisione dei bordi di SAM2 con la copertura globale dei superpixel.

3. Contributi Chiave

1. Strategia di Campionamento Attivo: Un metodo innovativo che guida l'annotatore verso i punti più utili, superando il campionamento casuale o a griglia.
2. Approccio Ibrido di Propagazione: La combinazione sinergica di SAM2 (per la precisione dei bordi) e metodi basati su superpixel (per la copertura completa), risolvendo i limiti intrinseci di entrambi gli approcci presi singolarmente.
3. Strumento Interattivo: Sviluppo di un tool pratico che integra questi algoritmi, permettendo ai ricercatori ecologici di generare facilmente maschere dense partendo da pochi click.
4. Validazione per l'Addestramento: Dimostrazione che le maschere generate da SSeg possono essere utilizzate per addestrare modelli di segmentazione standard con prestazioni quasi equivalenti all'uso di ground truth completo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset diversificati: UCSD Mosaics (fondali marini, coralli) e SkyScapes (immagini aeree).

• Prestazioni di Segmentazione: SSeg supera gli stati dell'arte (PLAS e D+NN).
  • Su UCSD Mosaics, con 300 punti, SSeg raggiunge un masked-mIoU dell'86.04%, superando D+NN (82.69%) e PLAS.
  • Con soli 25 punti, SSeg mantiene prestazioni superiori rispetto alle controparti, dimostrando robustezza anche con budget di annotazione molto ridotti.
• Efficienza del Campionamento: La strategia "DynamicPoints" di SSeg supera significativamente il campionamento casuale e a griglia, specialmente in scenari complessi dove la distribuzione uniforme non è ottimale.
• Utilità per l'Addestramento (Downstream Training):
  • Addestrando un modello SegFormer-B2 su maschere generate da SSeg (con soli 25 punti), si ottiene il 90% delle prestazioni di un modello addestrato su ground truth completo (61.66% vs 68.51% mIoU).
  • Questo rappresenta una riduzione dell'effort di annotazione di quattro ordini di grandezza (da 262.144 pixel a 25 punti) mantenendo prestazioni quasi ottimali.

5. Significato e Impatto

Il lavoro di SSeg è significativo perché:

• Riduce drasticamente i costi: Permette di ottenere dati di addestramento di alta qualità con un minimo sforzo di annotazione umana, rendendo fattibile il monitoraggio ecologico su larga scala.
• Democratizza l'uso dei Foundation Models: Integra modelli potenti come SAM2 in un flusso di lavoro pratico per domini specifici (ecologia marina e aerea), dove questi modelli da soli spesso falliscono a causa della mancanza di copertura completa.
• Scalabilità: Offre una soluzione scalabile per la creazione di dataset densi a partire da dati sparsi esistenti, accelerando la ricerca in ecologia e monitoraggio ambientale.

In sintesi, SSeg rappresenta un passo avanti cruciale nel colmare il divario tra la scarsità di annotazioni dense e la necessità di modelli di segmentazione accurati per l'analisi ambientale.