H-SPAM: Hierarchical Superpixel Anything Model

1. Il Problema

La segmentazione in superpixel è uno strumento fondamentale nella visione artificiale per rappresentare le immagini in modo compatto, raggruppando pixel in regioni coerenti. Tuttavia, le metodologie esistenti presentano diverse limitazioni critiche:

• Plateau di accuratezza e rumore: I metodi recenti, basati sul deep learning, hanno raggiunto un plateau in termini di accuratezza. Spesso rilassano i vincoli di regolarità per seguire meglio i bordi degli oggetti, producendo forme di superpixel irregolari, rumorose e difficili da interpretare.
• Mancanza di gerarchia: La maggior parte degli approcci genera una partizione a scala fissa (un singolo numero di superpixel). Questo limita l'utilizzo in pipeline di visione che beneficiano di rappresentazioni multi-scala (es. annotazione interattiva, ragionamento multi-scala).
• Compromesso Accuratezza/Regolarità nelle varianti gerarchiche: Esistono metodi gerarchici, ma per garantire la "nidificazione perfetta" (che i confini di una scala fine siano contenuti in quelli di una scala più grossa), spesso sacrificano l'accuratezza della segmentazione o la regolarità delle forme, generando confini imprecisi.

2. Metodologia: H-SPAM

Il paper introduce H-SPAM (Hierarchical Superpixel Anything Model), un framework unificato che combina l'accuratezza dei superpixel basati su oggetti con i vantaggi della segmentazione multi-scala. Il metodo genera una gerarchia di superpixel perfettamente nidificata, accurata e regolare.

Il processo si articola in tre fasi principali:

A. Input e Partizione Iniziale

Il sistema parte da:

1. Una mappa di superpixel fini (fine partition) generata da un modello basato su oggetti (utilizzando le tecniche di [29] e i prior di oggetti di SAM - Segment Anything Model).
2. Mappe di feature profonde (deep features) che catturano sia informazioni semantiche che spaziali.
3. Una mappa di oggetti di prior (Object Map) che delimita le regioni semantiche.
4. (Opzionale) Mappe di attenzione visiva o input utente.

B. Processo di Fusione a Due Fasi (Two-Phase Region Merging)

L'algoritmo costruisce la gerarchia utilizzando un Grafo di Adiacenza delle Regioni (RAG) e una strategia di fusione basata su code di priorità, divisa in due fasi distinte per preservare i confini degli oggetti:

1. Fase 1: Fusioni Intra-oggetto (Intra-object merges)

   • Obiettivo: Affinare la segmentazione all'interno di ogni oggetto definito dalla mappa di prior.
   • Vincolo: Viene imposta una costo infinito per qualsiasi fusione tra regioni appartenenti a oggetti diversi. Questo impedisce che i confini degli oggetti vengano attraversati prematuramente.
   • Criterio di costo: Si basa sulla similarità delle feature (aspetto e posizione spaziale) per fondere regioni simili all'interno dello stesso oggetto, preservando la coerenza strutturale.

2. Fase 2: Fusioni Inter-oggetto (Inter-object merges)

   • Obiettivo: Unire gli oggetti tra loro per costruire la gerarchia completa fino a un'unica regione.
   • Meccanismo: Una volta che ogni oggetto è ridotto a una singola regione, il sistema permette la fusione tra oggetti diversi.
   • Criterio di costo: Utilizza una variante del metodo di Ward che tiene conto della similarità delle feature e delle dimensioni delle regioni (per fondere prima gli oggetti piccoli, poi grandi con piccoli, ecc.). Le feature spaziali vengono rimosse in questa fase poiché rimangono solo oggetti ad alto livello.

C. Modulazione basata sull'Attenzione (Attention-based Modulation)

H-SPAM offre modalità adattive per controllare la densità dei superpixel:

• Mappa di Attenzione: Utilizzando mappe di attenzione (es. da DINO) o input utente (click), è possibile ritardare la fusione delle regioni "salienti" o importanti.
• Logica: Se una regione ha un alto livello di attenzione, il costo di fusione aumenta, preservando quella regione come superpixel isolato per più livelli della gerarchia. Questo permette di concentrare la risoluzione sulle aree di interesse (es. dettagli fini) senza imporre una densità uniforme su tutta l'immagine.

3. Contributi Chiave

1. Primo framework gerarchico basato su oggetti: H-SPAM è il primo approccio deep learning che integra maschere di oggetti di prior (da modelli foundation come SAM) per guidare la costruzione di una gerarchia di superpixel.
2. Coerenza Gerarchica Perfetta: Risolve il compromesso tra accuratezza e nidificazione. A differenza dei metodi precedenti che generano forme rumorose per rispettare la gerarchia, H-SPAM mantiene confini netti e forme regolari grazie alla fase di fusione intra-oggetto vincolata.
3. Modalità Adattive: Introduce l'uso di mappe di attenzione e input utente per modulare la gerarchia, preservando regioni specifiche più a lungo nel processo di fusione.
4. Prestazioni di Stato dell'Arte: Dimostra di superare i metodi gerarchici esistenti sia in accuratezza che in regolarità, mantenendo prestazioni comparabili ai migliori metodi non gerarchici (single-scale).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard (BSD, NYUv2, SBD) utilizzando metriche consolidate:

• Accuratezza (ASA - Achievable Segmentation Accuracy): H-SPAM supera significativamente tutti gli altri metodi gerarchici (come HHTS, SH, RISF) e si posiziona al secondo posto assoluto dopo il metodo non gerarchico SPAM, dimostrando che il vincolo gerarchico non degrada drasticamente l'accuratezza.
• Regolarità (SRC - Shape Regularity Criteria): H-SPAM ottiene i punteggi più alti tra i metodi gerarchici, producendo superpixel molto più regolari e interpretabili rispetto alle alternative.
• Recupero del Contorno (BR) e Densità (CD): Il metodo mantiene un ottimo allineamento con i bordi degli oggetti reali.
• Efficienza: La gerarchia viene costruita rapidamente (es. 0.44s per un'immagine 481x321 con 1250 livelli) e permette l'estrazione di partizioni a qualsiasi scala desiderata in tempi trascurabili.

5. Significato e Impatto

H-SPAM rappresenta un passo avanti significativo nella segmentazione delle immagini:

• Risoluzione del compromesso: Dimostra che è possibile ottenere una segmentazione gerarchica che non sacrifica né l'accuratezza semantica né la regolarità geometrica.
• Utilizzo dei Modelli Foundation: Integra efficacemente i "prior" di oggetti forniti da modelli foundation (come SAM) per guidare processi di basso livello (superpixel), colmando il divario tra segmentazione semantica e partizione fine.
• Versatilità: La capacità di modulare la gerarchia tramite attenzione o interazione utente lo rende uno strumento ideale per pipeline di annotazione interattiva, ragionamento multi-scala e compiti di visione che richiedono rappresentazioni strutturate e coerenti a diverse risoluzioni.

In sintesi, H-SPAM stabilisce un nuovo standard per la decomposizione gerarchica di superpixel, offrendo uno strumento unificato, preciso e interpretabile per la visione artificiale moderna.