PANC: Prior-Aware Normalized Cut via Anchor-Augmented Token Graphs

1. Il Problema

La segmentazione non supervisionata basata sui token di Vision Transformer (ViT) auto-supervisionati (come TokenCut) ha mostrato risultati promettenti, ma soffre di una mancanza di robustezza in scenari complessi:

• Scene multi-oggetto: In immagini con più oggetti, le tecniche basate su saliency o ranking possono selezionare entità errate o variare erraticamente con piccole modifiche.
• Bassa semantica: In immagini omogenee o dominanti da texture (es. crepe stradali, lesioni dermatoscopiche), le affinità tra i patch sono deboli, portando a partizioni instabili o prive di significato.
• Mancanza di controllo: I metodi puramente non supervisionati non permettono all'utente di specificare quale oggetto segmentare senza un addestramento specifico o un'annotazione massiva.

L'obiettivo è sviluppare un metodo che sia training-free (non richiede addestramento su dataset specifici), data-efficient (richiede poche annotazioni) e in grado di produrre segmentazioni controllabili dall'utente e robuste.

2. Metodologia: PANC (Prior-Aware Normalized Cut)

PANC estende l'algoritmo classico Normalized Cut (NCut) integrando un piccolo set di "priori" (annotazioni sparse) direttamente nella struttura del grafo di affinità.

Costruzione del Grafo Aumentato

1. Estrazione delle Feature: Si utilizzano encoder ViT auto-supervisionati congelati (es. DINOv3) per ottenere embedding densi per ogni patch dell'immagine.
2. Iniezione dei Priori: Si introducono $m$ token annotati (priori) che rappresentano le classi di interesse (foreground) e quelle di sfondo (background). Questi vengono concatenati ai token dell'immagine.
3. Ancoraggio (Anchor-Augmentation):
   • Si creano due nodi virtuali (anchor): uno per il foreground ($u^+$) e uno per il background ($u^-$).
   • I token prior annotati vengono collegati direttamente ai rispettivi anchor con una forza di accoppiamento adattiva ($\alpha_i$).
   • I token dell'immagine non annotati non sono collegati direttamente agli anchor, ma sono influenzati indirettamente attraverso le loro affinità con i token prior.
4. Risoluzione Spettrale: Il problema di partizione del grafo viene formulato come un problema agli autovalori generalizzato su un grafo aumentato. La soluzione (il vettore di Fiedler) viene orientata deterministicamente in base ai prior per garantire coerenza semantica.

Meccanismo di Controllo

L'iniezione dei prior modifica lo spettro del grafo (i valori e gli autovettori della matrice di Laplaciano):

• In dataset eterogenei: I prior agiscono come un meccanismo di selezione, guidando la partizione verso l'oggetto desiderato tra le possibili soluzioni non supervisionate.
• In dataset omogenei: I prior rompono la simmetria e "iniettano struttura", ampliando il gap spettrale (eigengap) e stabilizzando la partizione in regioni dove l'affinità naturale è debole.

Thresholding

Per ottenere la maschera binaria finale, i punteggi continui del vettore di Fiedler vengono binarizzati utilizzando strategie guidate dai prior (es. ROC, punto medio mediano, GMM), selezionando automaticamente la soglia ottimale basata solo sui token annotati.

3. Contributi Chiave

1. Framework PANC: Un approccio weakly-supervised che inietta prior a livello di token nel grafo di affinità, permettendo la selezione controllata degli oggetti senza addestramento di modelli di affinità specifici per dataset.
2. Implementazione GPU-Accelerata: Una pipeline ottimizzata che risolve il problema agli autovalori su GPU, gestendo input ad alta risoluzione con un compromesso prevedibile tra memoria e tempo di esecuzione.
3. Valutazione Estensiva: Analisi approfondita su domini eterogenei (saliency detection) e omogenei/challenging (lesioni cutanee, crepe stradali), dimostrando superiorità rispetto a metodi non supervisionati e weakly-supervised attuali.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi benchmark, mostrando miglioramenti significativi in termini di mIoU (mean Intersection over Union):

• Dataset Eterogenei (Saliency):
  • DUTS-TE: +2.3% rispetto ai baselines weakly-supervised.
  • DUT-OMRON: +2.8% di miglioramento.
  • ECSSD: +0.3% rispetto a WSCUOD (con DINOv3).
• Dataset Omogenei e Challenging:
  • CrackForest (CFD): Un miglioramento drastico di +8.7% (raggiungendo il 91.0% mIoU), superando di gran lunga i metodi non supervisionati che falliscono su texture prive di contrasto.
  • HAM10000 (Lesioni dermatoscopiche): 78.8% mIoU, superando tutti i baselines.
  • CUB-200-2011 (Uccelli): 78.0% mIoU.
• Controllo Semantico: Dimostrazione qualitativa su immagini multi-oggetto (es. persone e cani) dove l'iniezione di prior specifici permette di isolare selettivamente una classe, cosa impossibile per i metodi puramente non supervisionati.

5. Significato e Impatto

PANC rappresenta un passo avanti significativo nella segmentazione di immagini perché:

• Colma il divario tra non supervisionato e supervisionato: Offre la flessibilità della supervisione debole (pochi punti) con la semplicità e la generalizzazione dei metodi non supervisionati (nessun addestramento).
• Robustezza in scenari difficili: Risolve il problema della segmentazione in immagini a bassa semantica o omogenee, dove i metodi basati solo sull'auto-attenzione falliscono.
• Interattività: Trasforma la segmentazione da un processo "cieco" a uno guidato dall'utente, permettendo di correggere o indirizzare l'output in tempo reale.
• Efficienza: Essendo training-free e basato su encoder congelati, è immediatamente applicabile a nuovi domini senza costi computazionali di addestramento.

In sintesi, PANC dimostra che l'integrazione intelligente di pochi prior in un framework di clustering spettrale può trasformare la segmentazione da un processo instabile e ambiguo a uno robusto, controllabile e di alta qualità.