Sintesi Tecnica: Sbloccare le Gerarchie di Diffusione

Problematica

La segmentazione semantica zero-shot ha fatto passi avanti recentemente sfruttando i ricchi prior visivi presenti nei modelli di diffusione text-to-image su larga scala come Stable Diffusion. Tuttavia, gli approcci basati sulla diffusione esistenti affrontano due limitazioni critiche che ne ostacolano le prestazioni:

1. Il compromesso tra Risoluzione e Contesto: Gli approcci attuali si affidano tipicamente o alle mappe di self-attention o alle feature dell'encoder della U-Net. Le mappe di self-attention offrono un'alta risoluzione spaziale, catturando dettagli precisi dei bordi, ma spesso mancano di una comprensione contestuale completa. Al contrario, le feature dell'encoder della U-Net forniscono un ricco contesto semantico ma soffrono di una risoluzione spaziale significativamente ridotta, portando a confini di segmentazione grossolani.
2. Affidamento su Timestep Statici: I metodi esistenti estraggono le feature da un singolo timestep fisso all'interno del processo di diffusione. Questo approccio statico ignora l'evoluzione dinamica delle informazioni durante la traiettoria di denoising. Mentre un modello di diffusione affina un latente rumoroso in un'immagine coerente, diversi livelli di granularità semantica (dai dettagli a livello di parte alle astrazioni a livello di oggetto) emergono e si consolidano in diversi timestep. Affidarsi a un singolo timestep limita intrinsecamente la capacità del modello di catturare l'intero spettro di indizi necessari per una segmentazione accurata.

Metodologia

Il metodo proposto, DiffCut (distinto dal precedente lavoro DiffCut [18]), affronta queste limitazioni sfruttando appieno la conoscenza semantica multifaccettata codificata nel processo di denoising. L'approccio consiste in tre componenti principali:

1. Mappe di Similarità Contestuale (CSM)

Per risolvere il compromesso tra risoluzione e contesto, gli autori introducono la Mappa di Similarità Contestuale (CSM). Questa è una rappresentazione per-pixel che fonde sinergicamente le mappe di self-attention ad alta risoluzione con le feature dell'encoder della U-Net, profondamente ricche di contesto.

• Costruzione: Per un dato timestep $t$, le mappe di self-attention multi-risoluzione della U-Net vengono aggregate in una matrice unificata $M_t$. Simultaneamente, vengono estratte le feature dell'encoder a bassa risoluzione e sottoposte upsampling per formare una matrice di feature $F_t$.
• Fusione: Le relazioni ad alta risoluzione in $M_t$ guidano un'aggregazione pesata delle feature $F_t$ sottoposte a upsampling per creare un vettore di feature combinato $V_t$ per ogni pixel ($V_t = M_t \times F_t$).
• Similarità: La CSM ($S_t$) è definita come la similarità del coseno pairwise tra questi vettori di feature combinati. Il risultato è una mappa che possiede sia la precisione dei bordi fine-grained sia una robusta coerenza semantica.

2. Progressione Semantica Gerarchica e Selezione Adattiva del Timestep

Gli autori identificano una progressione gerarchica emergente dell'informazione semantica all'interno del processo di denoising.

• Osservazione: Ad alti timestep (all'inizio del processo inverso), la CSM cattura strutture globali ampie (es. l'intero camion). Man mano che i timestep diminuiscono (più avanti nel processo), il focus si affina verso dettagli più fini (es. singole ruote).
• Dinamica Per-Pixel: Fondamentalmente, questa gerarchia è una proprietà per-pixel; diversi pixel raggiungono il loro livello ottimale di astrazione semantica in diversi timestep.
• Matrice di Stabilità Temporale (TSM): Per rilevare queste transizioni, il metodo calcola una TSM per ogni pixel, misurando la similarità della sua CSM attraverso diversi timestep. I blocchi stabili nella TSM corrispondono a distinti livelli semantici, mentre i confini tra i blocchi indicano cambiamenti semantici.
• Rilevamento dei Bordi: Gli autori trattano la TSM come una matrice di adiacenza pesata e applicano la teoria dei grafi spettrali. Nello specifico, calcolano il vettore di Fiedler del Laplaciano del grafo e utilizzano l'algoritmo Pruned Exact Linear Time (PELT) per rilevare i punti di cambiamento. Questi punti di cambiamento fungono da timestep candidati che rappresentano distinti livelli semantici per ogni pixel.

3. Pipeline di Segmentazione

La segmentazione finale viene generata attraverso un processo di aggregazione a due fasi:

1. Selezione del Target: Per ogni pixel, il secondo livello semantico (corrispondente al secondo confine rilevato) viene selezionato come livello target, bilanciando i dettagli locali con la semantica di alto livello.
2. Aggregazione: Viene creata una rappresentazione intermedia mediando le CSM di un pixel attraverso tutti i timestep fino al suo timestep target. Questa è poi pesata dalla CSM normalizzata al timestep target stesso.
3. Maschera Finale: I vettori di feature risultanti vengono passati a un algoritmo di Normalized Cut (Ncut) ricorsivo per generare la maschera di segmentazione finale.

Contributi Chiave

• Mappe di Similarità Contestuale: Un nuovo metodo per generare CSM fondendo l'attenzione ad alta risoluzione con le feature contestuali della U-Net, mitigando efficacementamente il compromesso tra risoluzione e contesto.
• Scoperta Gerarchica: La rivelazione di una progressione gerarchica dell'informazione semantica attraverso i timestep nei modelli di diffusione, dimostrando che l'astrazione semantica evolve dal livello di parte al livello di oggetto.
• Selezione Adattiva del Timestep: Un meccanismo per selezionare dinamicamente il timestep ottimale per l'estrazione delle feature su base per-pixel, andando oltre i limiti dei timestep statici del lavoro precedente.
• Prestazioni: Esperimenti estesi che dimostrano come il metodo proposto superi costantemente gli esistenti baseline di segmentazione zero-shot.

Risultati

Il metodo è stato valutato su sei dataset standard di segmentazione semantica: Pascal VOC, Pascal Context, COCO-Object, COCO-Stuff-27, Cityscapes e ADE20K.

• Prestazioni Quantitative: Il metodo proposto ha ottenuto la media dell'Intersection over Union (mIoU) più elevata su COCO-Stuff, Cityscapes, ADE20K, Pascal VOC e Pascal Context. Su COCO-Object, ha ottenuto risultati competitivi (30.8% mIoU) rispetto a DiffCut (31.2%), dimostrando al contempo una superiorità di robustezza nell'ampio spettro dei benchmark.
• Studi di Ablazione: Gli esperimenti hanno confermato che:
  • Sostituire la CSM con la pura similarità di feature o di attenzione riduce significativamente le prestazioni.
  • Rimuovere la selezione dinamica del timestep (usando un timestep fisso) riduce le prestazioni, validando la necessità dell'adattamento per-pixel.
  • L'uso di feature dall'ultimo layer dell'encoder è superiore all'uso di layer del decoder o misti.
  • L'aggiunta di rumore all'immagine di input (mimando la distribuzione di training) migliora le prestazioni rispetto all'uso dell'immagine pulita.
• Estensione Open-Vocabulary: Il metodo è stato esteso a un contesto open-vocabulary, superando DiffCut su i dataset VOC, Context e COCO.

Significato e Rivendicazioni

Il paper afferma che il suo significato primario risiede nello sbloccare la latente struttura semantica gerarchica all'interno dei modelli di diffusione. Allontanandosi dall'estrazione di feature statica a singolo timestep e abbracciando invece un approccio dinamico e adattivo per-pixel, il metodo raggiunge una comprensione più precisa e completa della semantica dell'immagine.

Gli autori sostengono che il loro lavoro valida l'efficacia della combinazione di feature contestuali con la selezione dinamica e gerarchica del timestep. Posizionano questo lavoro come un passo cruciale nella segmentazione zero-shot, dimostrando che i modelli di diffusione pre-addestrati contengono ricchi e strutturati prior semantici che possono essere estratti sistematicamente senza la necessità di addestramento specifico per classe o annotazioni pixel-dense. Il lavoro apre la strada alla segmentazione interattiva e ai compiti di visione gerarchica, suggerendo che i principi dei livelli semantici dinamici potrebbero estendersi ad altri modelli di base.