Sintesi Tecnica: Framework a Doppia Guida per la Segmentazione Semantica Semi-Supervisionata tramite Incertezza e Prototipi

1. Definizione del Problema

La segmentazione semantica semi-supervisionata (SSSS) mira a ridurre la dipendenza dalle annotazioni dense a livello di pixel sfruttando abbondanti dati non etichettati. Gli attuali approcci allo stato dell'arte utilizzano prevalentemente un framework di consistenza "weak-to-strong" (da debole a forte), in cui pseudo-etichette generate da viste con aumenti deboli guidano l'apprendimento di viste con aumenti forti.

Tuttavia, i metodi esistenti affrontano due limitazioni critiche:

1. Pseudo-Etichette Rumorose e Bias di Conferma: L'affidamento su soglie di confidenza statiche (basate sulle probabilità softmax) spesso non tiene conto della tendenza all'overconfidence (eccessiva sicurezza) delle reti neurali profonde. Ciò porta all'inclusione di predizioni errate e allo scarto di pixel informativi in prossimità dei bordi degli oggetti.
2. Scarsa Rappresentazione delle Caratteristiche: I metodi tradizionali sono "rivolti verso l'interno", operando principalmente nello spazio dei logit di output. Mancano di una regolarizzazione esplicita dello spazio delle caratteristiche latenti, il che risulta in rappresentazioni semantiche scarsamente separate, specialmente per classi morfologicamente simili. Questo causa la sfocatura dei confini decisionali e la sovrapposizione dei cluster di caratteristiche.

2. Metodologia

Gli autori propongono un Framework a Doppia Guida che affina congiuntamente lo spazio di predizione e regolarizza lo spazio di rappresentazione. Il framework si basa sul paradigma UniMatch (utilizzando DeepLabv3+ con un backbone ResNet-101) e introduce due moduli sinergici:

A. Raffinamento Dinamico delle Pseudo-Etichette Consapevole dell'Incertezza (UADPR)

Questo modulo affronta l'affidabilità delle pseudo-etichette nello spazio di predizione.

• Meccanismo: Invece di utilizzare soglie statiche, l'UADPR impiega il Monte Carlo (MC) Dropout per eseguire $T$ passaggi in avanti stocastici su immagini con aumenti deboli.
• Stima dell'Incertezza: L'incertezza a livello di pixel viene quantificata utilizzando l'entropia della distribuzione di predizione media.
• Soglia Dinamica: Una soglia di confidenza globale $\tau(k)$ viene regolata dinamicamente in base all'incertezza normalizzata a livello di batch e all'epoca di addestramento. Ciò consente al modello di essere meno conservativo durante le prime fasi dell'addestramento (quando l'incertezza è alta) e più rigoroso man mano che il modello si stabilizza.
• Pesatura della Affidabilità: Un peso continuo $w_i$ viene assegnato a ciascun pixel di pseudo-etichetta valido, combinando il punteggio di confidenza con l'inverso dell'incertezza. Ciò assicura che il modello si concentri sulle regioni affidabili pur valutando con cautela i bordi ambigui.
• Funzioni di Perdita: Il modulo ottimizza una combinazione di perdita della pseudo-etichetta (pesata per l'incertezza), regolarizzazione della consistenza tra viste deboli e forti, e minimizzazione dell'entropia.

B. Guida Contrastiva dei Prototipi di Classe (CPCG)

Questo modulo affronta la confusione delle caratteristiche nello spazio di rappresentazione.

• Prototipi Dinamici: Il framework mantiene un archivio globale di prototipi di classe, aggiornato tramite una Media Mobile Esponenziale (EMA) delle caratteristiche provenienti da pixel etichettati e confidenti.
• Apprendimento Contrastivo Consapevole della Varianza: Riconoscendo che la varianza intra-classe differisce tra le categorie semantiche, il CPCG introduce un parametro di temperatura adattiva per classe. Questo scala la perdita contrastiva in base alla varianza delle caratteristiche all'interno di ogni classe.
• Hard Negative Mining: Per rendere più netti i confini tra classi confondenti, il modulo individua i $K$ prototipi negativi più confondenti (hard negatives) e focalizza la perdita contrastiva sulla repulsione delle caratteristiche da queste specifiche classi.
• Fusione delle Etichette: La somiglianza guidata dai prototipi viene fusa con le predizioni medie MC per generare una "pseudo-etichetta guidata da hard-label". Questa assegnazione di etichette sfrutta sia la confidenza della predizione che l'affinità semantica a livello di caratteristiche.
• Funzioni di Perdita: Il modulo ottimizza una perdita contrastiva dei prototipi, un termine di consistenza tra campioni (per prevenire il drift) e una perdita per i negativi difficili (hard-negative loss).

C. Interazione Sinergica

I due moduli operano in un ciclo chiuso:

1. L'UADPR filtra i target rumorosi, fornendo una supervisione pulita e pesata per l'incertezza che stabilizza gli aggiornamenti dei prototipi nel CPCG.
2. Il CPCG organizza lo spazio delle caratteristiche, creando cluster semantici strutturati che generano mappe di somiglianza più accurate. Queste mappe vengono fuse nuovamente nella generazione delle pseudo-etichette, migliorando la qualità delle etichette per l'UADPR.

3. Contributi Principali

Il documento delinea tre contributi primari:

1. Modulo UADPR: Un meccanismo innovativo che stima l'incertezza a livello di pixel tramite MC Dropout per stabilire un sistema di sogliatura della confidenza adattiva e di pesatura dell'affidabilità, mitigando efficacementamente il bias di conferma nello spazio di predizione.
2. Modulo CPCG: Un approccio di regolarizzazione delle caratteristiche che utilizza prototipi dinamici aggiornati tramite EMA, scalatura della temperatura adattiva consapevole della varianza e hard negative mining per garantire la compattezza intra-classe e la separabilità inter-classe.
3. Framework Integrato: Esperimenti estesi dimostrano che l'approccio a doppia guida raggiunge prestazioni competitive sotto protocolli standard, mostrando particolare robustezza in scenari con scarsità di dati dove i dati etichettati sono estremamente limitati.

4. Risultati Sperimentali

Il framework è stato valutato sui dataset PASCAL VOC 2012 e Cityscapes, seguendo il protocollo UniMatch con DeepLabv3+ e ResNet-101.

• PASCAL VOC 2012:
  • Nello scenario di estrema scarsità di dati (92 immagini etichettate), il metodo proposto ha raggiunto il 78,16% di mIoU, superando il baseline di UniMatch (75,18%) del +2,98% e superando i recenti e forti competitor come CSL (76,80%) e AllSpark (76,07%).
  • Con 732 immagini etichettate, il metodo ha raggiunto l'82,94% di mIoU, un miglioramento di +3,02% rispetto al baseline.
• Cityscapes:
  • Nella suddivisione 1/16 etichettata (186 immagini), il metodo ha ottenuto il 79,08% di mIoU, superando il baseline di UniMatch del +2,46%.
  • Le prestazioni sono scalate efficacemente alla suddivisione 1/2, raggiungendo l'82,12% di mIoU.
• Studi di Ablazione:
  • L'integrazione del solo UADPR ha migliorato l'mIoU della VOC 92-split del +2,44%.
  • L'integrazione del solo CPCG ha migliorato l'mIoU del +2,28%.
  • Il framework combinato ha prodotto i guadagni più elevati (+2,98%), confermando l'effetto sinergico dei due moduli.
• Analisi Qualitativa: Le visualizzazioni (t-SNE, mappe di incertezza e maschere di segmentazione) hanno confermato che il framework produce cluster intra-classe più compatti, margini inter-classe più chiari e pseudo-etichette spazialmente più coerenti, in particolare nelle regioni di confine ambigue e nelle strutture sottili.

5. Significato e Rivendicazioni

Il documento afferma che il framework a Doppia Guida proposto riesce a colmare il divario tra il raffinamento delle pseudo-etichette e la regolarizzazione a livello di caratteristiche. Modellando esplicitamente l'incertezza della predizione e imponendo la struttura semantica nello spazio latente, il metodo affronta le debolezze fondamentali degli attuali approcci SSSS basati sulla consistenza: il bias di conferma e la confusione delle caratteristiche.

Gli autori sostengono che il loro approccio sia particolarmente efficace negli scenari di scarsità di dati, dove la capacità di filtrare dinamicamente il rumore e organizzare le caratteristiche è critica. Concludono che estendere il tradizionale auto-addestramento (self-training) dallo spazio di output per includere l'allineamento esplicito delle rappresentazioni offre una direzione promettente per migliorare i compiti di visione con efficienza di etichettatura.

Limitazioni Riconosciute:
Gli autori notano che l'affidamento sul Monte Carlo Dropout aumenta l'uso della memoria e i tempi di addestramento a causa dei molteplici passaggi in avanti stocastici. Inoltre, riconoscono che l'archivio dei prototipi può essere meno stabile per le classi rare nei mini-batch e che le pseudo-etichette altamente sicure ma errate possono comunque influenzare temporaneamente gli aggiornamenti dei prototipi.