FARCLUSS: Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning for Semi-Supervised Semantic Segmentation

Riepilogo Tecnico: FARCLUSS

Problema

La segmentazione semantica semi-supervisionata (SSSS) mira a raggiungere prestazioni paragonabili ai modelli completamente supervisionati sfruttando un piccolo insieme di immagini etichettate insieme ad abbondanti dati non etichettati. Tuttavia, gli approcci esistenti affrontano tre persistenti limitazioni:

1. Utilizzo inefficiente delle Pseudo-Etichette: Gli approcci attuali si affidano spesso a rigorose soglie di confidenza per generare pseudo-etichette "hard". Ciò scarta le regioni "incerte" (ad esempio, i confini degli oggetti o le aree occluse) dove le probabilità di predizione sono ambigue, rinunciando così a segnali di supervisione preziosi e rafforzando il bias di conferma.
2. Squilibrio delle Classi: Nei dataset a coda lunga (long-tailed), le pseudo-etichette tendono a essere sbilanciate verso le classi dominanti (ad esempio, strada, cielo), causando una sottorappresentazione e un'ottimizzazione scarsa delle classi minoritarie (ad esempio, segnali stradali, pali).
3. Inefficienza Computazionale: I metodi che impiegano l'apprendimento contrastivo per migliorare la discriminabilità delle caratteristiche spesso comportano elevati costi computazionali a causa di estesi confronti pixel-per-pixel o architetture a doppia rete, limitandone la scalabilità.

Metodologia

Gli autori propongono FARCLUSS (Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning), un framework unificato costruito su un'architettura standard teacher-student. Il metodo integra quattro componenti principali per affrontare le suddette sfide:

1. Pseudo-Etichettatura Fuzzy (Fuzzy Pseudo-Labeling)

Invece di scartare i pixel che non soddisfano un'alta soglia di confidenza, FARCLUSS mantiene le top-$K$ probabilità di classe per ogni pixel.

• Meccanismo: Per una mappa di probabilità generata dal teacher, vengono selezionate le top-$K$ classi. Una distribuzione di etichette fuzzy "soft" viene calcolata normalizzando queste probabilità.
• Beneficio: Questo preserva le distribuzioni di classe "soft" e le relazioni inter-classe nelle regioni ambigue (ad esempio, i confini tra "marciapiede" e "strada"), trasformando l'incertezza in un segnale di apprendimento costruttivo anziché in un limite.

2. Ponderazione Dinamica Consapevole dell'Incertezza (Uncertainty-Aware Dynamic Weighting)

Per mitigare il rumore introdotto dalle predizioni incerte, il framework modula l'influenza di ogni pixel durante l'addestramento.

• Meccanismo: Ai pixel vengono assegnati pesi basati sull'entropia ($H$) normalizzata della predizione del teacher. Il peso è definito come $W = 1 - H$.
• Beneficio: I pixel con alta incertezza (alta entropia) ricevono pesi inferiori, mentre le predizioni sicure vengono amplificate. Questo funge da curriculum "soft", riducendo il peso delle regioni rumorose senza scartarle completamente.

3. Ribilanciamento Adattivo delle Classi (Adaptive Class Rebalancing)

Per contrastare il bias verso le classi maggioritarie nelle pseudo-etichette, la funzione di perdita viene dinamica per ogni batch.

• Meccanismo: I pesi delle classi ($w_c$) sono calcolati in base alla frequenza dei pixel pseudo-etichettati nell'attuale batch. Gli autori utilizzano un normalizzatore basato sulla mediana: $w_c = \text{median}(F) / (F_c + \epsilon)$, dove $F_c$ è la frequenza della classe $c$.
• Beneficio: Questo approccio statistico robusto assicura che le classi minoritarie ricevano un adeguato focus di ottimizzazione senza l'instabilità causata dal weighting inverso alla frequenza o l'inflazione causata dal weighting basato sulla media.

4. Regolarizzazione Contrastiva Leggera (Lightweight Contrastive Regularization)

Per migliorare la discriminabilità delle caratteristiche senza l'overhead dei confronti a coppie, il metodo impiega una perdita contrastiva basata su prototipi.

• Meccanismo: I prototipi specifici per classe (centroidi) sono calcolati come la media dell'embedding dei pixel con pseudo-etichette fuzzy sicure. La perdita penalizza la distanza del coseno tra gli embedding dei pixel e i corrispondenti prototipi di classe.
• Beneficio: Questo promuove la compattezza intra-classe e la separazione inter-classe con una complessità $O(N \cdot d)$, evitando il costo $O(N^2 \cdot d)$ dei metodi a coppie come ReCo.

Contributi Chiave

Il paper riassume i suoi contributi come segue:

• Pseudo-Etichettatura Fuzzy: Costruisce distribuzioni di etichette soft dalle top-$K$ probabilità, preservando l'ambiguità come segnale di apprendimento.
• Ponderazione Dinamica Consapevole dell'Incertezza: Utilizza l'entropia normalizzata per modulare l'impatto delle pseudo-etichette pixel-wise, riducendo il rumore dalle regioni ambigue.
• Ribilanciamento Adattivo: Scala dinamicamente le perdite in base alle frequenze delle pseudo-etichette per batch per migliorare l'apprendimento delle classi minoritarie senza euristiche manuali.
• Regolarizzazione Contrastiva Leggera: Utilizza l'apprendimento contrastivo basato su prototipi per evitare costose operazioni a coppie pur promuovendo la compattezza delle caratteristiche.

Risultati Sperimentali

Estesi esperimenti sono stati condotti sui dataset Pascal VOC (Classic e Blended) e Cityscapes utilizzando backbone ResNet-50 e ResNet-101.

• Prestazioni: FARCLUSS supera costantemente i metodi allo stato dell'arte (inclusi UniMatch, CorrMatch e PS-MT) attraverso varie proporzioni di dati etichettati (da 1/16 a 1/2).
  • Su Pascal VOC Classic, raggiunge punteggi mIoU superiori, superando UniMatch di 0.4–1.2 mIoU nella maggior parte degli split.
  • Su Cityscapes, raggiunge i risultati migliori (ad esempio, 81.0 mIoU con ResNet-101 al rapporto 1/2), mostrando guadagni particolarmente pronunciati sulle classi sotto-rappresentate e sulle regioni di confine.
• Efficienza: Il metodo raggiunge questi risultati con un design a singola rete, evitando l'overhead di corrispondenza (correspondence-matching) di CorrMatch o la complessità a doppia rete di CPS. Si avvicina all'efficienza dei dati di metodi recenti come UniMatch e CW-BASS.
• Studi di Ablazione:
  • Rimuovere l'etichettatura fuzzy ha causato il calo di prestazioni più grande (-6.2 mIoU su Pascal, confermando il suo ruolo nel trattenere una supervisione informativa.
  • Il ribilanciamento delle classi basato sulla mediana ha superato le strategie inversa, media e media armonica.
  • L'etichettatura fuzzy Top-$K$ ($K=2$) si è dimostrata superiore al filtraggio a soglia fissa, poiché trattiene il 100% dei pixel limitando la distribuzione delle etichette alle classi plausibili.
  • La regolarizzazione contrastiva basata su prototipi ha ottenuto un'accuratezza comparabile ai metodi a coppie (ReCo, U2PL) con un uso di memoria e tempo di addestramento significativamente inferiore.

Significato e Rivendicazioni

Il paper sostiene che FARCLUSS rappresenti una soluzione olistica che trasforma l'incertezza da un limite a un asset di apprendimento. Affrontando sistematicamente il rumore delle pseudo-etichette, lo squilibrio delle classi e l'overhead computazionale all'interno di un framework unificato, il metodo consente un apprendimento più informativo e bilanciato.

Gli autori sottolineano che il loro approccio è particolarmente significativo per:

1. Regioni Ambigue: L'etichettatura fuzzy e la ponderazione dell'entropia permettono al modello di apprendere dalle regioni di confine che tipicamente vengono scartate dai metodi basati su soglia.
2. Classi Minoritarie: Il meccanismo di ribilanciamento adattivo mira specificamente ai problemi di distribuzione a coda lunga inerenti ai dataset di segmentazione semantica.
3. Scalabilità: La regolarizzazione contrastiva leggera e il design a singola rete assicurano che il metodo sia scalabile efficientemente a grandi dataset senza sacrificare l'accuratezza.

Il lavoro conclude che FARCLUSS stabilisce una nuova direzione per l'apprendimento guidato dall'incertezza e efficiente nelle risorse negli scenari di segmentazione semantica semi-supervisionata.