Through the Looking Glass: A Dual Perspective on Weakly-Supervised Few-Shot Segmentation

Sintesi Tecnica: Through the Looking Glass (TLG)

Problematica
Gli attuali approcci di meta-learning per la segmentazione semantica few-shot impiegano tipicamente architetture di rete identiche sia per i rami di supporto che per quelli di query. Sebbene questi metodi mirino a estrarre bias induttivi da coppie supporto-query omologhe (immagini che condividono la stessa categoria), gli autori sostengono che questo design di "rete omologa" porti a una omogeneizzazione sovra-semantica. Forzando entrambi i rami a operare all'interno dello stesso spazio di mappatura semantica, i modelli tendono a enfatizzare eccessivamente le caratteristiche condivise (ad esempio, una "testa" comune a tutti i cani) trascurando i dettagli eterogenei a livello di istanza (ad esempio, colori del mantello o dimensioni specifiche). Ciò provoca una sotto-segmentazione e limita la capacità del modello di catturare informazioni semantiche complementari. Inoltre, nel contesto della Segmentazione Semantica Few-Shot debolmente supervisionata (WFSS), dove sono disponibili solo etichette a livello di immagine (mancando di maschere precise a livello di pixel), i modelli allo stato dell'arte (SOTA) esistenti spesso soffrono di un elevato numero di parametri e costi computazionali, pur non riuscendo a sfruttare appieno il potenziale dei priori multimodali.

Metodologia
Il documento propone TLG (Through the Looking Glass), una nuova rete omologa ma eterogenea progettata per trattare le coppie supporto-query come prospettive duali. Il framework si basa su tre moduli core:

1. Aggregazione Eterogenea (HA): Invece di estrarre caratteristiche da strati di backbone identici per entrambi i rami, TLG impiega una strategia di selezione differenziata degli strati. Ad esempio, il ramo di supporto può estrarre caratteristiche dagli strati 3, 9 e 12, mentre il ramo di query estrae dagli strati 0, 4 e 10. Questa eterogeneità intra-strato massimizza la ricchezza semantica sfruttando simultaneamente i dettagli a basso livello (query) e la semantica ad alto livello (supporto), preservando al contempo la comunanza semantica attraverso meccanismi di concatenazione e correlazione.
2. Trasporto Eterogeneo (HT): Per affrontare il rumore semantico inevitabilmente introdotto dall'aggregazione di caratteristiche eterogenee, il modulo HT utilizza il Trasporto Ottimale (OT). Esso modella l'allineamento delle informazioni semantiche eterogenee come un problema di minimizzazione del costo di trasporto (risolto tramite l'algoritmo di Sinkhorn). Questo processo sopprime il rumore e le caratteristiche ridondanti, migliorando al contempo la rilevanza contestuale attraverso meccanismi di cross-attention. Inoltre, vengono introdotti i Residui Eterogenei (HR) per preservare una parte delle caratteristiche di input originali, garantendo che la diversità della rappresentazione non vada perduta durante l'allineamento.
3. CLIP Eterogeneo (HC): Per migliorare la generalizzazione, TLG integra informazioni testuali multimodali da CLIP. A differenza dei metodi precedenti che mappano tutti i priori di background in uno spazio comune, TLG introduce una strategia di matching massimo. Utilizza un approccio Chain-of-Thought (tramite LLM come ChatGPT) per identificare categorie di background specifiche che co-occorrono con gli oggetti in primo piano (ad esempio, "uccello" con "albero" e "cielo"). Questi prompt testuali fini ed eterogenei (ad esempio, "uccello con piume") sono fusi con le caratteristiche visive tramite un adapter CLIP eterogeneo, migliorando l'allineamento tra i priori testuali e la semantica visiva.

Contributi Chiave

• Cambio di Paradigma: Gli autori identificano il limite dell'omogeneità nel meta-learning e propongono un design di rete omologo ma eterogeneo, sostenendo che architetture distinte ma semanticamente allineate catturino meglio l'"eterogeneità dell'eterogeneo".
• Nuovi Moduli: L'introduzione dei moduli HA, HT e HC per affrontare rispettivamente la sovra-omogeneizzazione semantica, la riduzione del rumore nell'aggregazione eterogenea e la generalizzazione multimodale.
• Efficienza e Prestazioni: TLG ottiene guadagni significativi di prestazioni con risorse computazionali drasticamente ridotte. Utilizza solo 1/24 dei parametri addestrabili dei modelli SOTA esistenti (specificamente AFANet).
• Svolta nella Supervisione Debole: Il documento afferma che TLG è il primo modello debolmente supervisionato (etichetta a livello di immagine) a superare i modelli pienamente supervisionati (etichetta a livello di pixel) sotto le stesse architetture di backbone.

Risultati Sperimentali
Esperimenti estesi sono stati condotti sui dataset Pascal-5i e COCO-20i utilizzando etichette a livello di immagine.

• Pascal-5i: Con un backbone ResNet50, TLG ha raggiunto un 77.2 mIoU nell'impostazione 1-shot e un 77.9 mIoU nell'impostazione 5-shot. Ciò rappresenta un miglioramento del 13.2% rispetto al modello debolmente supervisionato SOTA AFANet.
• COCO-20i: TLG ha raggiunto un 51.5 mIoU (1-shot) e un 51.6 mIoU (5-shot), mostrando un miglioramento del 7.9% rispetto ad AFANet.
• Leggerezza: Nonostante i guadagni di prestazioni, TLG richiede solo 4.47M di parametri addestrabili (rispetto ai 108.35M di AFANet) e FLOPs e latenza di inferenza significativamente inferiori (ad esempio, 36.72ms vs 73.21ms per l'inferenza 1-shot su ResNet50).
• Confronto con il Pienamente Supervisionato: TLG supera i modelli SOTA pienamente supervisionati (ad esempio, VRP-SAM, PGMA-Net) su Pascal-5i, nonostante utilizzi solo etichette grossolane a livello di immagine.

Significatività e Rivendicazioni
Il documento sostiene che il nucleo di un meta-learning efficace non risieda nel forzare l'uniformità, ma nello sfruttare la eterogeneità complementare. Trattando il supporto e la query come prospettive duali con percorsi di estrazione delle caratteristiche distinti, TLG sblocca il pieno potenziale dei modelli di meta-learning. Gli autori affermano che TLG stabilisce un nuovo standard per l'apprendimento debolmente supervisionato, dimostrando che la supervisione a livello di immagine, se combinata con un design di rete eterogeneo e priori multimodali, può superare le prestazioni dei rispettivi controparti pienamente supervisionati. Ciò suggerisce un cambiamento nella filosofia di design in cui l'"eterogeneità" non è solo una sfida da superare, ma una risorsa da ingegnerizzare per una migliore generalizzazione in scenari di scarsità di dati.