Open-Vocabulary Semantic Segmentation Network Integrating Object-Level Label and Scene-Level Semantic Features for Multimodal Remote Sensing Images

1. Enunciato del Problema

L'attuale segmentazione semantica nel telerilevamento affronta tre sfide principali:

• Limitazioni dei Dati a Modalità Singola: Le immagini da un'unica fonte (ad esempio, ottiche) faticano a gestire l'ambiguità spettrale (ad esempio, distinguere l'asfalto dall'ombra) e sono suscettibili alle condizioni meteorologiche. Sebbene esistano approcci multimodali (che combinano Ottico e SAR), spesso si basano su una semplice concatenazione delle caratteristiche o su una media ponderata, non riuscendo a catturare appieno le complesse relazioni semantiche cross-modali.
• Trascuratezza della Conoscenza Non Visiva: I framework multimodali esistenti integrano dati visivi (Ottico/SAR) ma ignorano i dati testuali non visivi. I dati testuali contengono ricche conoscenze del mondo reale (contesto geografico, proprietà dei materiali) che possono colmare il divario semantico tra pattern visivi e concetti.
• Tassonomie di Classe Rigide: I modelli tradizionali sono limitati a un insieme fisso di classi predefinite. Non possono riconoscere categorie inedite, limitando la loro adattabilità a nuovi scenari o a esigenze di mappatura definite dall'utente. È necessaria una Segmentazione Semantica a Vocabolario Aperto (OVSS) per consentire la classificazione tramite descrizioni in linguaggio naturale.

2. Metodologia: TSMNet

Gli autori propongono TSMNet, una rete di segmentazione semantica a vocabolario aperto multimodale supervisionata dal testo. L'architettura è progettata per allineare le caratteristiche di immagine e testo in uno spazio semantico unificato attraverso un apprendimento gerarchico.

Componenti Principali:

1. Codificatore Visivo Multimodale:

   • Utilizza un backbone Vision Transformer (ViT) per estrarre caratteristiche multilivello sia dalle immagini Ottiche che SAR.
   • Modulo di Rettifica delle Caratteristiche Multimodali (MFRM): Regola dinamicamente i pesi dei canali e spaziali tra le caratteristiche Ottiche e SAR per correggere l'eterogeneità e potenziare le informazioni complementari.
   • Modulo di Fusione delle Caratteristiche Multimodali (MFFM): Impiega un meccanismo di attenzione cross-modale per eseguire un'interazione e un'aggregazione semantica profonda su più scale, preservando sia i dettagli locali che le semantica globali.

2. Codificatore Testuale a Doppio Ramo e Fusione:

   • Codificatore Testuale: Basato su CLIP (utilizzando BERT per l'elaborazione del testo), estrae due tipi distinti di informazioni testuali:
     • Etichette a Livello Oggetto: Nomi di categorie specifici (ad esempio, "strada", "albero").
     • Semantica a Livello Scena: Descrizioni globali e contesto (ad esempio, "una densa area urbana con edifici ad alta altezza").
   • Prompting Consapevole del Contesto: Invece di modelli statici, il modello utilizza contesti testuali apprendibili e meccanismi di cross-attenzione per affinare le caratteristiche testuali basandosi su segnali visivi.
   • Strategia di Fusione:
     • Fusione a Livello Oggetto: Allinea le caratteristiche visive a livello di pixel con gli embedding testuali delle categorie per generare maschere di segmentazione.
     • Fusione a Livello Scena: Utilizza un modulo di allineamento globale con apprendimento contrastivo (perdita InfoNCE) per allineare le rappresentazioni globali dell'immagine con le descrizioni della scena, agendo come un prior per il compito di segmentazione.

3. Funzioni di Perdita:
   L'obiettivo di addestramento combina quattro perdite:

   • Perdita delle Etichette a Livello Oggetto: Perdita di entropia incrociata per l'allineamento pixel-classe.
   • Perdita Semantica a Livello Scena: Perdita contrastiva InfoNCE per allineare le coppie immagine-testo globali.
   • Perdita del Compito di Segmentazione: Combinazione di Entropia Incrociata e Perdita Dice per garantire la coerenza della maschera.

4. Inferenza:
   Il modello supporta un'inferenza a Vocabolario Aperto. Gli utenti possono inserire descrizioni in linguaggio naturale arbitrarie (non solo classi predefinite). La rete calcola la similarità coseno tra le caratteristiche dei pixel e gli embedding testuali codificati per generare dinamicamente maschere di segmentazione.

3. Contributi Chiave

1. Architettura Innovativa (TSMNet): Un framework che integra sinergicamente le modalità visive (Ottico/SAR) e testuali, introducendo un codificatore testuale a doppio ramo per gestire simultaneamente etichette a livello oggetto e semantica a livello scena.
2. Meccanismi di Fusione Avanzati:
   • Sviluppo di MFRM e MFFM per fondere efficacemente dati Ottici e SAR eterogenei, affrontando rumore e divari semantici.
   • Implementazione di un modulo di Fusione Semantica Visiva Guidata dal Testo che utilizza priori testuali per affinare le caratteristiche visive per un processo decisionale interpretabile dall'uomo.
3. Nuovi Dataset: Gli autori hanno costruito due nuovi dataset vision-language multimodali di alta qualità per colmare il vuoto nelle risorse esistenti:
   • SWJTU-Vision-Language: 2.712 coppie di immagini Ottiche/SAR da quattro città cinesi con etichette manuali a livello di pixel e descrizioni testuali dettagliate.
   • YESeg-OPT-SAR: 2.231 coppie di immagini RGB/SAR a risoluzione 0,5m con annotazioni testuali dettagliate.
4. Capacità a Vocabolario Aperto: Il sistema consente il riconoscimento di categorie inedite tramite linguaggio naturale, superando i vincoli delle tassonomie fisse.

4. Risultati Sperimentali

Gli autori hanno valutato TSMNet rispetto a modelli all'avanguardia (SOTA), inclusi modelli a modalità singola (Deeplab V3+), visivi multimodali (CMGFNet, MCANet) e modelli esistenti a vocabolario aperto (DenseCLIP, TACOSS).

• Prestazioni su SWJTU-Vision-Language:

  • TSMNet ha raggiunto una Precisione Complessiva (OA) del 69,73% e un mIoU del 48,83%.
  • Ha superato il secondo miglior modello (DenseCLIP) del 1,64% in OA e del 1,39% in mIoU.
  • Sono state osservate migliorie notevoli in classi impegnative come "strade" e "alberi".

• Prestazioni su YESeg-OPT-SAR:

  • TSMNet ha raggiunto un OA dell'85,33% e un mIoU del 66,69%.
  • Ha superato DenseCLIP (85,13% OA, 65,47% mIoU) e altri baseline multimodali.
  • L'analisi qualitativa ha mostrato che TSMNet ha ridotto significativamente gli errori di classificazione errata (ad esempio, confondere terreni nudi con vegetazione bassa) rispetto ai modelli che si basano esclusivamente su caratteristiche visive.

• Studi di Ablazione:

  • La rimozione della rete di fusione multimodale ha ridotto il mIoU di circa l'1,8%.
  • La rimozione della guida in linguaggio naturale (utilizzando solo dati visivi) ha fatto crollare le prestazioni in modo significativo, dimostrando che le descrizioni testuali sono fondamentali per colmare il divario semantico e migliorare la generalizzazione.

5. Significato

• Cambiamento di Paradigma: Questo lavoro stabilisce un nuovo paradigma per l'analisi spiegabile del telerilevamento integrando la conoscenza testuale, rendendo le decisioni del modello più interpretabili e allineate alla cognizione umana (comprensione dal globale al locale).
• Generalizzazione: Sfruttando le capacità a vocabolario aperto, il modello può adattarsi a nuovi scenari geografici e tipi di sensori senza riaddestramento su insiemi di classi fisse, aggiornando semplicemente i prompt testuali.
• Risorsa Dati: Il rilascio di due nuovi dataset vision-language affronta un collo di bottiglia critico nel settore, fornendo un benchmark per la futura ricerca nel telerilevamento multimodale.
• Applicazione Pratica: La capacità di definire categorie tramite linguaggio naturale permette ai non esperti di generare mappe di uso del suolo personalizzate, potenziando l'utilità del telerilevamento nella pianificazione urbana, nella risposta ai disastri e nel monitoraggio ambientale.