Riepilogo Tecnico: UNIV – Modello Fondamentale Unificato per Modalità Infrarosse e Visibili

1. Enunciato del Problema

I recenti progressi nei modelli fondamentali hanno prodotto risultati impressionanti nelle attività a singola modalità per i domini visibili (RGB) e infrarossi (IR). Tuttavia, persiste un significativo "divario cross-dominio" quando si applicano questi modelli tra le diverse modalità. Gli autori identificano la causa radice come una scorciatoia di pattern: i modelli addestrati su una singola modalità tendono a fare affidamento su indici superficiali specifici del sensore (ad esempio, colore e luminosità in RGB, o intensità termica in IR) piuttosto che su strutture semantiche sottostanti.

Di conseguenza, quando un modello addestrato su IR viene applicato a dati RGB, spesso localizza erroneamente l'attenzione basandosi su indici di luminosità, e viceversa. Gli approcci esistenti mancano di un codificatore unificato capace di produrre caratteristiche semanticamente coerenti per entrambe le modalità, limitando la generalizzazione in contesti di percezione diversificati (solo RGB, solo IR o scenari congiunti RGB-IR).

2. Metodologia

Il documento propone UNIV, un modello fondamentale unificato progettato per colmare il divario tra le modalità infrarosse e visibili. Il nucleo di UNIV è una strategia auto-supervisionata chiamata Apprendimento Contrastivo Incrociato tra Patch (PCCL).

2.1. Architettura Principale

UNIV utilizza un codificatore addestrabile ($E_{train}$) e un codificatore RGB pre-addestrato e congelato ($E_{frozen}$) inizializzato da un modello pre-addestrato su ImageNet (nello specifico MCMAE).

• Input: Coppie di immagini visibili RGB e infrarosse.
• Estrazione delle Caratteristiche: Il codificatore addestrabile estrae le caratteristiche ($F^V$ per il visibile, $F^I$ per l'infrarosso) per entrambe le modalità.
• Obiettivo: Apprendere uno spazio delle caratteristiche unificato in cui le caratteristiche della stessa classe semantica si raggruppano insieme attraverso le modalità, mentre le caratteristiche di classi diverse vengono allontanate.

2.2. Ancore di Patch Guidate dall'Attenzione

Per guidare l'apprendimento senza etichette di verità fondamentale, UNIV sfrutta i prior semantici codificati nel codificatore RGB congelato ($E_{frozen}$).

• Generazione di Pseudo-etichette: La mappa di attenzione dell'ultimo livello da $E_{frozen}$ applicata alla modalità visibile viene utilizzata per determinare la similarità semantica tra le patch dell'immagine.
• Mascheramento Binario: Questa mappa di attenzione viene convertita in una matrice di pseudo-etichette binarie ($M^A$) utilizzando tre regole:
  1. Auto-similarità: Gli elementi diagonali sono impostati a 1.
  2. Selezione della Correlazione: Per ogni patch, le $m$ patch più correlate (basate sui punteggi di attenzione) sono contrassegnate come positive (1) fino al raggiungimento di una soglia cumulativa $\gamma$.
  3. Soppressione della Dissimilarità: Tutte le altre voci sono impostate a 0.
• Ancore: Le caratteristiche del codificatore congelato fungono da ancore semantiche ($F^A$) contro cui vengono allineate le uscite del codificatore addestrabile.

2.3. Apprendimento Contrastivo Incrociato tra Patch (PCCL)

La strategia di ottimizzazione allinea le rappresentazioni del codificatore addestrabile con le ancore semantiche definite da $M^A$.

• Obiettivo: Il modello minimizza la dissimilarità tra le coppie negative (classi diverse) e massimizza la similarità tra le coppie positive (stessa classe) attraverso le modalità.
• Funzione di Perdita: Gli autori formulano la perdita come una perdita di Cross-Entropia Binaria (BCE) tra la matrice di pseudo-etichette $M^A$ e la sigmoide della matrice di similarità derivata dalle caratteristiche addestrabili.
  • $L_{IA}$: Allinea le caratteristiche Infrarosse alle ancore.
  • $L_{VA}$: Allinea le caratteristiche Visibili alle ancore (per prevenire l'oblio catastrofico delle prestazioni RGB).
  • Perdita Totale: $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$.
• Meccanismo: Questo processo avvicina le patch semanticamente rilevanti attraverso le modalità e allontana quelle non correlate, ricostruendo efficacemente uno spazio delle caratteristiche unificato che dà priorità alla struttura semantica rispetto ai pattern specifici del sensore.

2.4. Dataset MVIP

Per supportare questo apprendimento cross-modale, gli autori introducono MVIP (Coppie Visibili Infrarosse Multi-scena), un benchmark completo contenente 98.992 coppie di immagini precisamente allineate.

• Fonti: Curato da cinque dataset pubblici: FLIR-Align, KAIST, DroneVehicle, LLVIP e LasHeR.
• Copertura: Scenari diversificati inclusi guida urbana, sorveglianza e viste aeree da drone, che coprono sia condizioni diurne che notturne.

3. Contributi Chiave

1. Apprendimento Contrastivo Incrociato tra Patch (PCCL): Un metodo auto-supervisionato che riduce adattivamente il divario delle caratteristiche cross-modale migliorando al contempo la discriminabilità inter-classe utilizzando pseudo-etichette guidate dall'attenzione.
2. Dataset MVIP: Il più grande benchmark visibile-infrarosso a oggi, che fornisce una solida base per la ricerca cross-modale robusta con quasi 100k coppie allineate.
3. Prestazioni allo Stato dell'Arte: UNIV ottiene risultati superiori nelle attività infrarosse mantenendo al contempo un'accuratezza competitiva nelle attività RGB.

4. Risultati Sperimentali

Sono stati condotti esperimenti estensivi su compiti di segmentazione semantica e rilevamento di oggetti.

4.1. Segmentazione Semantica Infrarossa (MSRS-IR)

• Prestazioni: UNIV (variante LoRA) ha raggiunto 76.0 mIoU, superando il precedente stato dell'arte (InfMAE) di +1.7 mIoU.
• Efficienza: Questo miglioramento è stato ottenuto aggiornando solo 1,8M di parametri (circa il 2% del totale di 88,7M parametri) tramite LoRA.
• Pre-addestramento Completo: La variante a parametri completi ha raggiunto 76,6 mIoU.

4.2. Rilevamento di Oggetti Infrarossi (M3FD-IR)

• Prestazioni: UNIV (LoRA) ha raggiunto 56,9 mAP e 88,7 AP50, superando InfMAE di +0,7 mAP.
• Osservazione: Gli autori notano che il pre-addestramento a parametri completi ha prodotto risultati di rilevamento leggermente subottimali rispetto a LoRA, attribuendo ciò a un'ottimizzazione eccessiva della similarità delle patch a scapito della ricchezza semantica all'interno delle singole patch, che è critica per il rilevamento.

4.3. Attività a Valle RGB

• Preservazione delle Prestazioni RGB: UNIV ha mantenuto prestazioni competitive nelle attività RGB, raggiungendo 79,0 mIoU su MSRS-RGB (uguagliando la baseline) e 51,2 mIoU su ADE20K (mantenendo il 99% della capacità originale di MCMAE).
• Significato: Ciò dimostra che UNIV costruisce con successo uno spazio unificato senza causare "collasso della modalità" o oblio catastrofico delle capacità RGB originali.

4.4. Analisi dello Spazio delle Caratteristiche

• Allineamento: L'analisi della Distanza del Trasportatore di Terra (EMD) ha mostrato che UNIV ha migliorato significativamente l'allineamento cross-modale, con caratteristiche della stessa categoria che si raggruppano più vicine rispetto a quelle di categorie diverse.
• Separabilità: Le visualizzazioni t-SNE hanno confermato che UNIV ottiene una migliore separabilità inter-classe rispetto ai modelli a singola modalità come MCMAE o InfMAE.

5. Significato e Affermazioni

Il documento afferma che UNIV offre una soluzione generale e scalabile per la costruzione di uno spazio delle caratteristiche semantiche cross-modale unificato. Il suo significato principale risiede nell'affrontare il problema della "scorciatoia di pattern", in cui i modelli non riescono a generalizzare tra le modalità a causa dell'affidamento su indici superficiali del sensore.

Integrando PCCL, UNIV ricostruisce uno spazio delle caratteristiche semantiche unificato efficace che raggiunge:

1. Allineamento Cross-modale Robusto: Garantendo rappresentazioni delle caratteristiche coerenti per gli stessi oggetti semantici indipendentemente dalla modalità del sensore.
2. Forte Separabilità Semantica Inter-classe: Migliorando la capacità del modello di distinguere tra diverse classi di oggetti.

Gli autori sottolineano che questo approccio consente un'adattamento efficiente (tramite LoRA) alle attività infrarosse senza sacrificare le capacità originali del modello sulle attività visibili, fornendo un percorso pratico per il dispiegamento di sistemi di percezione robusti in diverse condizioni meteorologiche e di illuminazione. L'introduzione del dataset MVIP è inoltre evidenziata come una risorsa critica per la ricerca futura in questo dominio.