Riepilogo Tecnico: Thermo-VL

Enunciato del Problema

I Modelli Vision-Language (VLM) hanno ottenuto risultati significativi nella comprensione di immagini open-ended e nel Visual Question Answering (VQA) grazie al fine-tuning su istruzioni su grandi dataset RGB. Tuttavia, questi modelli ereditano le modalità di fallimento del rilevamento nello spettro visibile. In condizioni di scarsa illuminazione, abbagliamento, foschia o fumo, le immagini RGB spesso perdono prove critiche della scena, rendendo i VLM standard fragili in scenari safety-critical come la guida notturna, la ricerca e soccorso, e l'ispezione in bassa visibilità.

Mentre le immagini infrarosse termiche (IR) preservano la struttura complementare della scena (ad esempio, esseri umani, animali, veicoli caldi) quando i segnali visibili si degradano, gli approcci attuali per integrare i dati termici nei VLM sono subottimali. Le soluzioni comuni prevedono la traduzione delle immagini termiche in pseudo-RGB prima di inserirle nei VLM addestrati su RGB. Questa pipeline basata sulla traduzione introduce un collo di bottiglia generativo, rischia di allucinare dettagli in stile visibile e sopprime informazioni specifiche della modalità non rappresentate naturalmente nello spazio RGB. Inoltre, i dataset esistenti RGB-termici (ad esempio, KAIST, FLIR-ADAS) sono progettati principalmente per il rilevamento o il tracciamento e mancano della supervisione linguistica necessaria per il fine-tuning su istruzioni e il ragionamento open-ended.

Metodologia

Gli autori presentano Thermo-VL, un VLM consapevole della lunghezza d'onda basato sul backbone Molmo-7B-D. L'architettura è progettata per integrare input RGB e termici allineati senza destabilizzare l'interfaccia RGB-linguaggio preaddestrata o richiedere un costoso riaddestramento dell'intero backbone.

Architettura

1. Doppi Codificatori Visivi:

   • Flusso RGB: Utilizza la torre visiva preaddestrata Molmo congelata ($\phi_R$).
   • Flusso Termico: Utilizza un codificatore ViT-L/14 ($\phi_T$) inizializzato da un Masked Autoencoder (MAE) preaddestrato su un corpus infrarosso multibanda aggregato (KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE). Per mantenere la compatibilità con l'aspettativa di input a 3 canali di Molmo, le immagini termiche a singolo canale vengono replicate su tre canali.
   • Efficienza Parametrica: Durante l'addestramento, il codificatore RGB e il Modello Linguistico (LLM) rimangono congelati. Vengono aggiornati solo gli ultimi $N_\ell=4$ blocchi transformer del codificatore termico, il LayerNorm termico e il modulo di fusione.

2. Modulo di Fusione a Doppia Attenzione Guidata dal Testo:
   L'innovazione centrale è un blocco di fusione che condiziona le caratteristiche termiche sia sul prompt linguistico che sul contesto RGB prima di iniettarle nel flusso RGB congelato.

   • Input: Token RGB allineati ($R$), token termici ($T$) e embedding del prompt ($P$).
   • Doppia Attenzione: I token termici vengono raffinati tramite due percorsi di attenzione paralleli:
     • Percorso Guidato dal Testo: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
     • Percorso Guidato da RGB: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
   • Raffinamento: Questi percorsi vengono fusi con le caratteristiche termiche originali per produrre una rappresentazione raffinata $\hat{T}$.
   • Iniezione Residuale Gateata: Invece di sostituire i token RGB, il modello prevede un residuo $\Delta R$ da $\hat{T}$ e lo modula con gate a livello di token $\alpha$. I token fusi finali sono calcolati come:
     $$R^\dagger = R + \alpha \odot \Delta R$$
     Questo design garantisce che la fusione sia consapevole della query e preservi l'interfaccia RGB-linguaggio preaddestrata, consentendo al contempo un'iniezione mirata di prove termiche.

Obiettivo di Addestramento

Il modello è ottimizzato utilizzando una funzione di perdita composita:
$$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$$

• $L_{LM}$: Perdita standard di entropia incrociata autoregressiva per l'attività di modellazione linguistica.
• $L_{align}$: Allineamento L2 a livello di token tra caratteristiche RGB e termiche per imporre la coerenza cross-modale.
• $L_{contr}$: Perdita contrastiva (InfoNCE) per allineare le rappresentazioni semantiche globali di RGB, termico e testo.
• $L_{gate}$: Regolarizzazione dell'entropia sul meccanismo di gate per prevenire la saturazione del gate (cioè, impedire al modello di ignorare completamente una modalità).
• Aumento: Viene adottata una strategia di mascheramento RGB a blocchi durante l'addestramento, mascherando casualmente il 10% dell'area dell'immagine RGB per ridurre l'eccessiva dipendenza dallo spettro visibile.

Contributi Chiave

1. VLM Consapevole della Lunghezza d'Onda: Introduzione di Thermo-VL, che integra input RGB e termici accoppiati tramite un modulo di fusione a doppia attenzione guidato dal testo con iniezione residuale gateata a livello di token, mantenendo congelata la torre RGB e l'LLM.
2. Adattamento Efficiente in Termini Parametrici: Una strategia di fine-tuning che aggiorna solo gli ultimi pochi blocchi del codificatore termico e i parametri di fusione, regolarizzati da allineamento a livello di token, supervisione contrastiva ed entropia del gate.
3. Supervisione Linguistica Unificata RGB-Termica:
   • Dataset: Un dataset di fine-tuning su istruzioni RGB-termico allineato a livello di pixel contenente circa 19.500 coppie di immagini e circa 54K coppie QA, costruito da dataset pubblici e aumento termico sintetico (utilizzando F-ViTA) sui dati PixMo-cap-qa.
   • Benchmark: Thermo-VL-Bench, un benchmark VQA binario selezionato manualmente con circa 3.148 coppie di immagini e circa 15K coppie QA, progettato per il ragionamento in bassa luminosità e cross-spettrale.

Risultati Sperimentali

Gli esperimenti sono stati condotti su Thermo-VL-Bench e sul esterno RGB-Th Bench.

• Thermo-VL-Bench:

  • RGB+Termico: Thermo-VL ha raggiunto un'accuratezza del 88,96%, un miglioramento sostanziale rispetto alla baseline Molmo (75,79%) quando entrambe le modalità sono state fornite.
  • Solo Termico: Migliorato dal 81,20% (Molmo) al 82,23%.
  • Solo RGB: Le prestazioni sono state preservate al 88,67%, pari alla baseline, dimostrando che il meccanismo di fusione non degrada le capacità RGB esistenti.
  • Complessivo: Thermo-VL ha ottenuto il punteggio combinato più alto (86,37%) tra tutti i modelli confrontati (inclusi InternVL, Qwen2.5-VL e LLaVA-Next).

• RGB-Th Bench:

  • Thermo-VL ha eguagliato la baseline Molmo sui task di testo solo RGB (77,25%) ma ha migliorato significativamente le prestazioni sui task di testo RGB-Termico, passando dal 60,84% al 69,15%.

• Studi di Ablazione:

  • La rimozione dell'attenzione guidata dal testo ha causato il calo di prestazioni più grande (88,96% $\to$ 82,34%), confermando l'importanza della fusione consapevole della domanda.
  • La rimozione del residuo gateato o dell'attenzione guidata da RGB ha anche degradato le prestazioni, validando il ruolo del design nel preservare l'interfaccia RGB mentre integra i dati termici.
  • Le perdite ausiliarie ($L_{contr}$ e $L_{gate}$) sono state mostrate critiche per la coerenza cross-modale e per prevenire il collasso della modalità.

Significato e Affermazioni

Il documento afferma che una fusione multispettrale esplicita e condizionata dal prompt permette ai segnali termici di integrare efficacemente i dati RGB quando fusi all'interno del modello, piuttosto che essere aggiunti a livello di input o tradotti in pseudo-RGB. Thermo-VL dimostra che è possibile estendere potenti VLM preaddestrati alla percezione termica senza destabilizzare la loro interfaccia RGB-linguaggio preaddestrata.

Gli autori posizionano Thermo-VL come un prototipo di ricerca piuttosto che un sistema pronto per il deployment. Riconoscono le limitazioni, inclusa l'assunzione di input spazialmente allineati, l'uso di supervisione QA generata dal modello che potrebbe introdurre artefatti, e il fatto che Thermo-VL-Bench sia un benchmark selezionato manualmente e generato dal modello piuttosto che uno completamente redatto da esseri umani. Il lavoro è destinato a supportare la ricerca nell'apprendimento vision-language multispettrale e nel fine-tuning su istruzioni in condizioni di scarsa illuminazione, piuttosto che servire come base autonoma per il processo decisionale safety-critical.