TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation

Il paper presenta TherA, un framework di traduzione controllabile da RGB a infrarossi termici che, sfruttando un modello visivo-linguistico per generare embedding termicamente consapevoli e un traduttore basato su diffusione latente, supera i limiti degli approcci esistenti producendo immagini termiche realistiche e fisicamente plausibili con un controllo fine su condizioni ambientali e stati degli oggetti.

L'essenziale

Immagina di avere una macchina fotografica normale (quella che vedi su ogni smartphone) e di voler trasformare le sue foto in immagini termiche, come quelle usate dai vigili del fuoco per vedere attraverso il fumo o dalle telecamere di sicurezza notturne per vedere il calore.

Il problema è che le immagini termiche non sono semplicemente foto "colorate di rosso e blu". Sono una mappa della temperatura. Una macchina parcheggiata da ore è fredda, mentre una che ha appena spento il motore è calda. Se provi a trasformare una foto normale in una termica usando i vecchi metodi, l'intelligenza artificiale spesso sbaglia: fa sembrare calda anche l'auto parcheggiata, perché "pensa" che tutte le auto siano calde, ignorando la fisica del calore.

TherA è il nuovo "maghetto" che risolve questo problema. Ecco come funziona, spiegato in modo semplice:

1. Il Problema: L'IA che "non ha senso del calore"

Fino a poco tempo fa, trasformare una foto normale in una termica era come chiedere a un pittore di dipingere un quadro termico guardando solo un disegno a matita. Il pittore sapeva che c'era un'auto, ma non sapeva se il motore era acceso o spento. Risultato? Dipinse un'auto che sembrava un forno acceso, anche se era parcheggiata da giorni.

2. La Soluzione: TherA (Il "Fisico Termico")

Gli autori di questo studio hanno creato TherA, che si basa su due parti principali che lavorano insieme come un duo perfetto:

• Il "Fisico Termico" (TherA-VLM): Prima di disegnare, il sistema ha un "esperto" (un modello linguistico intelligente) che guarda la foto normale e la descrive non solo con parole, ma con concetti fisici.

  • L'analogia: Immagina di chiedere a un fisico: "Guarda questa foto. C'è un'auto? Sì. È accesa? No, è parcheggiata. È una giornata di sole? Sì, quindi l'asfalto è caldo. C'è pioggia? No."
  • Questo esperto non dice solo "c'è un'auto", ma crea una "ricetta del calore" precisa: Auto spenta (fredda) + Asfalto sotto il sole (caldo).

• Il "Pittore Diffusivo" (Il Traduttore): Una volta che il "Fisico Termico" ha scritto la ricetta, passa il compito al "Pittore". Questo pittore è un'IA molto potente (basata sulla tecnologia Diffusion, la stessa che crea immagini da testo) che sa disegnare immagini termiche realistiche.

  • Il pittore non indovina più a caso. Segue la ricetta del fisico. Se la ricetta dice "auto spenta", il pittore disegna l'auto fredda (blu/nera). Se dice "asfalto al sole", lo disegna caldo (bianco/giallo).

3. La Magia: Il Controllo Totale

La cosa più incredibile di TherA è che puoi dargli ordini specifici, come se stessi parlando con un assistente personale:

• Cambiare il meteo: Puoi dire: "Trasforma questa foto di giorno in una foto termica di notte sotto la pioggia". L'IA capirà che di notte l'asfalto si raffredda e che la pioggia cambia come si vede il calore.
• Cambiare lo stato degli oggetti: Puoi dire: "Questa auto è parcheggiata, ma fammi vedere come apparirebbe se fosse in movimento con il motore caldo". L'IA riscriverà la "ricetta del calore" per quell'oggetto specifico e ridisegnerà l'immagine di conseguenza, rendendo caldo il motore e le ruote, ma lasciando il resto uguale.

4. Perché è importante?

Raccogliere migliaia di foto termiche reali è costosissimo e difficile (serve una telecamera speciale che costa molto).
TherA permette di creare milioni di foto termiche fake ma realistiche partendo da foto normali che abbiamo già in abbondanza.

• Per i robot e le auto a guida autonoma: Possono allenarsi a "vedere" al buio o nella nebbia usando queste foto generate, senza dover aspettare di andare fuori a fare foto reali in condizioni pericolose.
• Per la sicurezza: Si possono creare dataset per addestrare sistemi di allarme che funzionano anche di notte.

In sintesi

TherA è come avere un traduttore universale che non si limita a cambiare le parole (o i colori), ma capisce la storia dietro l'immagine. Sa che un motore caldo è diverso da un motore freddo, che il sole scalda il cemento e che la pioggia lo raffredda.

Grazie a questo sistema, possiamo trasformare qualsiasi foto normale in una mappa del calore credibile, controllabile e perfetta per addestrare le intelligenze artificiali del futuro, risparmiando tempo e denaro.

Sommario tecnico

1. Il Problema

L'imaging nell'infrarosso termico (TIR) offre vantaggi significativi per la percezione in condizioni di scarsa visibilità, ma la raccolta e l'annotazione di grandi dataset termici sono costose e lente a causa della necessità di sensori specializzati e della difficoltà di etichettare immagini a bassa texture.
I simulatori basati sulla fisica mitigano parzialmente questo problema, ma spesso coprono scenari limitati e richiedono ingegneria complessa per modellare il comportamento termico specifico degli oggetti. Di conseguenza, molti approcci ricorrono alla traduzione da RGB a TIR per generare dati pseudo-termici.

Tuttavia, la traduzione RGB-to-TIR presenta sfide fondamentali:

• Ambiguità intrinseca: L'aspetto termico non è una semplice rielaborazione stilistica dell'RGB; dipende da fattori fisici come l'emissività del materiale, le fonti di calore attive e le condizioni ambientali (ora del giorno, meteo). Un singolo input RGB può corrispondere a molteplici output termici validi.
• Mancanza di fisica termica: I metodi attuali trattano spesso il compito come un trasferimento di stile a livello di pixel, ignorando la fisica del calore. Questo porta a risultati implausibili (es. un'auto parcheggiata che appare calda come una in movimento).
• Mancanza di controllo: I modelli esistenti tendono a mappature deterministiche uno-a-uno, non permettendo agli utenti di controllare variabili come lo stato degli oggetti (attivo/passivo) o le condizioni meteorologiche.

2. Metodologia: Il Framework TherA

TherA è un framework di traduzione controllabile composto da due componenti sinergiche:

A. TherA-VLM (Thermal-Aware Vision-Language Model)

È il cuore semantico del sistema. Invece di usare prompt testuali generici, TherA-VLM analizza l'immagine RGB di input (e un prompt utente) per generare un embedding termico compatto ($h_N$) che codifica la fisica della scena.

• Input: Immagine RGB + Prompt utente (es. "meteo nuvoloso" o un'immagine di riferimento).
• Output: Uno schema strutturato e canonizzato che descrive:
  • Scena: Ora del giorno, meteo, ambiente.
  • Oggetti: Categorie, materiali, posizioni.
  • Stato di emissione termica: Distinzione critica tra oggetti "attivi" (che emettono calore, es. motori accesi, persone) e "passivi" (raffreddati dall'ambiente).
• Addestramento: Basato su R2T2, un nuovo dataset di 100k triplette (RGB-TIR-testo) creato utilizzando un modello di ragionamento multimodale (Gemini 2.5 Pro) per generare descrizioni termiche canonizzate. Il modello è un LLaVA 1.5 fine-tunato con LoRA.

B. Modulo di Diffusione Condizionato dal VLM

Un modello di diffusione latente (basato su UNet e Stable Diffusion) genera l'immagine TIR finale.

• Condizionamento: L'UNet riceve in input non solo il latente RGB, ma anche l'embedding termico ($h_N$) prodotto da TherA-VLM, proiettato tramite un adattatore specifico (TE-Adapter).
• Meccanismo: Questo sostituisce i classici embedding CLIP testuali, permettendo al modello di diffusione di generare immagini termiche che rispettano la fisica del calore e il contesto della scena.
• Controllo: Il sistema supporta due modalità di controllo:
  1. Guidato dal testo: Modifica delle condizioni globali (es. da "soleggiato" a "piovoso").
  2. Guidato dall'immagine di riferimento: L'utente fornisce un'immagine RGB di riferimento (es. un'auto accesa) per trasferire specifiche proprietà termiche (es. rendere un'auto specifica "attiva" e calda) senza alterare la geometria della scena.

3. Contributi Chiave

1. Condizionamento VLM Consapevole del Calore: Introduzione di TherA-VLM, che traduce l'input visivo in un embedding semantico-fisico, risolvendo l'ambiguità della mappatura RGB-TIR.
2. Controllo Termico Interattivo: Primo framework che permette di modulare l'aspetto termico (stato degli oggetti, meteo, ora del giorno) tramite testo o immagini di riferimento, mantenendo la coerenza geometrica.
3. Dataset R2T2: Creazione e rilascio di un dataset su larga scala (100k triplette) con descrizioni termiche strutturate, fondamentale per l'addestramento di modelli fisicamente plausibili.
4. Prestazioni SOTA: Risultati superiori rispetto agli stati dell'arte su benchmark standard (M3FD, FLIR) e forte capacità di generalizzazione zero-shot.

4. Risultati Sperimentali

• Quantitativi: TherA supera tutti i modelli baselines (inclusi DiffV2IR, F-ViTA, ThermalGen) su metriche come PSNR, SSIM, FID e LPIPS. Mostra un aumento medio del 33% nelle prestazioni di traduzione zero-shot.
• Qualitativi:
  • Coerenza Fisica: A differenza di altri modelli che generano calore artificiale, TherA distingue correttamente tra oggetti attivi (es. auto in movimento con scarichi caldi) e passivi (auto parcheggiate fredde).
  • Generalizzazione: Esegue traduzioni realistiche su dataset non visti durante l'addestramento (es. Cityscapes, NuScenes), preservando dettagli strutturali e distribuzioni termiche realistiche.
  • Controllo: Dimostra la capacità di simulare cicli giorno-notte (inversione termica) e cambiamenti meteorologici, e di modificare lo stato termico di oggetti specifici in una scena.
• Valutazione a valle (Downstream): L'uso di dati pseudo-TIR generati da TherA per l'addestramento di modelli di segmentazione termica e matching RGB-TIR porta a prestazioni superiori rispetto all'uso di dati generati da altri metodi o all'addestramento diretto su dati reali limitati.

5. Significato e Impatto

TherA rappresenta un passo avanti significativo nel campo della visione artificiale multimodale:

• Superamento del "Gap" Fisico: Sposta il paradigma dalla semplice traduzione di stile alla generazione guidata da principi fisici e ragionamento semantico.
• Scalabilità dei Dati: Risolve il collo di bottiglia della raccolta dati termici, permettendo la creazione di dataset pseudo-termici diversificati, controllabili e fisicamente plausibili per addestrare algoritmi di percezione robusti.
• Versatilità: La capacità di controllare lo stato termico degli oggetti apre nuove possibilità per la simulazione di scenari critici (es. guida autonoma in diverse condizioni termiche) senza la necessità di costose acquisizioni reali.

In sintesi, TherA non si limita a "colorare" le immagini in scala di grigi termici, ma ragiona su come la scena dovrebbe apparire termicamente, offrendo un controllo fine e risultati fisicamente coerenti.