TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation

Each language version is independently generated for its own context, not a direct translation.

¡Hola! Imagina que quieres enseñar a un robot a "ver" con cámaras térmicas (esas que ven el calor en lugar de la luz), pero tienes un gran problema: no tienes suficientes fotos reales de calor para entrenarlo. Conseguir esas fotos es caro y difícil.

La solución de los investigadores no fue ir a la calle a tomar más fotos, sino crear un "traductor de calor" inteligente. Presentan TherA, una herramienta que toma una foto normal (RGB) y la convierte en una foto térmica realista, pero con un giro genial: puedes decirle exactamente cómo debe comportarse el calor.

Aquí te lo explico con analogías sencillas:

1. El Problema: El Traductor "Ciego"

Antes, las máquinas que convertían fotos normales a térmicas funcionaban como un traductor de idiomas que solo miraba las palabras, pero no entendía la historia.

Si veían un coche, lo pintaban de "caliente" porque los coches suelen tener motores.
El error: Si el coche estaba aparcado y apagado, el traductor antiguo seguía pintándolo de caliente. ¡Falso! Un coche apagado está frío.
Las fotos térmicas no son solo un "filtro de color" como en Instagram; dependen de la física: qué materiales son, si hay gente dentro, si está lloviendo o si es de día o de noche.

2. La Solución: TherA (El "Cocinero" con Receta)

TherA es como un chef de alta cocina que no solo sigue una receta, sino que entiende la física de los ingredientes.

El Chef Inteligente (TherA-VLM): Antes de cocinar, el sistema tiene un "chef experto" (un modelo de lenguaje e inteligencia visual) que mira la foto normal y dice: "Es un día lluvioso, ese coche está encendido y caliente, pero ese otro está aparcado y frío, y el asfalto está húmedo".
La Receta (El Embedding Térmico): El chef escribe una "receta" secreta (una descripción técnica) que resume todo ese calor y comportamiento físico.
El Cocinero (El Modelo de Difusión): Luego, un segundo sistema toma esa receta y pinta la foto térmica. Como tiene la receta, sabe exactamente dónde poner el calor y dónde el frío.

3. El Superpoder: Control Total (¡Tú eres el Director!)

Lo más increíble de TherA es que tú eres el director de la película. Puedes pedirle cambios que las cámaras reales no podrían captar fácilmente:

Cambio de Clima: Tienes una foto de un día soleado, pero quieres ver cómo se vería si lloviera. TherA lo hace instantáneamente, enfriando el asfalto y cambiando los reflejos.
Cambio de Estado: Tienes una foto de un coche parado. Puedes decirle: "¡Haz que este coche esté encendido!" y verás cómo el motor y los tubos de escape se vuelven rojos y brillantes en la foto térmica. O al revés: "Apaga ese coche".
Cambio de Hora: Puedes tomar una foto de día y pedirle: "Muéstrame esto de noche". TherA simula cómo se enfriaría todo, algo muy difícil de hacer con fotos reales de noche porque suelen ser oscuras y borrosas.

4. ¿Por qué es importante?

Imagina que quieres entrenar a un coche autónomo para que no choque en la niebla o de noche. Necesitas miles de horas de videos térmicos.

Antes: Iba a ser imposible conseguir tantos datos.
Ahora con TherA: Tomas fotos normales (que son baratas y fáciles de conseguir) y usas TherA para generar millones de versiones térmicas con diferentes climas y estados. Es como tener una máquina del tiempo y del clima para crear datos de entrenamiento ilimitados.

En resumen

TherA es como un simulador de realidad virtual para el calor. No solo convierte una foto normal en una térmica, sino que entiende la física del calor (qué se calienta, qué se enfría) y te deja jugar con el mundo: cambiar el clima, encender o apagar objetos, y ver cómo reacciona el calor en tiempo real. ¡Es magia, pero basada en física!

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo "TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation" en español.

1. El Problema

La imagen térmica infrarroja (TIR) es crucial para la percepción en condiciones de baja visibilidad, pero la recolección y anotación de grandes conjuntos de datos TIR es costosa y lenta debido al hardware especializado y la dificultad de etiquetar imágenes de baja textura.

Las soluciones actuales de traducción de RGB a TIR (síntesis de datos pseudo-TIR) presentan dos limitaciones principales:

Falta de física térmica: La mayoría de los métodos se basan en priores centrados en el RGB (transferencia de estilo), ignorando la física de la emisión de calor. Esto genera distribuciones de calor implausibles (ej. un coche estacionado aparece caliente como si estuviera en marcha).
Falta de control: Los modelos actuales suelen mapear uno a uno (determinista), lo que no permite controlar variables como el estado del objeto (activo vs. inactivo), el clima o la hora del día, limitando la diversidad de los datos sintéticos.

2. Metodología: El Framework TherA

TherA es un marco de traducción controlable que combina un Modelo de Lenguaje Visión-Lenguaje Consciente Térmicamente (TherA-VLM) con un traductor basado en difusión latente.

A. Dataset R2T2

Para entrenar el sistema, los autores construyeron R2T2, un conjunto de datos de 100k pares alineados de RGB-TIR acompañados de descripciones textuales estructuradas.

Generación de Texto: Utilizaron un modelo de razonamiento multimodal (Gemini 2.5 Pro) para analizar pares RGB-TIR y generar descripciones que no solo narran la escena, sino que codifican factores físicos relevantes: escena (hora, clima), objetos, materiales (emisividad) y estados de emisión de calor (activo/pasivo).
Esquema Canónico: El texto se normaliza a un esquema estructurado para reducir el ruido lingüístico y proporcionar señales de supervisión consistentes.

B. TherA-VLM (Modelo de Lenguaje Visión-Lenguaje)

Este componente es el núcleo de la "conciencia térmica".

Arquitectura: Basado en LLaVA 1.5, fine-tuneado con LoRA.
Función: Dada una imagen RGB y una instrucción del usuario, el modelo no genera una descripción libre, sino un esquema canónico que se comprime en un embedding térmico compacto ( $h_N$ ).
Ventaja: A diferencia de los VLMs estándar que describen la apariencia visual, TherA-VLM razona sobre cómo la escena debería radiar calor basándose en la física (ej. distinguir entre un motor caliente y uno frío).

C. Traductor Basado en Difusión Condicionado por VLM

Arquitectura: Un modelo de difusión latente (UNet) derivado de Stable Diffusion.
Condicionamiento: En lugar de usar embeddings de texto genéricos (como CLIP), el UNet se condiciona mediante el embedding térmico generado por TherA-VLM, inyectado a través de un adaptador (TE-Adapter).
Entrada: El modelo recibe el latente ruidoso de TIR y el latente de la imagen RGB de entrada.
Control: Permite dos tipos de control:
1. Guiado por Texto: Modificar atributos globales (ej. "clima lluvioso", "noche").
2. Guiado por Referencia: Usar una imagen RGB de referencia con el estado deseado (ej. un coche activo) para transferir ese estado térmico específico a la imagen de entrada, manteniendo la geometría de la escena original.

3. Contribuciones Clave

Condicionamiento con VLM Consciente Térmicamente: Propone TherA-VLM para generar embeddings que codifican la física del calor (materiales, estado activo/pasivo), resolviendo la ambigüedad del mapeo RGB-TIR.
Traducción Térmica Controlable: Es el primer marco que permite controlar explícitamente el estado térmico de objetos y condiciones ambientales (clima, hora) sin alterar la geometría de la escena.
Dataset R2T2: Lanzamiento de un nuevo dataset masivo con descripciones térmicas estructuradas para entrenar modelos de visión-lenguaje en el dominio térmico.
Rendimiento SOTA: Logra el estado del arte en benchmarks estándar (FLIR, M3FD) y demuestra una generalización zero-shot superior.

4. Resultados y Evaluación

Rendimiento Cuantitativo: TherA supera a todos los métodos state-of-the-art (incluyendo DiffV2IR, F-ViTA, ThermalGen) en métricas estándar (PSNR, SSIM, FID, LPIPS).
- En evaluación zero-shot, muestra un aumento promedio del 33% en el rendimiento sobre todas las métricas en comparación con los baselines.
Calidad Física: A diferencia de los baselines que a menudo muestran coches estacionados con calor excesivo o texturas suaves sin estructura térmica, TherA produce distribuciones de calor coherentes con la física (ej. motores calientes, superficies frías de noche).
Evaluación en Tareas Descendentes:
- Segmentación Térmica: Los modelos pre-entrenados con datos pseudo-TIR de TherA logran mejores resultados en segmentación semántica (mIoU) que los entrenados con datos reales o otros métodos sintéticos.
- Emparejamiento de Imágenes (Matching): TherA mejora significativamente la capacidad de los algoritmos de emparejamiento (LoFTR) para encontrar correspondencias entre RGB y TIR, demostrando que sus datos sintéticos capturan mejor las pistas cruzadas entre modalidades.
Control: Los experimentos cualitativos muestran que TherA puede cambiar exitosamente el estado de un vehículo de "activo" a "estacionado" o simular cambios de clima (lluvia, nieve) manteniendo la coherencia térmica.

5. Significado e Impacto

TherA representa un avance fundamental al pasar de la "transferencia de estilo" puramente visual a la traducción basada en razonamiento físico.

Solución a la Escasez de Datos: Permite la generación escalable de datos pseudo-TIR de alta calidad y físicamente plausibles, lo cual es vital para entrenar sistemas de visión por computadora en robótica y conducción autónoma donde los datos térmicos reales son escasos.
Interpretabilidad: Al utilizar un esquema estructurado y un VLM, el proceso de generación se vuelve más interpretable y controlable por el usuario.
Limitaciones: Actualmente opera en imágenes térmicas normalizadas (relativas), no en valores radiométricos absolutos, y depende de la calidad de la imagen RGB de entrada para inferir la geometría y el contexto.

En resumen, TherA establece un nuevo paradigma para la síntesis de imágenes térmicas, combinando la potencia de los modelos de difusión con el razonamiento semántico-físico de los modelos de lenguaje grandes.