TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation

O artigo apresenta o TherA, um framework inovador que combina um modelo de linguagem visual termicamente consciente com um tradutor baseado em difusão latente para gerar imagens infravermelhas térmicas realistas e controláveis a partir de imagens RGB, superando as limitações de abordagens anteriores ao incorporar princípios físicos térmicos e permitindo síntese diversificada com base em condições ambientais e de objetos.

O essencial

Imagine que você tem uma câmera normal (RGB) que vê o mundo como nós: cores, formas e luz. Agora, imagine que você quer ver o mundo como uma câmera térmica (infravermelho), que vê o calor e a energia, não as cores. Isso é incrível para ver à noite, através de fumaça ou para detectar pessoas escondidas.

O problema? Câmeras térmicas são caras e raras. Conseguir milhões de fotos térmicas para treinar computadores é difícil e demorado.

Aqui entra o TherA. Pense nele como um "Tradutor Mágico de Calor".

O Problema: A "Falsa Tradução"

Antes do TherA, existiam outros tradutores de imagem. Eles funcionavam como um pintor que só olhava para a cor da tinta. Se você mostrava um carro vermelho, o pintor o tornava "vermelho" na imagem térmica, sem pensar se o carro estava ligado ou desligado.

• O erro: Eles faziam um carro estacionado (frio) parecer quente, e um carro em movimento (quente) parecer frio, apenas copiando a cor da pintura. Isso é como tentar adivinhar a temperatura de um café só olhando para a cor da xícara.

A Solução: O TherA e seu "Físico de Bolso"

O TherA resolve isso com uma ideia brilhante: ele não apenas traduz cores, ele entende a física do calor.

O sistema tem dois "cérebros" trabalhando juntos:

1. O Detetive (TherA-VLM): Imagine um físico especialista em calor que olha para a foto normal e diz: "Ah, esse carro está ligado, o motor está quente e os pneus esquentaram. Aquele outro está estacionado há horas, então está frio como o asfalto. O céu está nublado, então o chão não está tão quente."

   • Em vez de apenas descrever a imagem ("um carro vermelho"), ele descreve a história térmica ("carro quente, motor ligado, dia nublado").

2. O Pintor (O Modelo de Difusão): Este é o artista que pinta a imagem térmica. Em vez de receber apenas a foto, ele recebe as instruções do Detetive.

   • Se o Detetive disser "carro quente", o Pintor pinta o carro brilhante e quente na imagem térmica.
   • Se o Detetive disser "carro frio", o Pintor pinta o carro escuro e frio.

O Poder do Controle: "Mude o Clima!"

A parte mais legal é que o TherA é controlável. Você pode pedir mudanças que a foto original não mostra:

• Texto: Você pode digitar: "Transforme isso em um dia chuvoso" ou "Mude para noite". O TherA entende que, à noite, o asfalto esfria e os carros parecem mais quentes em contraste. Ele recria a física do calor para aquela nova situação.
• Referência: Você pode mostrar uma foto de um carro estacionado e pedir: "Faça este carro parecer como se estivesse estacionado". O TherA vai "esfriar" o carro na imagem térmica, mesmo que na foto original ele pareça estar ligado.

Por que isso é um superpoder?

1. Treinamento de Robôs: Robôs e carros autônomos precisam "ver" no escuro. Com o TherA, podemos criar milhões de fotos térmicas falsas, mas realistas, para treinar esses robôs sem precisar de câmeras térmicas reais.
2. Precisão: Diferente dos antigos, o TherA não comete erros bobos. Ele sabe que um motor de carro quente brilha no infravermelho, mas uma parede de vidro fria não.
3. Flexibilidade: Ele permite simular cenários extremos (tempestades, noites geladas) a partir de uma única foto de dia ensolarado.

Resumo em uma Analogia

Imagine que você quer ensinar alguém a cozinhar um prato complexo, mas você não tem os ingredientes reais.

• Os métodos antigos eram como dar uma receita baseada apenas na cor do prato final. O resultado ficava com a cor certa, mas o gosto (a física do calor) estava errado.
• O TherA é como ter um Chef de Cozinha (o Detetive) que explica exatamente o que acontece no fogão: "O óleo está fumegando, a carne está selando, o vapor está subindo". Com essas instruções precisas, o Copo (o Pintor) consegue recriar o prato perfeito, mesmo que você só tenha a foto do prato pronto para começar.

Em resumo, o TherA é a primeira ferramenta que ensina computadores a pensar como físicos do calor para transformar fotos normais em imagens térmicas realistas e controláveis.

Resumo técnico

1. O Problema

A imagem no infravermelho térmico (TIR) oferece percepção robusta em condições de baixa visibilidade, sendo crucial para tarefas de visão computacional e sensores autônomos. No entanto, existem dois gargalos principais:

1. Escassez de Dados: A coleta e anotação de grandes conjuntos de dados térmicos são caras e lentas devido ao custo dos sensores e à dificuldade de rotular imagens de baixa textura.
2. Limitações da Tradução RGB-TIR Atual: Métodos existentes de tradução de RGB para TIR geralmente tratam a tarefa como uma transferência de estilo baseada apenas em prioridade centrada no RGB (pixel a pixel). Isso ignora a física térmica, resultando em distribuições de calor implausíveis (ex: carros estacionados aparecendo com exaustores quentes). Além disso, a relação entre RGB e TIR é inerentemente ambígua (um RGB pode corresponder a múltiplos estados térmicos válidos dependendo de materiais, estado do objeto e ambiente), tornando o problema mal-posto para modelos determinísticos atuais.

2. Metodologia: O Framework TherA

O TherA é um framework de tradução RGB-to-TIR controlável, composto por dois componentes principais que trabalham em sinergia:

A. TherA-VLM (Modelo Visão-Linguagem Consciente Térmica)

• Função: Atua como um "físico térmico" que analisa a imagem de entrada RGB e um prompt do usuário para gerar um embedding térmico compacto.
• Inovação: Diferente de modelos VLMs padrão que descrevem apenas a aparência visual (ex: "carro vermelho"), o TherA-VLM é treinado para inferir atributos físicos relevantes para o calor:
  • Cenário: Hora do dia, clima, localização.
  • Objetos e Materiais: Classe do objeto e sua emissividade.
  • Estado de Emissão de Calor: Se o objeto está "ativo" (gerando calor, ex: motor ligado) ou "passivo" (apenas refletindo calor ambiente).
• Treinamento: Utiliza o dataset R2T2 (ver abaixo) para aprender a mapear imagens RGB para esquemas textuais canônicos e estruturados, que são então convertidos em embeddings latentes.

B. Tradutor Baseado em Difusão Latente

• Arquitetura: Utiliza um modelo de difusão latente (baseado em UNet, similar ao Stable Diffusion).
• Condicionamento: O modelo de difusão é condicionado não apenas pela imagem RGB latente, mas também pelo embedding térmico gerado pelo TherA-VLM.
• Mecanismo: Um adaptador (TE-Adapter) projeta o embedding do VLM para o espaço de atenção cruzada da UNet. Isso guia o processo de denoising para gerar imagens TIR que respeitam tanto a geometria da cena quanto as leis da física térmica.
• Controle: O sistema suporta duplo controle:
  1. Guia por Texto: O usuário pode alterar o estado térmico global (ex: mudar de "dia ensolarado" para "noite" ou "chuva").
  2. Guia por Imagem de Referência: O usuário pode fornecer uma imagem RGB de referência com um estado térmico desejado (ex: um carro estacionado vs. um carro em movimento) para transferir esse comportamento térmico específico para a imagem de entrada, mantendo a geometria original.

3. Dataset R2T2

Para treinar o TherA-VLM e o modelo de difusão, os autores criaram o R2T2, um dataset de 100k pares de imagens RGB-TIR alinhadas com descrições textuais estruturadas.

• Geração de Dados: Utilizou-se um modelo de raciocínio multimodal (Gemini 2.5 Pro) para analisar pares RGB-TIR e gerar descrições canônicas focadas em física térmica (materiais, estados ativos/passivos, condições ambientais).
• Diversidade: Compilado a partir de 9 datasets existentes e 3 datasets pseudo-alinhados, cobrindo diversas vistas (aérea, direção, CCTV), estações e condições climáticas.

4. Resultados Principais

O TherA foi avaliado em benchmarks padrão (M3FD, FLIR) e em cenários de zero-shot (sem ajuste fino nos dados de teste).

• Desempenho Quantitativo (SOTA):
  • O TherA superou todos os baselines (incluindo GANs, métodos baseados em segmentação e outros modelos de difusão) em todas as métricas (PSNR, SSIM, FID, LPIPS).
  • No cenário de zero-shot, houve um aumento médio de 33% no desempenho em todas as métricas em comparação aos melhores métodos existentes.
• Qualidade Visual e Física:
  • Gerações termicamente plausíveis: Distingue corretamente entre objetos ativos (quentes) e passivos (frios), algo que métodos anteriores falham consistentemente.
  • Preservação de detalhes: Mantém a estrutura geométrica complexa sem depender de mapas de segmentação explícitos.
• Controle e Generalização:
  • Sucesso na simulação de inversão térmica (dia/noite) e mudanças climáticas a partir de uma única imagem RGB.
  • Capacidade de alterar o estado de objetos específicos (ex: mudar um carro de "ativo" para "estacionado") usando imagens de referência.
• Impacto em Tarefas Descendentes:
  • Modelos de segmentação e correspondência de imagens (matching) pré-treinados com dados pseudo-TIR gerados pelo TherA demonstraram desempenho superior em dados reais, superando até mesmo o pré-treinamento com dados TIR reais em alguns casos de zero-shot.

5. Contribuições Chave

1. Condicionamento via VLM Consciente Térmica: Introdução do TherA-VLM, que substitui embeddings de texto genéricos por representações latentes ricas em física térmica, resolvendo a ambiguidade da tradução RGB-TIR.
2. Tradução Térmica Controlável: Primeiro framework a permitir controle granular sobre a aparência térmica (global e por objeto) sem alterar a geometria da cena, usando texto ou imagens de referência.
3. Dataset R2T2: Criação e liberação de um grande dataset com descrições térmicas estruturadas para fomentar a pesquisa em percepção térmica.
4. Desempenho SOTA: Estabelecimento de um novo estado da arte na tradução RGB-TIR, com forte generalização para domínios não vistos.

6. Significado e Impacto

O trabalho TherA representa um avanço significativo ao integrar o raciocínio físico (termodinâmica e emissividade) diretamente no pipeline de geração de imagens via aprendizado de máquina.

• Solução para Escassez de Dados: Permite a criação escalável de datasets sintéticos térmicos de alta qualidade e realismo físico, essenciais para treinar modelos de percepção autônoma.
• Viabilidade Prática: A capacidade de gerar dados térmicos realistas a partir de câmeras RGB comuns (baratas e onipresentes) reduz a dependência de sensores térmicos caros para coleta de dados.
• Novo Paradigma: Demonstra que a tradução entre modalidades não deve ser apenas uma transferência de estilo visual, mas sim um processo de raciocínio semântico-físico, abrindo caminho para modelos de visão mais robustos e interpretáveis.

Limitações Notadas: O sistema opera em imagens térmicas normalizadas (relativas), não fornecendo valores radiométricos absolutos. Além disso, depende da qualidade da imagem RGB de entrada; condições extremas de baixa visibilidade ou borrão podem degradar a geração.