Resumo Técnico: Thermo-VL

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) alcançaram sucesso significativo na compreensão de imagens de forma aberta e na resposta a perguntas visuais (VQA) por meio do ajuste fino baseado em instruções em conjuntos de dados RGB em grande escala. No entanto, esses modelos herdam os modos de falha da sensoriamento no espectro visível. Sob baixa iluminação, brilho, neblina ou fumaça, as imagens RGB frequentemente perdem evidências críticas da cena, tornando os VLMs padrão frágeis em cenários de segurança crítica, como condução noturna, busca e resgate e inspeção com baixa visibilidade.

Embora as imagens de infravermelho térmico (IR) preservem a estrutura complementar da cena (por exemplo, humanos, animais, veículos aquecidos) quando as pistas visíveis se degradam, as abordagens atuais para integrar dados térmicos em VLMs são subótimas. Soluções comuns envolvem traduzir imagens térmicas em pseudo-RGB antes de alimentá-las em VLMs treinados em RGB. Esse pipeline baseado em tradução introduz um gargalo generativo, arrisca alucinar detalhes no estilo visível e suprime informações específicas da modalidade não representadas naturalmente no espaço RGB. Além disso, os conjuntos de dados existentes RGB-térmicos (por exemplo, KAIST, FLIR-ADAS) são projetados principalmente para detecção ou rastreamento e carecem da supervisão linguística necessária para o ajuste fino baseado em instruções e o raciocínio de forma aberta.

Metodologia

Os autores apresentam Thermo-VL, um VLM consciente do comprimento de onda construído sobre a base Molmo-7B-D. A arquitetura é projetada para integrar entradas RGB e térmicas alinhadas sem desestabilizar a interface pré-treinada RGB–linguagem ou exigir o re-treinamento caro de toda a base.

Arquitetura

1. Codificadores Visuais Duplos:

   • Fluxo RGB: Utiliza a torre de visão pré-treinada do Molmo congelada ($\phi_R$).
   • Fluxo Térmico: Utiliza um codificador ViT-L/14 ($\phi_T$) inicializado a partir de um Autoencoder Mascarado (MAE) pré-treinado em um corpus infravermelho multibanda agrupado (KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE). Para manter a compatibilidade com a expectativa de entrada de 3 canais do Molmo, imagens térmicas de canal único são replicadas em três canais.
   • Eficiência de Parâmetros: Durante o treinamento, o codificador RGB e o Modelo de Linguagem (LLM) permanecem congelados. Apenas os últimos $N_\ell=4$ blocos de transformador do codificador térmico, o LayerNorm térmico e o módulo de fusão são atualizados.

2. Módulo de Fusão de Atenção Dupla Guiado por Texto:
   A inovação central é um bloco de fusão que condiciona as características térmicas tanto ao prompt de linguagem quanto ao contexto RGB antes de injetá-las no fluxo RGB congelado.

   • Entrada: Tokens RGB alinhados ($R$), tokens térmicos ($T$) e incorporações de prompt ($P$).
   • Atenção Dupla: Os tokens térmicos são refinados por meio de dois caminhos de atenção paralelos:
     • Caminho Guiado por Texto: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
     • Caminho Guiado por RGB: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
   • Refinamento: Esses caminhos são mesclados com as características térmicas originais para produzir uma representação refinada $\hat{T}$.
   • Injeção Residual Portada: Em vez de substituir os tokens RGB, o modelo prevê um residual $\Delta R$ a partir de $\hat{T}$ e o modula com portas token a token $\alpha$. Os tokens finais fundidos são calculados como:
     $$R^\dagger = R + \alpha \odot \Delta R$$
     Este design garante que a fusão seja consciente da consulta e preserve a interface pré-treinada RGB–linguagem, permitindo a injeção direcionada de evidências térmicas.

Objetivo de Treinamento

O modelo é otimizado usando uma função de perda composta:
$$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$$

• $L_{LM}$: Perda padrão de entropia cruzada autorregressiva para a tarefa de modelagem de linguagem.
• $L_{align}$: Alinhamento L2 nível de token entre características RGB e térmicas para impor consistência entre modalidades.
• $L_{contr}$: Perda contrastiva (InfoNCE) para alinhar representações semânticas globais de RGB, térmico e texto.
• $L_{gate}$: Regularização de entropia no mecanismo de porta para evitar saturação da porta (ou seja, impedir que o modelo ignore uma modalidade inteiramente).
• Aumento: Uma estratégia de mascaramento de blocos RGB é empregada durante o treinamento, mascarando aleatoriamente 10% da área da imagem RGB para reduzir a dependência excessiva do espectro visível.

Contribuições Principais

1. VLM Consciente do Comprimento de Onda: Introdução do Thermo-VL, que integra entradas pareadas RGB e térmicas por meio de um módulo de fusão de atenção dupla guiado por texto com injeção residual portada token a token, mantendo a torre RGB e o LLM congelados.
2. Adaptação Eficiente de Parâmetros: Uma estratégia de ajuste fino que atualiza apenas os últimos blocos do codificador térmico e os parâmetros de fusão, regularizados por alinhamento nível de token, supervisão contrastiva e entropia da porta.
3. Supervisão Linguística Unificada RGB-Térmica:
   • Conjunto de Dados: Um conjunto de dados de ajuste fino baseado em instruções RGB-térmico alinhado pixel a pixel contendo ~19.500 pares de imagens e ~54 mil pares de QA, construído a partir de conjuntos de dados públicos e aumento térmico sintético (usando F-ViTA) em dados PixMo-cap-qa.
   • Benchmark: Thermo-VL-Bench, um benchmark de VQA binário manualmente filtrado com ~3.148 pares de imagens e ~15 mil pares de QA, projetado para raciocínio em baixa luminosidade e entre espectros.

Resultados Experimentais

Os experimentos foram conduzidos no Thermo-VL-Bench e no RGB-Th Bench externo.

• Thermo-VL-Bench:

  • RGB+Térmico: O Thermo-VL alcançou 88,96% de precisão, uma melhoria substancial sobre a linha de base Molmo (75,79%) quando ambas as modalidades foram fornecidas.
  • Apenas Térmico: Melhorou de 81,20% (Molmo) para 82,23%.
  • Apenas RGB: O desempenho foi preservado em 88,67%, igualando a linha de base, demonstrando que o mecanismo de fusão não degrada as capacidades RGB existentes.
  • Geral: O Thermo-VL alcançou a pontuação combinada mais alta (86,37%) entre todos os modelos comparados (incluindo InternVL, Qwen2.5-VL e LLaVA-Next).

• RGB-Th Bench:

  • O Thermo-VL igualou a linha de base Molmo em tarefas de texto apenas RGB (77,25%), mas melhorou significativamente o desempenho em tarefas de texto RGB-Térmico, subindo de 60,84% para 69,15%.

• Estudos de Ablação:

  • A remoção da atenção guiada por texto causou a maior queda de desempenho (88,96% $\to$ 82,34%), confirmando a importância da fusão consciente da pergunta.
  • A remoção do residual portado ou da atenção guiada por RGB também degradou o desempenho, validando o papel do design na preservação da interface RGB enquanto integra dados térmicos.
  • Perdas auxiliares ($L_{contr}$ e $L_{gate}$) foram mostradas como críticas para a consistência entre modalidades e para evitar o colapso da modalidade.

Significado e Alegações

O artigo afirma que a fusão multiespectral explícita e condicionada ao prompt permite que pistas térmicas complementem efetivamente os dados RGB quando fundidas dentro do modelo, em vez de serem anexadas no nível de entrada ou traduzidas para pseudo-RGB. O Thermo-VL demonstra que é possível estender VLMs pré-treinados poderosos para percepção térmica sem desestabilizar sua interface pré-treinada RGB–linguagem.

Os autores posicionam o Thermo-VL como um protótipo de pesquisa e não como um sistema pronto para implantação. Eles reconhecem limitações, incluindo a suposição de entradas espacialmente alinhadas, o uso de supervisão QA gerada por modelo que pode introduzir artefatos e o fato de que o Thermo-VL-Bench é um benchmark manualmente filtrado e gerado por modelo, em vez de um totalmente autoria humana. O trabalho destina-se a apoiar a pesquisa em aprendizado visão-linguagem multiespectral e ajuste fino baseado em instruções em condições de baixa luminosidade, em vez de servir como base autônoma para tomada de decisão de segurança crítica.