ThermEval: A Structured Benchmark for Evaluation of Vision-Language Models on Thermal Imagery

Título: ThermEval: Um Benchmark Estruturado para Avaliação de Modelos Visão-Linguagem em Imagens Térmicas

1. Problema e Motivação

Os Modelos Visão-Linguagem (VLMs) atuais alcançam desempenho robusto em imagens RGB (luz visível), mas falham em generalizar para imagens térmicas. A termografia é crítica em cenários onde a luz visível falha, como vigilância noturna, busca e resgate, condução autônoma e triagem médica.

• A Lacuna: Diferente do RGB, que codifica cor e textura, as imagens térmicas codificam temperatura física. Isso exige capacidades perceptivas e de raciocínio que os benchmarks atuais, centrados no RGB, não avaliam.
• Questão Central: Modelos treinados predominantemente em dados RGB conseguem raciocinar efetivamente sobre tarefas específicas de temperatura em imagens térmicas?
• Desafio: A falta de benchmarks padronizados e conjuntos de dados com anotações densas de temperatura impede uma avaliação sistemática dessa capacidade.

2. Metodologia e Proposta

Os autores introduzem o ThermEval, um framework composto por um benchmark (ThermEval-B) e um novo conjunto de dados (ThermEval-D).

A. ThermEval-B (Benchmark)
O benchmark consiste em aproximadamente 55.000 pares de perguntas e respostas visuais (VQA) divididos em sete tarefas estruturadas por ordem crescente de dificuldade:

1. Identificação de Modalidade (T1 & T2): Reconhecer se a imagem é térmica ou RGB e robustez a transformações de mapas de cores (colormaps).
2. Contagem de Humanos (T3): Detectar e contar pessoas em cenas térmicas.
3. Interpretação da Barra de Cores (T4): Detectar, localizar e extrair os valores de temperatura mínima e máxima da legenda (colorbar), essencial para a leitura da escala.
4. Raciocínio Térmico (T5): Comparar temperaturas relativas entre indivíduos ou entre partes do corpo (ex: quem tem o nariz mais quente?).
5. Estimativa de Temperatura Absoluta (T6): Estimar temperaturas em coordenadas específicas, marcadores visuais ou regiões semânticas.
6. Estimativa em Diferentes Profundidades (T7): Avaliar a robustez da estimativa de temperatura em diferentes distâncias (2ft, 6ft, 10ft).

B. ThermEval-D (Conjunto de Dados)

• Inovação: É o primeiro conjunto de dados a fornecer mapas de temperatura por pixel densos com anotações semânticas de partes do corpo (testa, peito, nariz) em ambientes internos e externos.
• Coleta: Inclui mais de 1.000 imagens de 35 participantes em diversos cenários (escritórios, parques), capturadas com câmeras térmicas de alta precisão e anotadas por especialistas.
• Anotação: Segmentação poligonal precisa e validação de concordância entre anotadores (IoU e Dice altos).

C. Protocolo de Avaliação

• Modelos: Avaliação de 25 VLMs (abertos e fechados), variando de 0.3B a 235B de parâmetros (ex: InternVL, Qwen-VL, LLaVA, Gemini, Phi).
• Configurações: Zero-shot (padrão), prompts contextuais (ablação) e Supervised Fine-Tuning (SFT) em um modelo representativo (Qwen-VL 2.5).
• Processamento: Uso de um LLM (Gemini) como "parser" para padronizar as saídas heterogêneas dos modelos.

3. Principais Resultados

A avaliação revelou falhas sistemáticas nos modelos atuais:

• Falha no Raciocínio Baseado em Temperatura: Embora a maioria dos modelos identifique corretamente a imagem como térmica (T1), eles falham drasticamente em tarefas que exigem raciocínio físico (T5, T6, T7).
• Viés de Linguagem (Language Priors): Os modelos tendem a ignorar os sinais térmicos e recorrer a conhecimentos prévios de linguagem.
  • Exemplo: Ao estimar a temperatura de um humano, muitos modelos respondem fixamente "36.8°C" (temperatura corporal média) ou números aleatórios, independentemente da imagem.
• Dependência da Interpretação da Barra de Cores: Modelos que falham em ler a barra de cores (T4) falham consistentemente em tarefas de estimativa de temperatura. Erros de OCR ou interpretação de escala propagam-se para o raciocínio complexo.
• Impacto do Tamanho do Modelo: O aumento de parâmetros (ex: de 8B para 38B) não resolve o problema fundamental. Modelos grandes ainda cometem erros graves de raciocínio térmico, indicando que a limitação não é capacidade, mas sim a falta de grounding (ancoragem) no sinal térmico.
• Efeito do Fine-Tuning: O ajuste fino supervisionado (SFT) do Qwen-VL 2.5 melhorou significativamente o desempenho, aproximando-o do nível humano em várias tarefas e superando modelos zero-shot muito maiores. No entanto, mesmo após o SFT, os erros de estimativa absoluta (1-2°C) permanecem inaceitáveis para aplicações críticas de segurança (como triagem de febre).
• Ablação de Prompts: Adicionar descrições contextuais sobre termografia nos prompts ajudou na identificação de modalidades simples, mas não corrigiu falhas em tarefas de estimativa e raciocínio, provando que o problema é de treinamento, não apenas de instrução.

4. Contribuições Principais

1. ThermEval-B: O primeiro benchmark sistemático e estruturado para avaliar VLMs em imagens térmicas, cobrindo desde identificação de modalidades até estimativa numérica precisa.
2. ThermEval-D: Um novo conjunto de dados público com anotações densas de temperatura por pixel e segmentação semântica, preenchendo a lacuna de dados de alta qualidade para raciocínio térmico.
3. Análise de Limitações: Evidência empírica de que os VLMs atuais carecem de grounding físico para modalidades sensoriais não-RGB, dependendo excessivamente de priores linguísticos.
4. Direção Futura: A demonstração de que o fine-tuning é necessário, mas insuficiente, sugerindo que o pré-treinamento futuro de VLMs deve incluir explicitamente modalidades de sensores físicos (como térmico, raio-X, etc.), e não apenas imagens RGB.

5. Significado e Conclusão

O trabalho estabelece que a compreensão térmica é um desafio aberto e crítico para a IA multimodal. Os resultados indicam que os modelos atuais tratam imagens térmicas como imagens RGB coloridas, falhando em interpretar os dados como medições físicas de temperatura.

O ThermEval serve como uma ferramenta diagnóstica essencial para impulsionar o desenvolvimento de modelos que integrem corretamente a percepção visual com o raciocínio físico, sendo fundamental para aplicações reais onde a precisão térmica é vital (segurança, medicina, indústria). O estudo conclui que, sem dados de treinamento específicos e arquiteturas adaptadas para modalidades físicas, os VLMs não serão confiáveis para tarefas de termografia crítica.