WildFireVQA: A Large-Scale Radiometric Thermal VQA Benchmark for Aerial Wildfire Monitoring

1. O Problema

O monitoramento de incêndios florestais exige consciência situacional rápida e acionável a partir de plataformas aéreas (como UAVs/drones). Embora existam benchmarks de Resposta a Perguntas Visuais (VQA) para visão aérea e sensoriamento remoto, eles apresentam lacunas críticas:

• Foco Excessivo em RGB: A maioria dos conjuntos de dados existentes baseia-se apenas em imagens visíveis (RGB), ignorando dados térmicos essenciais para detectar calor sob fumaça densa ou em combustão latente.
• Falta de Raciocínio Térmico: Não há benchmarks específicos para incêndios que avaliem o raciocínio multimodal fundamentado em medições térmicas radiométricas (valores de temperatura reais por pixel).
• Limitações Operacionais: Os modelos atuais de Linguagem Grande Multimodal (MLLMs) não são testados em cenários críticos de segurança onde a interpretação de comportamento do fogo, planejamento de voo e detecção de hotspots baseada em temperatura são cruciais.

2. Metodologia

Coleta de Dados e Estrutura

O WildFireVQA é construído sobre o conjunto de dados FLAME 3, que fornece imagens aéreas sincronizadas de espectro visível (RGB) e térmicas radiométricas coletadas em queimas prescritas rurais.

• Composição: O benchmark contém 6.097 amostras RGB-Térmicas.
• Modalidades por Amostra: Cada amostra inclui:
  1. Imagem RGB.
  2. Visualização térmica mapeada por cores (JPEG).
  3. Arquivo TIFF térmico radiométrico (contendo valores de temperatura reais por pixel).
• Escala de Perguntas: Cada amostra é acompanhada por 34 perguntas (binárias e múltipla escolha), totalizando 207.298 perguntas.

Geração de Questões e Categorias

As 34 perguntas foram projetadas para cobrir seis categorias operacionais essenciais para a inteligência de incêndios:

1. Presença e Detecção: Identificação de fogo, fumaça, ativos e infraestrutura.
2. Classificação: Comportamento do fogo, tipo de vegetação, condições de combustível.
3. Distribuição e Segmentação: Padrões de distribuição do fogo e estimativas de cobertura percentual.
4. Localização e Direção: Posicionamento de hotspots e direção do vento/fumaça.
5. Raciocínio Multimodal: Integração de sinais RGB e térmicos (ex: fogo oculto pela fumaça no RGB, mas visível no térmico).
6. Planejamento de Voo: Segurança do UAV, altitude e riscos operacionais.

Pipeline de Anotação e Validação (Garantia de Qualidade)

Para garantir a confiabilidade em um domínio crítico de segurança, os autores utilizaram uma abordagem híbrida:

• Geração Assistida por MLLM: O modelo Gemini 2.5 Pro gerou respostas iniciais usando as imagens e estatísticas térmicas resumidas.
• Rotulagem Determinística Baseada em Sensores: Para evitar alucinações, certas respostas foram geradas algoritmicamente a partir de metadados e física:
  • Altitude do UAV: Calculada via GPS e modelos de geoides (EGM96/SRTM).
  • Detecção de Hotspots: Uso de limiares físicos (ex: >200°C) em dados radiométricos, convertidos para dimensões físicas no solo usando a distância de amostragem (GSD).
  • Contagem de Veículos: Uso de detectores de objetos de vocabulário aberto (YOLO-World) em vez de inferência puramente textual.
• Verificação de Consistência:
  • Intra-frame: Verificação lógica entre perguntas da mesma imagem (ex: se "Sem fogo", não pode haver "Hotspot").
  • Inter-frame: Uso de correspondência de características ORB para identificar quadros visualmente duplicados e garantir consistência de rótulos entre eles.

3. Contribuições Principais

1. Novo Benchmark Específico: Introdução do WildFireVQA, o primeiro benchmark de VQA em larga escala para monitoramento de incêndios que integra dados RGB com dados térmicos radiométricos quantitativos.
2. Raciocínio Fundamentado na Temperatura: Capacidade de realizar perguntas e respostas baseadas em dados físicos reais (temperatura), permitindo a detecção de calor mesmo quando o fogo não é visível visualmente.
3. Protocolo de Avaliação Rigoroso: Estabelecimento de um protocolo de avaliação para MLLMs representativos, incluindo cenários de zero-shot, diferentes modalidades de entrada e aumento por recuperação (RAG) com estatísticas térmicas.
4. Análise de Falhas: Identificação de modos de falha específicos de modelos em cenários de incêndio, destacando a dificuldade de integrar dados numéricos estruturados com contexto visual.

4. Resultados Experimentais

Os autores avaliaram quatro MLLMs representativos (Qwen3-VL, LLaVA-v1.6, InternVL2, MiniCPM-V2) em configurações de entrada RGB, Térmica e com Aumento por Recuperação (RAG) de estatísticas térmicas.

• Desempenho Geral: A modalidade RGB permaneceu a mais forte para todos os modelos atuais, sugerindo que os modelos ainda dependem fortemente de pistas visuais convencionais.
• Impacto do RAG (Contexto Térmico Recuperado):
  • Modelos mais avançados (Qwen3-VL e InternVL2) mostraram ganhos significativos quando receberam estatísticas térmicas recuperadas (RAG), especialmente na configuração de entrada térmica pura. O Qwen3-VL atingiu a melhor precisão geral de 54,76% com RGB + RAG.
  • Modelos menores ou menos adaptados (MiniCPM-V2) sofreram degradação de desempenho com RAG, indicando limitações na capacidade de integrar metadados numéricos estruturados com o prompt visual.
• Limitações: Os modelos ainda têm dificuldade em raciocinar puramente sobre dados térmicos sem o apoio visual RGB e falham em cenários onde a inferência direta de temperatura a partir da imagem térmica (sem estatísticas textuais) é necessária.

5. Significado e Conclusão

O WildFireVQA preenche uma lacuna crítica na avaliação de IA para gestão de desastres. Ao fornecer dados radiométricos reais e perguntas operacionais, o benchmark permite:

• Validação Física: Testar se os modelos podem raciocinar com base em leis físicas (temperatura) e não apenas em padrões visuais.
• Segurança Operacional: Identificar falhas em cenários onde a detecção de calor oculto é vital para a segurança de equipes e UAVs.
• Direção Futura: O trabalho sugere que, embora os modelos atuais sejam limitados, o uso de contexto térmico explícito (via RAG) melhora o desempenho de modelos mais fortes, apontando para a necessidade de desenvolver arquiteturas capazes de inferir e integrar dados térmicos quantitativos diretamente das imagens, sem depender de estatísticas textuais pré-calculadas.

O conjunto de dados e o código são de código aberto, visando acelerar o desenvolvimento de sistemas de inteligência artificial para resposta a incêndios florestais.