Resumo Técnico: FlameVQA

Declaração do Problema

O monitoramento de incêndios florestais via Veículos Aéreos Não Tripulados (VANTs) requer um raciocínio confiável sobre cenas aéreas complexas onde a fumaça, variações de escala e oclusões frequentemente tornam a interpretação baseada apenas em RGB insuficiente. Embora os benchmarks existentes de Visual Question Answering (VQA) para sensoriamento remoto (ex: RSVQA, HRVQA) abordem cenas de alta resolução, eles se concentram predominantemente em imagens ópticas RGB e consultas semânticas de propósito geral. Esses benchmarks carecem de capacidades de avaliação para domínios centrados em perigos, onde sinais específicos de modalidade — especificamente assinaturas térmicas que revelam pontos quentes ocultos, regiões de combustão lenta e calor residual — são críticos para a segurança e consciência situacional. Além disso, os conjuntos de dados de incêndios florestais por VANT existentes têm apoiado primariamente tarefas de detecção, segmentação ou classificação, em vez de questionamento multimodal que integra percepção com raciocínio operacional de nível superior.

Metodologia

Construção do Conjunto de Dados: FlameVQA

O FlameVQA é um benchmark de VQA de múltipla escolha construído sobre o conjunto de dados FLAME 3, que consiste em imagens aéreas RGB e térmicas radiométricas sincronizadas capturadas por VANTs durante queimadas prescritas em três locais: Sycan Marsh, Willamette Valley e Shoetank.

• Modalidades: Cada amostra inclui uma imagem RGB, uma visualização térmica colorida e um arquivo TIFF térmico radiométrico contendo valores de temperatura por pixel. Isso permite o raciocínio fundamentado na temperatura além das pistas visuais.
• Suíte de Perguntas: O benchmark compreende 34 perguntas de múltipla escolha por imagem, apresentando distratores cuidadosamente selecionados e ordenação aleatória de opções para mitigar vieses de modelos de linguagem:
  1. Presença/Detecção: Identificação de fogo, fumaça, atividade térmica e contexto relevante para a segurança.
  2. Classificação: Atribuição de rótulos para comportamento do fogo, vegetação, condição do combustível e acessibilidade.
  3. Distribuição/Segmentação: Caracterização da distribuição de fogo/combustível/fumaça e estimativas de cobertura acima de limiares de temperatura específicos.
  4. Localização/Direção: Fornecimento de fundamentação espacial para pontos quentes, origens de fumaça e elementos feitos pelo homem.
  5. Raciocínio Cross-Modal: Avaliação do raciocínio conjunto sobre sinais RGB e térmicos para abordar lacunas de modalidade e oclusões.
  6. Planejamento de Voo: Avaliação de fatores centrados no VANT, como viewpoint, altitude e riscos de segurança próximos às chamas.

Pipeline de Rotulagem e Controle de Qualidade

Para garantir a confiabilidade dos rótulos em escala, os autores empregam um motor de rotulagem híbrido:

1. Geração Assistida por MLLM: O Gemini 2.5 Pro gera respostas iniciais usando imagens RGB, visualizações térmicas e um resumo compacto de temperatura (mín/máx, excedência de limiar) derivado do TIFF radiométrico.
2. Verificação Determinística: Para perguntas críticas de temperatura, os rótulos são validados contra o TIFF radiométrico bruto usando NumPy para inspecionar temperaturas por pixel. Regras físicas (ex: máscaras binárias de pontos quentes baseadas no limiar de temperatura $\tau_{fire}$) e metadados (EXIF GPS/altitude combinados com modelos de terreno) fornecem supervisão objetiva e reproduzível.
3. Verificações de Consistência: Restrições lógicas são aplicadas entre perguntas semanticamente ligadas (ex: se "Sem fogo" for selecionado, perguntas de pontos quentes devem retornar "Sem pontos quentes"). Violações são sinalizadas para revisão por especialistas humanos.
4. Auditoria Humana: Uma avaliação humana direcionada foi realizada no subconjunto de Willamette Valley (escolhido por sua densa fumaça e ambiguidade) focando em sete perguntas desafiadoras (cobrindo presença sob fumaça, estimativa de cobertura e raciocínio cross-modal).

Resultados Principais

Concordância entre Humano e Automatizado

No subconjunto de Willamette, o pipeline automatizado (MLLM + regras) alcançou uma taxa de correspondência de 70,78% com a verdade fundamental (ground truth) de especialistas humanos em sete tipos de perguntas desafiadoras.

• Alta Concordância: O raciocínio cross-modal (CMR) e a localização espacial (LD) mostraram forte concordância (82–90%).
• Baixa Concordância: A detecção de presença sob fumaça densa (PD5) e a estimativa de cobertura de fumaça (DS5) mostraram a menor concordância (36% e 45%, respectivamente), indicando ambiguidade inerente mesmo para especialistas humanos nesses cenários específicos.

Desempenho de Baseline de MLLM

Dois Modelos de Linguagem de Grande Escala Multimodais (MLLMs) de código aberto, LLaVA-1.6-7B e Qwen3-VL-8B-Instruct, foram avaliados no benchmark:

• Desempenho Geral: O Qwen-VL superou o LLaVA em todas as categorias, alcançando 48,65% de precisão geral comparado aos 36,23% do LLaVA.
• Pontos Fortes: Ambos os modelos tiveram bom desempenho em Raciocínio Cross-Modal (85–87%), sugerindo que podem explorar efetivamente pistas conjuntas RGB–térmicas quando a tarefa é explícita.
• Pontos Fracos: Falhas significativas foram observadas em Detecção de Presença sob fumaça pesada (PD5: 14–45%) e Estimativa de Distribuição/Cobertura (DS: 18–25%). Esses resultados destacam as limitações atuais em agregação espacial e raciocínio baseado em porcentagens dentro de cenas de incêndios florestais complexas.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Primeiro Benchmark Dedicado: O FlameVQA é o primeiro benchmark de VQA especificamente para monitoramento de incêndios florestais que acopla imagens RGB com supervisão térmica radiométrica, permitindo um raciocínio fisicamente fundamentado e crítico para a segurança.
2. Foco Operacional: O benchmark visa tarefas de inteligência operacional realistas (percepção, localização, quantificação e planejamento de voo) em vez de simples detecção, fornecendo uma avaliação desafiadora para modelos multimodais em resposta a desastres.
3. Baseline e Análise: Ao avaliar MLLMs representativos, o trabalho estabelece baselines e revela limitações consistentes nos modelos de última geração (SOTA) atuais em relação à compreensão de segurança, fundamentação multimodal em cenários ocluídos e raciocínio multi-imagem.
4. Pipeline Escalável: A abordagem de rotulagem híbrida proposta (MLLM + regras determinísticas + verificações de consistência) oferece um método escalável para construir benchmarks sob orçamentos limitados de anotação.

Os autores concluem que, embora os MLLMs atuais mostrem potencial quando as pistas cross-modais são explícitas, eles requerem adaptação específica de domínio para apoiar efetivamente o monitoramento de desastres e incêndios florestais, particularmente em cenários envolvendo fumaça pesada e raciocínio espacial complexo. O conjunto de dados e o código são liberados como código aberto para facilitar pesquisas futuras.