Resumen Técnico: FlameVQA

Declaración del Problema

El monitoreo de incendios forestales mediante Vehículos Aéreos No Tripulados (UAV) requiere un razonamiento fiable sobre escenas aéreas complejas donde el humo, las variaciones de escala y las oclusiones a menudo hacen que la interpretación basada únicamente en RGB sea insuficiente. Los benchmarks de VQA (Visual Question Answering) de teledetección existentes (por ejemplo, RSVQA, HRVQA) abordan escenas de alta resolución, pero se centran predominantemente en imágenes ópticas RGB y consultas semánticas de propósito general. Estos benchmarks carecen de capacidades de evaluación para dominios centrados en peligros donde las señales específicas de la modalidad —específicamente las firmas térmicas que revelan puntos calientes ocultos, regiones de combustión lenta y calor residual— son críticas para la seguridad y la conciencia situacional. Además, los conjuntos de datos de incendales forestales para UAV existentes han apoyado principalmente tareas de detección, segmentación o clasificación, en lugar de una respuesta a preguntas multimodal que integre la percepción con un razonamiento operativo de nivel superior.

Metodología

Construcción del Conjunto de Datos: FlameVQA

FlameVQA es un benchmark de VQA de opción múltiple construido sobre el conjunto de datos FLAME 3, el cual consiste en imágenes térmicas radiométricas y RGB aéreas sincronizadas capturadas por UAV durante quemas prescritas en tres sitios: Sycan Marsh, Willamette Valley y Shoetank.

• Modalidades: Cada muestra incluye una imagen RGB, una visualización térmica de mapa de colores y un archivo TIFF térmico radiométrico que contiene valores de temperatura por píxel. Esto permite un razonamiento fundamentado en la temperatura más allá de las pistas visuales.
• Suite de Preguntas: El benchmark consta de 34 preguntas de opción múltiple por imagen, con distractores cuidadosamente seleccionados y orden de opciones aleatorio para mitigar los sesgos de los modelos de lenguaje. Las preguntas se categorizan en seis grupos de capacidad operativa:
  1. Presencia/Detección: Identificación de fuego, humo, actividad térmica y contexto relevante para la seguridad.
  2. Clasificación: Asignación de etiquetas para el comportamiento del fuego, la vegetación, la condición del combustible y la accesibilidad.
  3. Distribución/Segmentación: Caracterización de la distribución de fuego/combustible/humo y estimaciones de cobertura por encima de umbrales de temperatura específicos.
  4. Localización/Dirección: Provisión de fundamentación espacial para puntos calientes, orígenes de humo y elementos hechos por el hombre.
  5. Razonamiento Cross-Modal: Evaluación del razonamiento conjunto sobre señales RGB y térmicas para abordar brechas de modalidad y oclusiones.
  6. Planificación de Vuelo: Evaluación de factores centrados en el UAV, tales como el punto de vista, la altitud y los riesgos de seguridad cerca de las llamas.

Pipeline de Etiquetado y Control de Calidad

Para asegurar la fiabilidad de las etiquetas a escala, los autores emplean un motor de etiquetado híbrido:

1. Generación Asistida por MLLM: Gemini 2.5 Pro genera respuestas iniciales utilizando imágenes RGB, visualizaciones térmicas y un resumen compacto de temperatura (mínimo/máximo, excedencia de umbral) derivado del TIFF radiométrico.
2. Verificación Determinista: Para preguntas críticas de temperatura, las etiquetas se validan contra el TIFF radiométrico bruto usando NumPy para inspeccionar las temperaturas por píxel. Las reglas físicas (por ejemplo, máscaras binarias de puntos calientes basadas en el umbral de temperatura $\tau_{fire}$) y los metadatos (EXIF GPS/altitud combinados con modelos de terreno) proporcionan una supervisión objetiva y reproducible.
3. Verificaciones de Consistencia: Se aplican restricciones lógicas a través de preguntas semánticamente vinculadas (por ejemplo, si se selecciona "Sin fuego", las preguntas de puntos calientes deben devolver "Sin puntos calientes"). Las violaciones son marcadas para revisión por expertos humanos.
4. Auditoría Humana: Se realizó una evaluación humana dirigida en el subconjunto de Willamette Valley (elegido por su densidad de humo y ambigüedad) enfocándose en siete preguntas desafiantes (que cubren presencia bajo el humo, estimación de cobertura y razonamiento cross-modal).

Resultados Clave

Acuerdo entre Humanos y Automatización

En el subconjunto de Willamette, el pipeline automatizado (MLLM + reglas) logró una tasa de coincidencia del 70.78% con la verdad de campo de expertos humanos a través de siete tipos de preguntas desafiantes.

• Alto Acuerdo: El razonamiento cross-modal (CMR) y la localización espacial (LD) mostraron un fuerte acuerdo (82–90%).
• Bajo Acuerdo: La detección de presencia bajo humo denso (PD5) y la estimación de cobertura de humo (DS5) mostraron el acuerdo más bajo (36% y 45%, respectivamente), indicando una ambigüedad inherente incluso para los expertos humanos en estos escenarios específicos.

Rendimiento de los MLLM de Referencia

Dos Modelos de Lenguaje Multimodales (MLLM) de código abierto, LLaVA-1.6-7B y Qwen3-VL-8B-Instruct, fueron evaluados en el benchmark:

• Rendimiento General: Qwen-VL superó a LLaVA en todas las categorías, logrando una precisión general del 48.65% frente al 36.23% de LLaVA.
• Fortalezas: Ambos modelos funcionaron bien en Razonamiento Cross-Modal (85–87%), lo que sugiere que pueden explotar eficazmente las pistas conjuntas RGB–térmicas cuando la tarea es explícita.
• Debilidades: Se observaron fallos significativos en la Detección de Presencia bajo humo denso (PD5: 14–45%) y en la Estimación de Distribución/Cobertura (DS: 18–25%). Estos resultados resaltan las limitaciones actuales en la agregación espacial y el razonamiento basado en porcentajes dentro de escenas de incendios forestales complejas.

Significado y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Primer Benchmark Dedicado: FlameVQA es el primer benchmark de VQA específicamente para el monitoreo de incendios forestales que acopla imágenes RGB con supervisión térmica radiométrica, permitiendo un razonamiento físicamente fundamentado y crítico para la seguridad.
2. Enfoque Operativo: El benchmark apunta a tareas de inteligencia operativa realistas (percepción, localización, cuantificación y planificación de vuelo) en lugar de la simple detección, proporcionando una evaluación desafiante para modelos multimodales en la respuesta ante desastres.
3. Línea Base y Análisis: Al evaluar MLLMs representativos, el trabajo establece líneas base y revela limitaciones consistentes en los modelos de vanguardia actuales con respecto a la comprensión de la seguridad, la fundamentación multimodal en escenarios ocluidos y el razonamiento multi-imagen.
4. Pipeline Escalable: El enfoque de etiquetado híbrido propuesto (MLLM + reglas deterministas + verificaciones de consistencia) ofrece un método escalable para construir benchmarks bajo presupuestos de anotación limitados.

Los autores concluyen que, si bien los MLLM actuales muestran potencial cuando las pistas cross-modales son explícitas, requieren una adaptación específica al dominio para apoyar eficazmente el monitoreo de desastres e incendios forestales, particularmente en escenarios que involucran humo denso y razonamiento espacial complejo. El conjunto de datos y el código se liberan como código abierto para facilitar la investigación futura.