WildFireVQA: A Large-Scale Radiometric Thermal VQA Benchmark for Aerial Wildfire Monitoring

1. El Problema

La monitorización de incendios forestales requiere una conciencia situacional oportuna y accionable desde plataformas aéreas (como drones o UAVs). Sin embargo, existen dos brechas críticas en el estado actual de la tecnología:

• Falta de benchmarks específicos: Los benchmarks existentes de Respuesta Visual a Preguntas (VQA) para teledetección se centran en imágenes RGB o en evaluaciones genéricas de desastres, pero no existen datasets diseñados específicamente para la monitorización de incendios forestales que evalúen el razonamiento basado en mediciones térmicas.
• Limitaciones del razonamiento multimodal: Los modelos de lenguaje grandes multimodales (MLLMs) actuales tienen dificultades para ir más allá de la simple detección de presencia de fuego. Les falta la capacidad de realizar razonamiento fundamentado en la temperatura (ej. distinguir entre brasas ocultas por humo y fuego activo) o de planificar vuelos seguros basándose en datos térmicos, lo cual es crucial para la toma de decisiones tácticas en escenarios de seguridad crítica.

2. Metodología

El equipo propone WildFireVQA, un benchmark a gran escala que integra imágenes RGB con datos térmicos radiométricos.

A. Recopilación de Datos y Estructura

• Base de datos: Se construye sobre el dataset FLAME 3, que contiene imágenes aéreas sincronizadas de incendios prescritos.
• Muestras: El benchmark incluye 6,097 muestras RGB-térmicas. Cada muestra contiene:
  1. Una imagen RGB.
  2. Una visualización térmica mapeada en color.
  3. Un archivo TIFF térmico radiométrico que proporciona valores de temperatura por píxel (no solo visualizaciones de color).
• Preguntas: Se diseñaron 34 preguntas por muestra (binarias y de opción múltiple), generando un total de 207,298 preguntas. Estas se categorizan en seis áreas operativas:
  1. Presencia y detección.
  2. Clasificación (comportamiento del fuego, vegetación).
  3. Distribución y segmentación.
  4. Localización y dirección.
  5. Razonamiento cruzado (Cross-Modal) entre RGB y térmico.
  6. Planificación de vuelo (seguridad del UAV).

B. Generación y Validación de Etiquetas (Calidad de Datos)

Para garantizar la fiabilidad en un dominio de seguridad crítica, se implementó un pipeline híbrido:

1. Generación asistida por MLLM: Se utilizó Gemini 2.5 Pro para generar respuestas iniciales, alimentándolo con la imagen RGB, la visualización térmica y un resumen estadístico radiométrico (mínimo, máximo, desviación estándar y porcentaje de píxeles >200°C y >400°C).
2. Etiquetado Determinista y Basado en Sensores: Para preguntas que requieren precisión física, se evitaron las estimaciones visuales del modelo. Se utilizaron algoritmos deterministas:
   • Altitud del UAV: Cálculo preciso usando datos GPS, modelo geoidal (EGM96) y elevación del terreno (SRTM).
   • Detección de Puntos Calientes: Umbralización física directa en el espacio de temperatura (≥200°C) sobre los datos TIFF, seguida de análisis de componentes conectados y conversión a dimensiones físicas reales usando la distancia de muestreo en tierra (GSD).
   • Conteo de Vehículos: Uso de detectores de objetos de vocabulario abierto (YOLO-World) en lugar de inferencia puramente textual para evitar alucinaciones.
3. Verificación de Consistencia:
   • Intra-frame: Se aplicaron restricciones lógicas para asegurar que las respuestas de diferentes preguntas en la misma imagen no se contradigan (ej. si no hay fuego, no puede haber puntos calientes).
   • Inter-frame: Se utilizó coincidencia de características ORB para identificar frames visualmente duplicados y asegurar que las respuestas sean consistentes entre vistas superpuestas.

3. Contribuciones Clave

1. WildFireVQA: El primer benchmark VQA a gran escala para incendios forestales que integra datos térmicos radiométricos reales (TIFF) junto con RGB, permitiendo el razonamiento fundamentado en temperatura.
2. Protocolo de Anotación Robusto: Una metodología que combina la generación de MLLM con validación manual, verificación de consistencia lógica y algoritmos deterministas basados en sensores para reducir el ruido en las etiquetas.
3. Protocolo de Evaluación Exhaustivo: Establecimiento de líneas base para MLLMs representativos bajo diferentes configuraciones de inferencia (solo RGB, solo térmico, y con aumento de recuperación o RAG) para analizar cómo los modelos utilizan la información térmica.

4. Resultados Experimentales

Se evaluaron cuatro MLLMs representativos (Qwen3-VL-8B, LLaVA-v1.6-Mistral-7B, InternVL2-8B, MiniCPM-V2) en configuración zero-shot.

• Dominancia del RGB: En general, la imagen RGB sigue siendo la modalidad más fuerte para todos los modelos actuales, superando significativamente a la entrada térmica pura.
• Impacto del RAG (Aumento de Recuperación):
  • Los modelos más avanzados (Qwen3-VL e InternVL2) mejoraron su rendimiento cuando se les proporcionó un resumen estadístico térmico recuperado (RAG). Esto demuestra que pueden aprovechar datos térmicos explícitos para mejorar el razonamiento.
  • Qwen3-VL alcanzó la mayor precisión general (54.76%) usando RGB + RAG térmico.
  • MiniCPM-V2 mostró una degradación con RAG, sugiriendo dificultades para integrar metadatos numéricos estructurados dentro del prompt.
• Limitaciones: A pesar de las mejoras con RAG, el rendimiento general sigue siendo moderado, lo que resalta las limitaciones de los modelos actuales para el razonamiento en escenarios de incendios forestales de alta seguridad, especialmente en tareas de planificación de vuelo y razonamiento cruzado complejo.

5. Significado e Impacto

• Avance en Inteligencia Operativa: WildFireVQA cierra la brecha entre la percepción visual básica y la inteligencia operativa necesaria para la gestión de incendios, permitiendo evaluar si los modelos pueden entender el comportamiento del fuego más allá de la apariencia visual.
• Validación Física: Al incluir datos térmicos radiométricos y etiquetado determinista, el benchmark permite validar modelos contra la realidad física (temperatura real) en lugar de solo contra patrones de color, lo cual es vital cuando el humo oculta las llamas visibles.
• Herramienta para Futuro Desarrollo: El dataset y el código son de código abierto, proporcionando una base sólida para desarrollar y probar futuros sistemas de UAV autónomos y modelos de IA capaces de operar en entornos de desastre complejos.

En conclusión, el trabajo demuestra que, aunque los modelos actuales dependen fuertemente del RGB, la incorporación de contexto térmico estructurado (a través de RAG) es una vía prometedora para mejorar la toma de decisiones en la monitorización de incendios, aunque aún queda un camino por recorrer para lograr una comprensión térmica nativa y robusta en los MLLMs.