ChatENV: An Interactive Vision-Language Model for Sensor-Guided Environmental Monitoring and Scenario Simulation

1. Problema y Motivación

El monitoreo ambiental mediante imágenes de teledetección es crucial para la resiliencia climática y la planificación urbana. Sin embargo, los Modelos de Lenguaje y Visión (VLM) actuales presentan limitaciones significativas:

• Falta de contexto ambiental: La mayoría de los VLMs se basan únicamente en imágenes, ignorando datos de sensores reales (temperatura, calidad del aire, humedad) que son esenciales para entender las causas de los cambios geográficos.
• Sesgo en la anotación: El uso de un único modelo de lenguaje para generar descripciones limita la diversidad lingüística e introduce sesgos estilísticos.
• Diversidad limitada: Los conjuntos de datos existentes carecen de alcance geográfico global y variedad de clases de objetos.
• Ausencia de razonamiento interactivo: Los modelos actuales no soportan interfaces de "qué pasaría si" (what-if) ni razonamiento de escenarios hipotéticos para la toma de decisiones.

El objetivo es cerrar la brecha entre las observaciones de teledetección y las mediciones ambientales heterogéneas, permitiendo un razonamiento interactivo y basado en evidencia.

2. Metodología

La propuesta ChatENV es un marco unificado que combina imágenes de satélite, datos de sensores ambientales y modelos de lenguaje para crear un sistema de diálogo interactivo.

A. Recopilación y Preprocesamiento de Datos

• Fuente de Imágenes: Se utilizó el conjunto de datos fMoW (Functional Map of the World), seleccionando imágenes de alta resolución (0.3 m) de 197 países.
• Parejas Temporales: Se crearon 152,710 parejas de imágenes separadas por al menos 12 meses para capturar cambios significativos en el uso del suelo.
• Integración de Sensores: Se fusionaron datos meteorológicos (temperatura, humedad, viento) y de emisiones (PM10, CO, NO2, O3) obtenidos mediante APIs (VisualCrossing, Open-Meteo, OpenAQ) alineados con la ubicación y el timestamp de cada imagen.
• Generación de Anotaciones: Se empleó un pipeline dual utilizando GPT-4o y Gemini 2.0 para generar descripciones y cambios temporales. Esto asegura diversidad lingüística y reduce el sesgo estilístico. Las anotaciones se validaron manualmente (puntuación >9/15) para garantizar precisión.
• Dataset Final: 177,719 imágenes de entrenamiento y 14,806 de prueba, cubriendo 62 clases de objetos.

B. Arquitectura del Modelo

• Base: Se utiliza Qwen2.5-VL-7B-Instruct, un modelo multimodal que combina un codificador de visión (ViT) y un decodificador de lenguaje (LLM).
• Ajuste Fino (Fine-Tuning): Se aplicó LoRA (Low-Rank Adaptation) con parámetros $r=64$ y $\alpha=128$, ajustando solo el 2.24% de los parámetros (190.36M) para mantener la eficiencia.
• Entrada: El modelo recibe una imagen (o par de imágenes) junto con un prompt estructurado que incluye los datos de los sensores.
• Capacidades: El modelo está diseñado para tres tareas:
  1. Descripción de una sola imagen: Basada en datos visuales y sensoriales.
  2. Detección de cambios: Comparación de pares de imágenes.
  3. Razonamiento "Qué pasaría si" (What-if): Predicción de escenarios hipotéticos (ej. "¿Qué pasaría si plantáramos más árboles?") sin ver la imagen futura, basándose en la lógica ambiental.

3. Contribuciones Clave

1. Dataset Multimodal de Estado del Arte (SOTA): Lanzamiento del conjunto de datos más grande de su tipo (177k imágenes, 152k parejas temporales, 197 países) con metadatos de sensores ricos y anotaciones generadas por dos modelos distintos.
2. Aprendizaje Multimodal Guiado por Sensores: El modelo no solo detecta cambios visuales, sino que los explica mediante variables ambientales (ej. correlacionar la construcción con el aumento de PM10 o la temperatura).
3. Modelo de Chat Interactivo: Primera implementación de un VLM capaz de realizar razonamiento de escenarios hipotéticos y preguntas de "qué pasaría si" en el contexto del monitoreo ambiental, superando la limitación de las descripciones estáticas.

4. Resultados y Evaluación

El modelo se evaluó utilizando métricas de similitud semántica y superposición superficial (ROUGE-L, SBERT, BERT-F1, COMET) y una métrica nueva llamada KCE-F1 (Keyword Cluster Evaluation) para medir la precisión en términos direccionales (aumentar, disminuir).

• Rendimiento General: ChatENV superó a los modelos base y a enfoques de sondeo lineal (Linear Probing). En la configuración de tres vueltas (descripción + diferencia), logró un BERT-F1 de 0.902 y un KCE-F1 de 0.826 (con anotaciones Gemini).
• Comparación con Modelos de Video: ChatENV superó a modelos especializados en video temporal como Video-LLaVA y LLaVA-NeXT-Video en métricas clave como BERT-F1 y KCE-F1, demostrando que el razonamiento guiado por sensores es más efectivo que el simple seguimiento temporal de frames para este dominio.
• Impacto de los Sensores: La ablación demostró que incluir datos de sensores en el prompt mejora significativamente el rendimiento (hasta un +12.6% en ROUGE-L para ciertas configuraciones), confirmando que los datos ambientales son cruciales para descripciones precisas.
• Análisis Cualitativo: ChatENV logró explicar correctamente cambios complejos (ej. cómo la construcción afecta el viento y la calidad del aire), mientras que modelos competidores como TEOChat o RS-LLaVA a menudo fallaban al interpretar los valores de los sensores o desconectaban los datos visuales de los ambientales.

5. Significado e Impacto

ChatENV representa un avance fundamental en la inteligencia ambiental al:

• Sentar las bases para la planificación urbana: Permite a los planificadores simular escenarios futuros (ej. impacto de nuevos edificios en la calidad del aire) de manera interactiva.
• Mejorar la precisión diagnóstica: Al integrar datos de sensores, el modelo puede distinguir entre cambios visuales y sus causas ambientales reales, reduciendo falsos positivos.
• Democratizar el análisis ambiental: Proporciona una interfaz de diálogo accesible para expertos y no expertos, transformando datos complejos de teledetección en insights accionables.

En conclusión, ChatENV establece un nuevo estándar para el monitoreo ambiental basado en tierra, demostrando que la combinación de imágenes satelitales, datos de sensores y razonamiento de lenguaje natural es esencial para la toma de decisiones climáticas y urbanas informadas.