LLM-Powered Flood Depth Estimation from Social Media Imagery: A Vision-Language Model Framework with Mechanistic Interpretability for Transportation Resilience

Título: Estimación de Profundidad de Inundación Impulsada por LLM a partir de Imágenes de Redes Sociales: Un Marco de Modelo Visión-Lenguaje con Interpretabilidad Mecanística para la Resiliencia del Transporte

1. El Problema

Las inundaciones urbanas representan una amenaza creciente para la continuidad de las redes de transporte, causando daños billonarios y disrupciones sistémicas. Sin embargo, existe una carencia crítica en los sistemas operativos actuales:

• Falta de datos en tiempo real: Las plataformas de navegación (Google Maps, Waze) dependen de informes binarios de cierre de carreteras, que suelen ser tardíos y carecen de información específica sobre la profundidad del agua.
• Impacto en tecnologías emergentes: Los vehículos eléctricos (EV) tienen baterías sensibles a la ingesta de agua a profundidades de 15–25 cm, y los vehículos autónomos (AV) carecen de mecanismos robustos para percibir condiciones de carreteras inundadas, excluyendo estas situaciones de sus dominios de diseño operativo.
• Limitaciones de métodos existentes: Los enfoques de visión por computadora actuales suelen proporcionar estimaciones categóricas gruesas (ej. "nivel de neumático") en lugar de mediciones continuas. Además, carecen de interpretabilidad y no existen conjuntos de datos públicos que permitan el aprendizaje supervisado a resolución centimétrica.

2. Metodología

El estudio propone un marco integral llamado FloodLlama, que integra la recopilación de datos, la generación sintética, el ajuste fino de modelos y la interpretación mecánica.

• Pipeline de Datos Multimodal (TikTok): Se desarrolló un pipeline para extraer datos de TikTok (video, texto en pantalla mediante OCR, transcripciones de audio mediante ASR y comentarios) para crear una red de sensores distribuida y crowdsourced. Se validó con 676 frames de inundación en Detroit.
• Generación de Datos Sintéticos: Para superar la escasez de datos reales etiquetados, se generó un conjunto de datos sintético masivo (~190,000 imágenes) utilizando Unreal Engine 5.
  • Cubre 7 tipos de vehículos, 4 condiciones climáticas y 41 niveles de profundidad (0–40 cm con resolución de 1 cm).
  • Incluye escenarios de vehículos individuales y mixtos (múltiples vehículos) para simular oclusiones y complejidad visual.
• Ajuste Fino del Modelo (FloodLlama):
  • Se utilizó el modelo de código abierto LLaMA 3.2-11B Vision.
  • Se aplicó QLoRA (Low-Rank Adaptation) con cuantización 4-bit para un ajuste eficiente en una sola GPU (RTX 4090).
  • Estrategia de Entrenamiento: Se empleó un entrenamiento curricular progresivo. Primero, se entrenó en datos de vehículos individuales para aprender mapeos visuales básicos, y luego se refinó con datos de vehículos mixtos y resolución de 1 cm.
  • Diseño de Prompts: Se optimizaron los prompts de entrada, incluyendo metadatos estructurados (altura del neumático, despeje del suelo, clima) y un esquema de salida JSON estricto. Se descubrió que los prompts simples funcionan mejor para inundaciones superficiales, mientras que el razonamiento de "Cadena de Pensamiento" (Chain-of-Thought, CoT) mejora el rendimiento en profundidades mayores.
• Interpretabilidad Mecanística: Se desarrolló un marco de cinco fases para entender cómo el modelo codifica la profundidad:
  1. Análisis de pesos de adaptadores LoRA.
  2. Sensibilidad a los prompts y visualización de atención cruzada.
  3. Ablación de capas y análisis estadístico.
  4. Desglose mecánico (Sondeo lineal, Logit Lens, Alineación de Kernel Centrada - CKA).
  5. Clasificación compuesta de capas.
  • Hallazgo clave: La información de profundidad se codifica principalmente en las capas de atención cruzada superiores (específicamente a partir de la capa L23), mientras que las capas inferiores reorganizan características visuales.

3. Contribuciones Clave

1. Pipeline de Datos Multimodal: Primera integración de datos de TikTok (video, audio, texto) para la detección de inundaciones urbanas.
2. Conjunto de Datos Sintético de Alta Resolución: Creación de un corpus masivo con etiquetas de profundidad a resolución de 1 cm, superando la falta de datos públicos etiquetados.
3. FloodLlama: Un modelo VLM ajustado que logra precisión sub-centimétrica en la estimación de profundidad desde una sola imagen.
4. Interpretabilidad y Eficiencia: Aplicación de técnicas de interpretabilidad mecánica para identificar las capas críticas del modelo. Esto permitió un ajuste fino selectivo que reduce los parámetros entrenables en un 76–80% sin sacrificar la precisión, facilitando el despliegue en entornos con recursos limitados.

4. Resultados

• Precisión: FloodLlama alcanzó un Error Absoluto Medio (MAE) de 0.40 cm en datos sintéticos y un MAE inferior a 0.97 cm en datos de inundación profunda.
• Exactitud: Logró una precisión dentro de ±5 cm (Acc@5cm) superior al 93.7% para inundaciones profundas y superior al 96.8% para profundidades someras.
• Validación en Mundo Real: En datos reales de Detroit (validados sobre 676 frames), la configuración Tier 3 alcanzó una precisión del 98.62%.
• Robustez: El modelo demostró ser robusto ante oclusiones visuales (ej. neumáticos tapados), manteniendo una caída de precisión mínima (2.3%) en comparación con otros modelos.
• Transferencia Sintético-Real: Un modelo entrenado exclusivamente con datos sintéticos logró transferir su conocimiento a datos reales con una precisión superior al 95%, validando la eficacia del enfoque de simulación.
• Eficiencia: Las configuraciones Tier 2 y Tier 3 (que ajustan solo capas específicas) redujeron los parámetros entrenables de ~54M a ~6-12M, manteniendo un rendimiento competitivo.

5. Significado e Implicaciones

• Resiliencia del Transporte: Proporciona una solución escalable y sin infraestructura fija para el monitoreo de inundaciones, permitiendo rutas dinámicas y gestión de emergencias basada en la profundidad real del agua.
• Seguridad de Vehículos Eléctricos (EV) y Autónomos (AV): La precisión centimétrica permite evaluar la transitabilidad específica para cada vehículo (comparando la profundidad del agua con el despeje del suelo o la altura de la batería), un requisito crítico para la seguridad de los EV y la expansión del dominio operativo de los AV.
• Avance en IA Explicable: El estudio demuestra que la interpretabilidad mecánica no es solo teórica, sino una herramienta de ingeniería práctica para optimizar modelos grandes, reduciendo costos computacionales y mejorando la confianza en sistemas de seguridad crítica.
• Monitoreo Crowdsourced: Establece la viabilidad de utilizar redes sociales (TikTok) como una infraestructura de sensores distribuidos para la gestión de desastres, complementando o reemplazando sensores físicos costosos.

En resumen, este trabajo presenta un avance significativo al transformar imágenes de redes sociales en datos cuantitativos de alta precisión para la gestión de inundaciones, utilizando una combinación de modelos de lenguaje grandes, datos sintéticos y una profunda comprensión interna del modelo para lograr eficiencia y robustez.