Recov-Vision: Linking Street View Imagery and Vision-Language Models for Post-Disaster Recovery

Resumen Técnico: Recov-Vision

Planteamiento del Problema
La recuperación tras un desastre requiere evaluaciones de ocupación rápidas a nivel de edificio para guiar el triaje, la restauración de servicios públicos y la asignación de recursos. Mientras que las imágenes aéreas (nadir) ofrecen una cobertura amplia, a menudo fallan al capturar pistas a nivel de fachada críticas para determinar la habitabilidad, como entradas bloqueadas, cubiertas temporales o escombros localizados. Por el contrario, las imágenes de vista de calle (SVI) proporcionan estos detalles necesarios, pero son inherentemente dispersas, dependientes del punto de vista y difíciles de alinear con los inventarios de parcelas a escala. Los métodos existentes suelen depender de clasificadores de "caja negra" que carecen del razonamiento estructurado y transparente necesario para auditar decisiones o manejar evidencia visual ambigua.

Metodología
El artículo presenta Recov-Vision, un marco de trabajo a nivel de calle y guiado por lenguaje, diseñado para vincular video panorámico con parcelas específicas e inferir el estado de ocupación. El flujo de trabajo consta de cuatro componentes principales:

1. Recolección de Datos y Preprocesamiento:

   • Adquisición: Se capturó video panorámico de 360° (resolución 5.6K) mediante una GoPro Max montada en un vehículo durante inspecciones de campo en Swannanoa y Black Mountain, Carolina del Norte, tras el huracán Helene. Los datos se recolectaron en dos campañas (marzo y junio de 2025) para rastrear la recuperación.
   • Alineación Geoespacial: Los registros de GPS se sincronizaron con los fotogramas del video. Un índice espacial R-tree vinculó las posiciones del vehículo con las parcelas de referencia (con un margen de 25 m).
   • Rectificación de la Vista: Para estandarizar las entradas, el sistema estimó la orientación del vehículo utilizando una ventana temporal de puntos GPS. Luego, calculó el ángulo de guiñada (yaw) requerido para centrar la fachada del edificio en el encuadre panorámico. Utilizando el filtro v306 de FFmpeg, el sistema dewarpeó la entrada ecuirrectangular en una vista centrada en la fachada y rectilínea (relación de aspecto 16:9).

2. Estrategias de Prompting de Modelos de Visión-Lenguaje (VLM):
   El estudio compara dos arquitecturas de decisión utilizando un extractor de visión compartido (GPT-4o) y un esquema de atributos estandarizado (Tabla 2):

   • Línea Base de Una Etapa (One-Stage): El VLM extrae nueve atributos visuales (ej. destrucción de la vivienda, escombros exteriores, marcas de emergencia). Un sistema de puntuación determinista basado en reglas clasifica la ocupación. La regla es: Predecir "No Ocupado" si (Indicadores de Riesgo - Presencia del Vehículo) ≥ 2. Este umbral se ajustó para ser conservador, requiriendo corroboración para las etiquetas negativas.
   • Estrategia de Dos Etapas (Two-Stage): El VLM primero extrae los mismos atributos visuales sin inferir la ocupación. En una segunda etapa, un LLM puramente de texto aplica reglas de razonamiento explícitas y ejemplos de pocos disparos (few-shot) para mapear estos atributos a una etiqueta final de "Ocupado" o "No Ocupado". Esta etapa está diseñada para ser conservadora, favoreciendo el "No Ocupado" cuando la evidencia es ambigua.

3. Análisis Temporal:
   El marco agrega las predicciones a nivel de fotograma en etiquetas a nivel de parcela mediante voto mayoritario. Define cuatro clases de cambio entre las dos visitas: Recuperado (No Ocupado → Ocupado), Deteriorado (Ocupado → No Ocupado) y dos estados Estables.

4. Evaluación:
   El desempeño se evaluó contra la verdad de campo humana utilizando precisión, exhaustividad (recall), F1 y $\kappa$ de Cohen. La significancia estadística se evaluó mediante remuestreo de bootstrap pareado y pruebas de McNemar. La autocorrelación espacial de los errores se analizó mediante el $I$ de Moran Global.

Contribuciones Clave

1. Flujo de Trabajo Reproducible: Un flujo de trabajo de extremo a extremo que vincula videos panorámicos de 5.6K con parcelas, incluyendo formulaciones geométricas específicas para la rectificación de la vista y la estimación de la orientación basada en GPS.
2. Inferencia Interpretable: Una comparación entre un enfoque de reglas transparente y un diseño de percepción-a-razonamiento de dos etapas. La separación de la extracción de atributos de la lógica de decisión permite el ajuste de políticas sin reentrenar los componentes de visión.
3. Evaluación Espacio-Temporal: Un marco para cuantificar la recuperación neta y diagnosticar la agrupación de errores mediante el $I$ de Moran Global, yendo más allá de la precisión agregada hacia diagnósticos espaciales.
4. Validación Estadística: Reporte riguroso de intervalos de confianza y taxonomías de error, demostrando que el enfoque de dos etapas reduce la ambigüedad y guía a los revisores hacia un subconjunto específico de casos difíciles.

Resultos

• Desempeño: La estrategia de dos etapas logró una mayor exhaustividad (0.781 vs. 0.728) y puntuaciones de F1 y $\kappa$ de Cohen ligeramente superiores en comparación con la línea base de una etapa. Sin embargo, las pruebas de bootstrap pareado y las pruebas de McNemar indicaron que estas diferencias no fueron estadísticamente significativas en el punto operativo actual.
• Métricas de Recuperación: Ambos modelos sobreestimaron la ocupación con respecto a la verdad de campo. No obstante, la estrategia de dos etapas reprodujo con mayor exactitud la tendencia de recuperación neta de la verdad de campo (+14), mientras que la línea base de una etapa sobreestimó la recuperación (+18).
• Análisis de Errores: Los errores residuales no se distribuyeron de forma aleatoria. El análisis del $I$ de Moran Global reveló una agrupación espacial significativa tanto de los estados de ocupación como de los errores de predicción. Esto sugiere que los errores se concentran en "bolsas" específicas, lo que hace factible un control de calidad dirigido.
• Estudios de Caso: El enfoque de dos etapas demostró una frontera de decisión más conservadora, identificando correctamente casos de "No Ocupado" donde la línea base de una etapa falló (ej. viviendas con reparaciones mayores), aunque ambos modelos tuvieron dificultades con pistas visuales confusas (ej. malinterpretar logotipos como marcas de emergencia).

Significancia y Reivindicaciones
El artículo sostiene que el valor principal del diseño de dos etapas no reside en una superioridad de rendimiento bruto (que no fue estadísticamente significativa), sino en la controlabilidad y auditabilidad. Al exponer los atributos intermedios y separar la percepción del razonamiento, el sistema permite a los operadores:

• Diagnosticar modos de falla y ajustar las políticas de decisión (ej. umbrales de riesgo) sin reentrenar.
• Priorizar la revisión humana para las bolsas de error agrupadas espacialmente en lugar de realizar auditorías difusas y aleatorias.
• Producir salidas auditables y listas para la toma de decisiones, aptas para la integración en flujos de trabajo de gestión de emergencias.

Los autores concluyen que, si bien el flujo de trabajo ofrece una alternativa escalable a las inspecciones puerta a puerta, sigue estando limitado por la calidad de las imágenes subyacentes, particularmente en escenarios de post-reparación donde las pistas visuales se vuelven más sutiles. Se sugiere como trabajo futuro la validación multirregional y el modelado de transiciones temporales.