Recov-Vision: Linking Street View Imagery and Vision-Language Models for Post-Disaster Recovery

Resumo Técnico: Recov-Vision

Definição do Problema
A recuperação pós-desastre exige avaliações rápidas de ocupação ao nível de edifícios para orientar o triagem, a restauração de utilidades e a alocação de recursos. Embora imagens de visão aérea (nadir) ofereçam cobertura ampla, elas frequentemente falham em capturar pistas ao nível da fachada críticas para determinar a habitabilidade, como entradas bloqueadas, coberturas temporárias ou detritos localizados. Por outro lado, imagens de visão de rua (SVI) fornecem esses detalhes necessários, mas são inerentemente esparsas, dependentes do ponto de vista e difíceis de alinhar com inventários de lotes em escala. Métodos existentes frequentemente dependem de classificadores de "caixa preta" que carecem do raciocínio estruturado e transparente necessário para auditar decisões ou lidar com evidências visuais ambíguas.

Metodologia
O artigo apresenta o Recov-Vision, um framework de nível de rua guiado por linguagem, projetado para vincular vídeo panorâmico a lotes de terra específicos e inferir o status de ocupação. O pipeline consiste em quatro componentes principais:

1. Coleta de Dados e Pré-processamento:

   • Aquisição: Vídeos panorâmicos de 360° (resolução de 5.6K) foram capturados via uma GoPro Max montada em veículo durante levantamentos de campo em Swannanoa e Black Mountain, Carolina do Norte, após o Furacão Helene. Os dados foram coletados em duas campanhas (março e junho de 2025) para monitorar a recuperação.
   • Alinhamento Geoespacial: Registros de GPS foram sincronizados com os quadros de vídeo. Um índice espacial R-tree combinou as posições do veículo com lotes de referência (com buffer de 25m).
   • Retificação de Visão: Para padronizar as entradas, o sistema estimou a direção do veículo usando uma janela temporal de pontos de GPS. Em seguida, calculou o ângulo de yaw necessário para centralizar a fachada do edifício no quadro panorâmico. Usando o filtro v360 do FFmpeg, o sistema desretificou a entrada equirretangular em uma visão retilínea e centrada na fachada (proporção 16:9).

2. Estratégias de Prompting de Modelo de Visão-Linguagem (VLM):
   O estudo compara duas arquiteturas de decisão usando um extrator visual compartilhado (GPT-4o) e um esquema de atributos padronizado (Tabela 2):

   • Baseline de Estágio Único (One-Stage): O VLM extrai nove atributos visuais (ex: destruição da casa, detritos externos, marcações de emergência). Um sistema de pontuação determinístico baseado em regras classifica a ocupação. A regra é: Prever "Não Ocupado" se (Indicadores de Risco - Presença de Veículo) ≥ 2. Este limiar é ajustado para ser conservador, exigindo corroboração para rótulos negativos.
   • Estratégia de Dois Estágios (Two-Stage): O VLM primeiro extrai os mesmos atributos visuais sem inferir a ocupação. Em um segundo estágio, um LLM puramente textual aplica regras de raciocínio explícitas e exemplos de few-shot para mapear esses atributos a um rótulo final de "Ocupado" ou "Não Ocupado". Este estágio é projetado para ser conservador, favorecendo "Não Ocupado" quando a evidência é ambígua.

3. Análise Temporal:
   O framework agrega previsões ao nível de quadro em rótulos ao nível de lote via voto majoritário. Ele define quatro classes de mudança entre as duas visitas: Recuperado (Não Ocupado → Ocupado), Deteriorado (Ocupado → Não Ocupado) e dois estados Estáveis.

4. Avaliação:
   O desempenho foi avaliado contra a verdade fundamental (ground truth) humana usando precisão, recall, F1 e $\kappa$ de Cohen. A significância estatística foi avaliada via reamostragem bootstrap pareada e testes de McNemar. A autocorrelação espacial dos erros foi analisada usando o $I$ de Moran Global.

Principais Contribuições

1. Pipeline Reproduzível: Um fluxo de trabalho de ponta a ponta que vincula vídeos panorâmicos de 5.6K a lotes, incluindo formulações geométricas específicas para retificação de visão e estimativa de direção baseada em GPS.
2. Inferência Interpretável: Uma comparação entre uma abordagem de regras transparente e um design de percepção-para-raciocínio de dois estágios. A separação da extração de atributos da lógica de decisão permite o ajuste de políticas sem o retreinamento dos componentes de visão.
3. Avaliação Espaço-Temporal: Um framework para quantificar a recuperação líquida e diagnosticar o agrupamento de erros usando o $I$ de Moran Global, indo além da acurácia agregada para diagnósticos espaciais.
4. Validação Estatística: Relato rigoroso de intervalos de confiança e taxonomias de erro, demonstrando que a abordagem de dois estágios reduz a ambiguidade e guia os revisores a um subconjunto específico de casos difíceis.

Resultados

• Desempenho: A estratégia de dois estágios alcançou um recall maior (0.781 vs. 0.728) e escores de F1 e $\kappa$ de Cohen ligeiramente superiores em comparação ao baseline de estágio único. No entanto, testes de bootstrap pareado e testes de McNemar indicaram que essas diferenças não foram estatisticamente significativas no ponto operacional atual.
• Métricas de Recuperação: Ambos os modelos superestimaram a ocupação em relação à verdade fundamental. Contudo, a estratégia de dois estágios reproduziu com mais precisão a tendência de recuperação líquida da verdade fundamental (+14), enquanto o baseline de estágio único superestimou a recuperação (+18).
• Análise de Erro: Os erros residuais não foram distribuídos aleatoriamente. A análise do $I$ de Moran Global revelou um agrupamento espacial significativo tanto de estados de ocupação quanto de erros de previsão. Isso sugere que os erros se concentram em "bolsões" específicos, tornando viável a garantia de qualidade direcionada.
• Estudos de Caso: A abordagem de dois estágios demonstrou uma fronteira de decisão mais conservadora, identificando corretamente casos de "Não Ocupado" onde o baseline de estágio único falhou (ex: casas com reparos maiores), embora ambos os modelos tenham tido dificuldades com pistas visuais confusas (ex: interpretar logotipos como marcações de emergência).

Significância e Alegações
O artigo alega que o principal valor do design de dois estágios não reside na superioridade de desempenho bruto (que não foi estatisticamente significativa), mas na controlabilidade e auditabilidade. Ao expor atributos intermediários e separar a percepção do raciocínio, o sistema permite que operadores:

• Diagnostiquem modos de falha e ajustem políticas de decisão (ex: limiares de risco) sem retreinamento.
• Priorizem a revisão humana para bolsões de erro espacialmente agrupados, em vez de realizar auditorias difusas e aleatórias.
• Produzam saídas auditáveis e prontas para a tomada de decisão, adequadas para integração em fluxos de trabalho de gestão de emergências.

Os autores concluem que, embora o pipeline ofereça uma alternativa escalável às inspeções porta a porta, ele permanece limitado pela qualidade das imagens subjacentes, particularmente em cenários de pós-reparo, onde as pistas visuais tornam-se mais sutis. Sugere-se trabalho futuro para validação multirregional e modelagem de transição temporal.