LLM-Powered Flood Depth Estimation from Social Media Imagery: A Vision-Language Model Framework with Mechanistic Interpretability for Transportation Resilience

Título: Estimativa de Profundidade de Inundação Impulsionada por LLM a partir de Imagens de Mídia Social: Um Framework de Modelo de Visão-Linguagem com Interpretabilidade Mecanística para Resiliência no Transporte

1. Problema e Contexto

As inundações urbanas representam uma ameaça crescente à continuidade das redes de transporte, causando danos diretos e indiretos bilionários. No entanto, existe uma lacuna crítica nos sistemas atuais:

• Falta de Dados em Tempo Real: Plataformas de navegação (como Google Maps e Waze) dependem de relatórios binários de fechamento de estradas, que são atrasados e carecem de informações específicas sobre a profundidade da água.
• Sensibilidade à Profundidade: O impacto na mobilidade é altamente sensível à profundidade (ex: veículos elétricos - EVs têm baterias vulneráveis a 15–25 cm; veículos autônomos - AVs não possuem percepção robusta para águas paradas).
• Limitações de Métodos Atuais: Abordagens de visão computacional existentes fornecem estimativas categóricas grosseiras (ex: nível do pneu) ou dependem de objetos de referência fixos que nem sempre estão visíveis. Modelos de linguagem multimodal (LMMs) operam em modo zero-shot com baixa precisão e falta de interpretabilidade.
• Escassez de Dados: Não existem conjuntos de dados públicos que liguem imagens de nível da rua a rótulos de profundidade contínua em resolução centimétrica.

2. Metodologia Proposta

O estudo apresenta o FloodLlama, um framework end-to-end que converte imagens de mídia social em estimativas de profundidade de inundação com resolução de 1 cm.

A. Coleta de Dados e Pipeline Multimodal

• Fonte: Dados coletados do TikTok (focados em Detroit, 2016–2025), incluindo frames de vídeo, transcrições de áudio (ASR), texto na tela (OCR) e comentários.
• Pré-processamento: Um modelo de detecção de inundação (fine-tuned) filtra cenas alagadas, e um classificador identifica o tipo de veículo.

B. Geração de Dados Sintéticos

Para superar a falta de dados reais rotulados, foi criada uma pipeline de geração sintética usando Unreal Engine 5:

• Escala: ~190.000 imagens (1,7M de cenas de veículo único + 1,08M de cenas mistas).
• Variáveis: 7 tipos de veículos, 4 condições climáticas (sol, chuva, noite, tarde) e 41 níveis de profundidade (0–40 cm com resolução de 1 cm).
• Validação: Análise estatística (KS-test) confirmou que as imagens sintéticas mistas possuem alta fidelidade visual em relação a fotos reais, especialmente em contraste e textura.

C. Modelo e Fine-Tuning

• Arquitetura: Baseado no LLaMA 3.2-11B Vision.
• Técnica: Quantized Low-Rank Adaptation (QLoRA) para fine-tuning eficiente em uma única GPU (RTX 4090).
• Estratégia de Treinamento:
  1. Prompting Estruturado: Uso de metadados do veículo (altura do pneu, altura do solo) e condições climáticas no prompt. Saída forçada em formato JSON.
  2. Treinamento Curricular Progressivo: Fase 1 com dados de veículo único (aprendizado de mapeamento visual) e Fase 2 com dados de veículos mistos e resolução de 1 cm.

D. Interpretabilidade Mecanística

O estudo aplica uma análise de 5 fases para entender como o modelo aprende:

1. Análise de Pesos: Identificação de camadas de atenção cruzada onde ocorrem as maiores adaptações.
2. Sensibilidade ao Prompt: Comparação de estratégias (Simple vs. Chain-of-Thought).
3. Ablação de Camadas: Teste de subconjuntos de camadas para encontrar a configuração ótima.
4. Probing Linear e Logit Lens: Decodificação de informações de profundidade nas representações ocultas.
5. Alinhamento de Kernel (CKA): Medição da divergência representacional entre o modelo base e o fine-tuned.

Descoberta Chave: A informação de profundidade emerge principalmente nas camadas superiores de atenção cruzada (L23 a L38), com uma transição crítica na camada L23. Camadas anteriores (L3-L18) reorganizam características visuais, mas não codificam diretamente a profundidade.

3. Principais Contribuições

1. Pipeline de Dados TikTok: Um fluxo de trabalho multimodal para sensoriamento de inundações baseado em conteúdo gerado por usuários.
2. Conjunto de Dados Sintético em Alta Resolução: O maior conjunto de dados público conhecido para estimativa de profundidade de inundação com rótulos contínuos de 1 cm.
3. FloodLlama: Um modelo VLM fine-tuned que atinge precisão sub-centimétrica, superando métodos zero-shot e CNNs tradicionais.
4. Framework de Interpretabilidade Mecanística: Uma metodologia que identifica as camadas críticas do modelo, permitindo fine-tuning seletivo que reduz os parâmetros treináveis em 76–80% sem perda significativa de precisão.
5. Estratégia de Prompt Adaptativa: Demonstração de que prompts simples funcionam melhor para inundações rasas, enquanto o raciocínio Chain-of-Thought (CoT) é superior para profundidades maiores.

4. Resultados e Desempenho

• Precisão Geral: O modelo alcançou um Erro Absoluto Médio (MAE) de 0,40 cm e uma acurácia dentro de 5 cm (Acc@5cm) de 97,59% em dados sintéticos.
• Desempenho em Dados Reais: Validado em 676 frames reais de Detroit, o modelo Tier 3 (configuração otimizada) alcançou 98,62% de acurácia na classificação de níveis de inundação, superando significativamente a linha de base STURM-FloodDepth (86,61%).
• Robustez: O modelo manteve alta precisão mesmo sob oclusão parcial (máscara de pneus), com queda de apenas 2,3% na acurácia para a configuração Tier 3.
• Eficiência: O fine-tuning seletivo (Tier 2 e Tier 3) reduziu os parâmetros treináveis para ~10-12 milhões (vs. 54 milhões no fine-tuning completo), mantendo desempenho competitivo.

5. Significado e Implicações

• Segurança de Veículos Elétricos (EVs) e Autônomos (AVs): A precisão centimétrica permite avaliar a travessabilidade específica para cada veículo, crucial para evitar danos a baterias de EVs e para a segurança de frotas autônomas.
• Resiliência do Transporte: Oferece uma solução escalável e sem infraestrutura fixa para monitoramento em tempo real, permitindo rotas dinâmicas e fechamento seletivo de vias.
• Avanço em IA Explicável: Demonstra que a interpretabilidade mecanística não é apenas teórica, mas uma ferramenta prática de engenharia para otimizar modelos grandes para tarefas de segurança crítica.
• Transferência Sintética-Real: Prova que modelos treinados exclusivamente em dados sintéticos realistas podem generalizar com alta precisão para o mundo real, mitigando o risco de coleta de dados perigosos.

Conclusão

O estudo estabelece um novo paradigma para o sensoriamento de inundações, transformando imagens de mídia social em dados quantitativos de alta precisão. Ao combinar a geração de dados sintéticos, o fine-tuning eficiente de LLMs e a interpretação profunda da arquitetura do modelo, o framework FloodLlama oferece uma solução viável, escalável e robusta para melhorar a resiliência dos sistemas de transporte urbano frente a eventos climáticos extremos.