🤖 machine learning

Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation

Este artigo introduz o ajuste fino seletivo de modelos de visão-linguagem guiado pela interpretabilidade mecanística, que identifica camadas de atenção cruzada específicas críticas para a estimativa de profundidade de inundação para alcançar precisão de nível centimétrico com uma redução de 86–88% nos parâmetros treináveis em comparação ao ajuste fino denso.

Autores originais: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

Publicado 2026-08-11

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a ler uma história escrita em imagens. Este robô, conhecido como um Modelo de Visão-Linguagem (VLM), é como um aluno brilhante que leu milhões de livros e viu bilhões de fotos, mas nunca esteve de fato em uma rua inundada. Ele sabe o que um carro parece e o que a água parece separadamente, mas não aprendeu a medir exatamente quão profunda é a água apenas olhando para um carro parado nela. Este é um grande problema para as nossas cidades. Quando chove forte, a água pode subir e prender carros ou derrubar a energia, mas, no momento, nossos aplicativos de navegação só conseguem nos dizer se uma estrada está "aberta" ou "fechada". Eles não conseguem nos dizer se a água tem 2 centímetros de profundidade (um pequeno respingo) ou 20 centímetros de profundidade (perigoso para o motor de um carro). Para resolver isso, os cientistas precisam ensinar esses robôs a serem precisos, até o centímetro, sem precisar que um humano esteja lá com uma régua. O desafio é que ensinar um robô gigante a fazer isso geralmente requer uma quantidade massiva de poder computacional e uma montanha de fotos do mundo real, que são difíceis de obter porque inundações são perigosas e imprevisíveis.

Este artigo conta a história de como uma equipe de pesquisadores ensinou um robô chamado "FloodLlama" a se tornar um mestre detetive de inundações. Primeiro, eles construíram um mundo de videogame gigante e virtual usando o Unreal Engine 5, preenchendo-o com 2,81 milhões de imagens de carros na chuva, sob o sol e à noite, com níveis de água variando de seco a 40 centímetros de profundidade. Eles usaram cerca de 610.000 dessas imagens para treinar o robô. O robô aprendeu a olhar para um carro e adivinhar a profundidade da água com uma precisão incrível, obtendo a resposta com uma margem de erro de apenas 0,40 centímetros em média. Mas aqui está a parte astuta: os pesquisadores não pararam apenas em tornar o robô inteligente; eles queriam saber como ele estava pensando. Eles usaram um conjunto especial de ferramentas chamado "interpretabilidade mecanística" para espiar dentro do cérebro do robô. Eles descobriram que o robô não aprende a tarefa inteira de uma vez. Em vez disso, ele passa por dois estágios: primeiro, ele reorganiza como vê a imagem (como organizar uma mesa bagunçada) e, depois, em uma camada específica de seu cérebro (camada 23), ele subitamente descobre como transformar aquela imagem em um número.

Usando este mapa secreto do cérebro do robô, os pesquisadores construíram duas novas versões super eficientes do modelo, chamadas FloodLlama-MI5 e FloodLlama-MI6. Em vez de treinar o cérebro inteiro do robô, eles ensinaram apenas as camadas específicas que sabiam que estavam realizando o trabalho importante. Isso foi como ensinar um aluno a resolver um problema de matemática focando apenas nos passos específicos onde a resposta é realmente calculada, ignorando o resto. O resultado? Esses novos modelos são de 86% a 88% menores e mais rápidos de treinar do que o modelo original, mas ainda são incrivelmente precisos. Quando testados em fotos reais de inundações, a versão mais eficiente (MI6) acertou a resposta 98,62% das vezes, superando o sistema anterior por uma margem ampla. O artigo sugere que, ao entender exatamente como esses modelos gigantes aprendem, podemos torná-los muito mais eficientes sem perder sua inteligência, pavimentando o caminho para sistemas de navegação mais seguros e inteligentes que possam nos dizer exatamente quão profunda é a água antes de dirigirmos nela.

Resumo Técnico: Ajuste Fino Seletivo Guiado por Interpretabilidade Mecanística para Estimativa de Profundidade de Inundação em Nível de Centímetro

1. Definição do Problema

As inundações urbanas representam uma ameaça crítica à infraestrutura de transporte, mas os sistemas operacionais atuais (ex: Google Maps, Waze) dependem atualmente de relatórios de fechamento binários em vez de medições quantitativas de profundidade. Essa abordagem binária falha em suportar aplicações emergentes de segurança crítica:

Veículos Elétricos (VEs): Risco de fuga térmica em profundidades de 15–25 cm.
Veículos Autônomos (VAs): Requerem estimativa precisa de profundidade para definir domínios de operação de design, já que os atuais stacks de percepção não conseguem distinguir entre água passável e intransitável.
Física de Segurança: Mesmo uma película de água de 0,56–1,5 mm pode desencadear aquaplanagem, e uma película de 1 mm pode reduzir o atrito pneu-pavimento em até 61%.

As soluções baseadas em visão existentes sofrem de limitações significativas:

Métodos de objeto de referência: Limitados a ~12 cm de MAE e falham quando objetos estão ocluídos.
Métodos de detecção de objetos: Tratam a profundidade como categorias discretas em vez de variáveis contínuas.
Modelos Multimodais Grandes (LMMs) Zero-shot: Embora ofereçam raciocínio aberto, produzem erros elevados (MAE > 8 cm) e funcionam como caixas-pretas proprietárias, impedindo a interpretabilidade necessária para implantação em segurança crítica.

Existe uma lacuna na literatura quanto ao ajuste fino de Modelos de Linguagem-Visão (VLMs) de código aberto para estimativa de profundidade contínua com resolução de centímetro e o entendimento mecanístico de como esses modelos adquirem tais capacidades.

2. Metodologia

A. Geração de Dados Sintéticos

Para superar a escassez de dados de inundação rotulados do mundo real, os autores geraram um corpus sintético de 2,81 milhões de imagens usando Unreal Engine 5. O conjunto de dados inclui:

Subconjunto de veículo único: 1,73M de imagens com 7 tipos de veículos em 9 níveis discretos de profundidade (0–40 cm em passos de 5 cm) e 4 condições climáticas.
Subconjunto de veículos mistos: 1,08M de imagens com múltiplos veículos por cena, variando a profundidade em incrementos de 1 cm (1–40 cm) para simular oclusão e complexidade visual.
Avaliação de Fidelidade: A transferência sim-para-real foi validada usando estatísticas de Kolmogorov-Smirnov (KS), com o subconjunto de veículos mistos mostrando melhor alinhamento com imagens reais do que o subconjunto de veículo único.

B. Modelo de Referência: FloodLlama-Dense

Os autores realizaram o ajuste fino do LLaMA 3.2-11B Vision Instruct usando QLoRA (quantização NF4 de 4 bits com adaptadores LoRA).

Arquitetura: O modelo acopla um codificador de visão ViT-H/14 congelado a um decodificador de 40 camadas. Adaptadores LoRA ( $r=16, \alpha=16$ ) foram inseridos nas projeções Q/K/V/O de todos os 40 módulos de atenção (32 camadas de autoatenção + 8 camadas de cross-attention).
Estratégia de Treinamento: Foi empregado um currículo progressivo de duas fases:
1. Fase 1: Ajuste fino em um subconjunto equilibrado de 340k imagens do dado de veículo único para estabelecer o mapeamento básico visão-linguagem.
2. Fase 2: Ajuste fino cumulativo em 270k imagens do subconjunto de veículos mistos (processadas em 9 blocos sequenciais) para lidar com oclusão e refinar a regressão contínua.
Parâmetros: 54,4M de parâmetros treináveis (0,49% do modelo base).

C. Análise de Interpretabilidade Mecanística

Para entender como o modelo aprende a profundidade e identificar alvos eficientes de ajuste fino, os autores aplicaram quatro técnicas de interpretabilidade ao FloodLlama-Dense treinado:

Sondagem Linear (Linear Probing): Um regressor de ridge foi treinado em estados ocultos congelados para prever a profundidade. Os resultados mostraram uma transição de fase abrupta na Camada 23 (L23), onde a profundidade tornou-se linearmente decodificável ( $R^2$ saltou de -0,355 para +0,513).
Lente de Logit (Logit Lens): Revelou que os tokens numéricos de profundidade só emergiram nas camadas L33 e L38, após a transição de codificação em L23.
Alinhamento de Núcleo Centrado (CKA): Mediu o desvio representacional. As camadas L13–L22 mostraram desvio significativo (reestruturação de características visuais), mas não codificaram a profundidade. As camadas L23–L38 mantiveram alta similaridade com o modelo base, mas carregavam a informação de profundidade.
Entropia de Cross-Attention: Mediu o foco da atenção. A L13 mostrou a redução de entropia mais acentuada (seletividade espacial), mas zero capacidade de codificação.
Análise de Pesos LoRA: Identificou que L18, L23, L28, L33 e L38 absorveram a maioria das atualizações de peso.

Descoberta Principal: O modelo exibe um padrão de adaptação de duas etapas: as camadas iniciais a intermediárias (L13–L22) reestruturam as representações visuais, enquanto as camadas tardias (começando em L23) codificam a informação de profundidade.

D. Ajuste Fino Seletivo: FloodLlama-MI5 e MI6

Aproveitando as descobertas de interpretabilidade, os autores desenvolveram variantes de ajuste fino eficiente de parâmetros que ajustam apenas camadas específicas de cross-attention:

FloodLlama-MI5: Ajusta 5 camadas (L8, L18, L23, L33, L38).
FloodLlama-MI6: Ajusta 6 camadas (conjunto MI5 + L28).
Eficiência: Estes modelos reduzem os parâmetros treináveis em 86–88% (6,55M e 7,86M de parâmetros, respectivamente) em comparação com o baseline denso, mantendo o mesmo currículo de treinamento de duas fases.

3. Resultados Principais

A. Desempenho em Testes Sintéticos

No conjunto de teste de 16.000 imagens de veículos mistos retido para teste:

FloodLlama-Dense: Alcançou MAE = 0,40 cm, RMSE = 1,97 cm e Acc@5cm = 97,59%.
FloodLlama-MI5: MAE = 0,80 cm, Acc@5cm = 95,1%.
FloodLlama-MI6: MAE = 0,78 cm, Acc@5cm = 95,8%.
Observação: Embora o modelo denso tenha alcançado o erro absoluto mais baixo, as variantes esparsas mantiveram a precisão operacional dentro da banda de tolerância crítica de ±5 cm com uma fração do custo de treinamento.

B. Benchmark de Mundo Real (vs. STURM-FloodDepth)

Avaliado em um conjunto de dados do mundo real de 300 imagens contra o baseline STURM-FloodDepth (que produz categorias discretas):

FloodLlama-MI6 (prompt de Cadeia de Pensamento - CoT): Alcançou 98,62% de precisão geral e 100,00% de precisão em níveis de inundação profundos (>30 cm).
STURM-FloodDepth: Alcançou 86,61% de precisão geral e 88,27% em níveis de inundação profundos.
Significância Estatística: A melhoria de ~12 pontos percentuais foi confirmada com intervalos de confiança de 95% não sobrepostos.
Sensibilidade ao Prompt: Prompts de Cadeia de Pensamento (CoT) geraram a maior precisão e melhor calibração para inundações profundas, enquanto prompts "Simples" tenderam a subestimar níveis de inundação profundos.

4. Contribuições

Dataset: Criação de um corpus sintético de inundação de 2,81 milhões de imagens com rótulos de profundidade em resolução de centímetro e variação sistemática de tipos de veículos e clima.
FloodLlama-Dense: O primeiro VLM de código aberto ajustado para regressão de profundidade de inundação contínua em resolução de centímetro, alcançando MAE sub-centimétrico em dados sintéticos.
Insight Mecanístico: A primeira aplicação de interpretabilidade mecanística (sondagem linear, lente de logit, CKA, entropia) a um modelo de profundidade de inundação, identificando a Camada 23 como a camada crítica de transição de codificação de profundidade e revelando um padrão de adaptação de "reestruturar-então-codificar".
Modelos Eficientes: Desenvolvimento do FloodLlama-MI5 e MI6, que alcançam redução de parâmetros de 86–88% enquanto superam o estado da arte STURM-FloodDepth em dados do mundo real.

5. Significância e Alegações

O artigo afirma que a interpretabilidade mecanística pode servir como um driver de design prático para o Ajuste Fino Eficiente de Parâmetros (PEFT) em tarefas de percepção de transporte. Ao identificar camadas específicas responsáveis pela codificação da tarefa (L23) versus camadas responsáveis pela reestruturação de características (L13–L22), os autores demonstram que:

O ajuste fino total de todas as camadas não é necessário para regressão de alta precisão.
O ajuste fino seletivo guiado por análise de interpretabilidade pode reduzir os custos computacionais em quase 90% sem sacrificar a generalização para o mundo real.
VLMs de código aberto, quando devidamente ajustados e interpretados, podem fornecer a precisão sub-decímetro exigida para os próximos sistemas de segurança veicular, superando tanto métodos tradicionais de visão computacional quanto modelos proprietários zero-shot.

Os autores observam limitações, incluindo a dependência de uma única arquitetura de VLM (LLaMA 3.2) e a sub-representação de cenários de baixa luminosidade extrema e inundações profundas no conjunto de testes do mundo real, sugerindo que trabalhos futuros devam estender esses protocolos de interpretabilidade para outras arquiteturas e condições ambientais mais amplas.