Vision-Language Foundation Models for Comprehensive Automated Pavement Condition Assessment

Título: Modelos Fundamentais Visão-Linguagem para Avaliação Abrangente Automatizada da Condição de Pavimentos

1. Problema e Motivação

Os modelos de visão-linguagem (VLMs) de propósito geral (como QwenVL, LLaVA) demonstram forte desempenho em domínios cotidianos, mas falham em campos técnicos especializados que exigem terminologia precisa, raciocínio estruturado e adesão estrita a normas de engenharia.

• Desafios Específicos: A avaliação de pavimentos envolve identificação de falhas de alta granularidade, quantificação de severidade baseada em padrões (como ASTM D6433), localização espacial precisa e geração de relatórios estruturados.
• Limitações Atuais: VLMs gerais tendem a interpretar mal as falhas, fornecer respostas não específicas e falhar em seguir procedimentos padronizados, especialmente em cenários zero-shot.
• Gap de Dados: Conjuntos de dados existentes focam em tarefas unimodais (detecção ou segmentação) ou carecem de instruções e respostas textuais que simulem o raciocínio de engenheiros civis e fluxos de trabalho de manutenção.

2. Metodologia

A abordagem proposta consiste na criação de um novo conjunto de dados instrucional e no treinamento de um modelo fundamental especializado.

A. PaveInstruct (Conjunto de Dados)

• Origem: Unificação de anotações de 9 conjuntos de dados heterogêneos de pavimentos (incluindo PID, PaveTrack, RDD2022, SVRDD, DSPS23/24, PCIer, etc.), cobrindo diversas perspectivas (UAV, veículo, smartphone) e tipos de falhas.
• Escala: Contém 278.889 pares imagem-instrução-resposta.
• Taxonomia de Tarefas: As instruções cobrem 32 tipos de tarefas organizadas em 5 categorias principais:
  1. Raciocínio Espacial: Localização de objetos, enumeração, análise de relações espaciais e "grounding" (ancoragem visual).
  2. Avaliação de Condição: Classificação de severidade, estimativa de Índice de Condição de Pavimento (PCI) e identificação de falhas.
  3. Fluxos de Trabalho Profissionais: Recomendações de tratamento, análise de segurança e preenchimento de checklists normativos.
  4. Raciocínio e Análise: Cadeias de pensamento (Chain-of-Thought), análise comparativa e correção de erros.
  5. Interação Multimodal: Diálogos multi-turno, legendas de vários comprimentos e comparação de cenas.
• Pipeline de Geração: Um processo de 4 estágios foi desenvolvido para unificar formatos de anotação (YOLO, Pascal VOC, CSV, etc.), harmonizar sistemas de coordenadas, gerar instruções específicas de domínio (alinhadas à ASTM D6433) e realizar validação de qualidade por engenheiros especializados.

B. PaveGPT (Modelo)

• Arquitetura: Baseado na arquitetura Qwen2.5-VL.
  • Codificador de Visão: Vision Transformer (ViT) com atenção em janelas e processamento de resolução dinâmica (frozen durante o ajuste fino para preservar características visuais gerais).
  • Projeção Multimodal: MLP treinável para alinhar embeddings visuais ao espaço de embeddings da linguagem.
  • Backbone de Linguagem: Modelo de linguagem de grande escala (LLM) decoder-only.
• Treinamento: Ajuste fino supervisionado (SFT) no conjunto PaveInstruct. O objetivo é minimizar a verossimilhança negativa das respostas alvo, permitindo que o modelo aprenda terminologia de engenharia, lógica de cálculo de PCI e formatos de saída estruturados.

3. Contribuições Principais

1. PaveInstruct: O primeiro conjunto de dados instrucional abrangente para avaliação de pavimentos, permitindo o treinamento de assistentes conversacionais especializados.
2. Pipeline de Integração: Uma metodologia sistemática para unificar dados heterogêneos de pavimentos, preservando a riqueza semântica e a validade de engenharia.
3. PaveGPT: Um modelo fundamental especializado que demonstra alto desempenho em percepção, compreensão e raciocínio, mantendo eficiência computacional para implantação prática.
4. Evidência Empírica: Demonstração de que o ajuste fino específico de domínio transforma VLMs gerais em ferramentas de avaliação viáveis, superando significativamente o desempenho zero-shot.

4. Resultados e Desempenho

Os experimentos compararam o PaveGPT e outros VLMs ajustados (LLaVA, InternVL, MiniCPM, etc.) contra bases zero-shot.

• Melhoria Geral: O ajuste fino resultou em melhorias superiores a 20% em tarefas de ancoragem espacial, raciocínio e geração de texto em comparação com modelos não ajustados.
• Métricas de Percepção:
  • Ancoragem Espacial (mIoU): O PaveGPT alcançou um mIoU de 32,68%, superando significativamente os modelos base zero-shot (que variavam entre 1,5% e 8,9%).
  • Precisão na Localização: Alta precisão na geração de caixas delimitadoras para falhas específicas.
• Métricas de Raciocínio e PCI:
  • Estimativa de PCI: O modelo alcançou um Erro Absoluto Médio (MAE) competitivo (19,32 para o PaveGPT, com o MiniCPM ajustado obtendo o menor MAE de 13,07 entre os testados), mas com a vantagem crucial de fornecer justificativas passo a passo alinhadas à norma ASTM D6433.
  • Raciocínio: Os modelos ajustados conseguiram gerar cadeias de pensamento coerentes, explicando como as falhas visuais impactam o índice de condição.
• Qualidade de Geração: Melhoria significativa em métricas de geração de texto (BLEU-4, ROUGE-L, CIDEr) e na capacidade de seguir instruções complexas e multi-turno.
• Eficiência: O PaveGPT-7B apresentou um bom equilíbrio entre desempenho e eficiência, com tempo de resposta (TTFT) de 236 ms e uso de memória de 16,81 GB em GPU A6000, sendo viável para implantação em dispositivos de borda ou servidores locais.

5. Significado e Impacto

• Unificação de Ferramentas: A abordagem permite que agências de transporte substituam múltiplos sistemas especializados por uma única ferramenta conversacional unificada, simplificando os fluxos de trabalho.
• Redução de Barreiras Técnicas: Facilita a adoção de IA em inspeções de infraestrutura, reduzindo a necessidade de especialistas humanos para tarefas rotineiras de diagnóstico e relatórios.
• Padronização: Garante que as avaliações sejam geradas com terminologia técnica correta e conformidade com normas (ASTM), aumentando a confiabilidade dos dados para decisões de manutenção.
• Escalabilidade: Estabelece um caminho para desenvolver sistemas de IA orientados por instruções em outros domínios de infraestrutura, como inspeção de pontes, manutenção ferroviária e avaliação de edifícios.

Limitações: O modelo depende da qualidade dos dados de treinamento (regiões e climas específicos) e os erros de estimativa de PCI ainda podem ser altos para decisões regulatórias finais, sendo mais adequado como ferramenta de triagem e suporte à decisão.