Edge-Optimized Vision-Language Models for Underground Infrastructure Assessment

Resumo Técnico: Modelos de Visão-Linguagem Otimizados para a Borda em Avaliações de Infraestrutura Subterrânea

Formulação do Problema
A manutenção da infraestrutura subterrânea, como sistemas de esgoto e bueiros, é crítica para a segurança pública, mas tradicionalmente depende de revisões de vídeo manuais lentas e inconsistentes. Embora plataformas robóticas autônomas equipadas com sensores visuais possam detectar eficientemente deficiências estruturais usando aprendizado profundo, permanece uma lacuna significativa na conversão dessas detecções automatizadas em resumos acionáveis e legíveis por humanos. Os Modelos de Visão-Linguagem (VLMs) existentes frequentemente carecem do conhecimento de domínio especializado necessário para descrições precisas de infraestrutura e enfrentam restrições proibitivas de computação e memória quando implantados em robôs móveis de recursos limitados. O desafio é desenvolver um sistema de ponta a ponta que realize a detecção de defeitos em tempo real e gere resumos concisos e específicos de domínio em dispositivos de borda (edge), sem comprometer a precisidade ou a latência.

Metodologia
Os autores propõem um novo pipeline de dois estágios projetado para implantação em borda, integrando um modelo de segmentação leve com um Modelo de Visão-Linguagem (VLM) ajustado.

1. Estágio 1: Detecção Visual de Defeitos (RAPID-SCAN)
   O primeiro estágio utiliza o RAPID-SCAN (Resource-Aware Pipeline Inspection and Defect Segmentation using Compact Adaptive Network). Este é um framework de segmentação semântica leve que apresenta uma Rede de Pirâmide de Características Dinâmica com roteamento adaptativo e módulos Squeeze-and-Excitation. Ele processa imagens RGB para gerar máscaras de segmentação ao nível de pixel para várias categorias de defeitos (ex: rachaduras, raízes, buracos). O modelo é otimizado para eficiência, utilizando filtragem espacial para consolidar detecções redundantes dentro de um limiar de proximidade.

2. Estágio 2: Sumarização de Visão-Linguagem
   O segundo estágio utiliza um VLM Microsoft Phi-3.5 ajustado (fine-tuned). Este modelo recebe entradas multimodais consistindo da imagem RGB original e da máscara de segmentação do Estágio 1. Ele é instruído via prompt para gerar resumos de linguagem natural estruturados abordando quatro princípios de inspeção fundamentais:

   • Condição: Estado estrutural atual.
   • Localização: Contexto espacial dentro da tubulação.
   • Gravidade: Avaliação de urgência e criticidade.
   • Implicações: Riscos potenciais se não forem tratados.

3. Dataset e Anotação
   Os autores introduzem um conjunto de dados curado de 5.051 imagens de inspeção de esgoto e bueiros pareadas com legendas de linguagem natural verificadas por especialistas. O processo de anotação é semiautomático: as legendas iniciais são geradas pelo VLM e, posteriormente, refinadas por especialistas com conhecimento de domínio para garantir precisão, clareza e alinhamento com os padrões de relatórios da indústria.

4. Otimização de Borda e Implantação
   Para permitir o desempenho em tempo real em robôs móveis, o sistema emprega diversas estratégias de otimização:

   • Ajuste de Parâmetros Eficiente (Parameter-Efficient Fine-Tuning): O modelo Phi-3.5 é adaptado usando QLoRA (Quantized Low-Rank Adaptation), quantizando os pesos base para 4-bit NormalFloat4 (NF4) enquanto treina adaptadores LoRA em FP16. Isso reduz os parâmetros treináveis de 3,8 bilhões para 67 milhões.
   • Quantização Pós-Treinamento e Aceleração: O pipeline utiliza quantização INT8 e NVIDIA TensorRT para aceleração específica de hardware no Jetson AGX Orin. Isso inclui inferência de precisão mista (FP16 para o codificador de visão, INT8 para as camadas de linguagem) e fusão de kernels.
   • Integração Robótica: O sistema é implantado em um UGV Clearpath Jackal equipado com uma câmera Axis RGB PTZ, Velodyne VLP-16 LiDAR e IMU. A arquitetura de software é construída sobre o ROS 1 Noetic, apresentando nós modulares para interface de sensores, gerenciamento de inspeção, inferência de IA e uma interface homem-máquina para visualização e consulta em tempo real.

Principais Contribuições

• Pipeline Inovador: Uma arquitetura de dois estágios combinando a segmentação RAPID-SCAN com a sumarização de VLM específica de domínio para relatórios acionáveis.
• Segmentação Eficiente: O RAPID-SCAN alcança um desempenho competitivo (F1-score de 0,834) com apenas 0,64 milhão de parâmetros, representando uma redução de 97% em comparação com modelos de estado da arte como o U-Net.
• Dataset Curado: Um novo conjunto de dados de imagens de esgoto e bueiros com descrições verificadas por especialistas, especificamente desenhado para o ajuste fino e avaliação de VLMs.
• Estratégias de Otimização de Borda: Implementação de QLoRA, quantização pós-treinamento e aceleração TensorRT para atender aos rigorosos limites de borda (latência < 5s, memória < 8GB).
• Validação no Mundo Real: Avaliação abrangente em uma plataforma robótica móvel em ambientes de laboratório e de bueiros reais.

Resultados Experimentais

• Desempenho de Segmentação: O RAPID-SCAN alcançou um F1-score de 0,834 e um mIoU de 0,729 com apenas 0,19 GFLOPS, superando significativamente modelos maiores em eficiência computacional enquanto mantém uma precisão comparável.
• Qualidade de Sumarização: O VLM ajustado demonstrou desempenho superior ao modelo pré-treinado base, alcançando um score ROUGE-L de 0,36 (comparado a 0,26 do modelo base) e scores mais altos em BLEU, METEOR e BERTScore. A análise qualitativa confirmou que os resumos gerados correspondem de perto à verdade fundamental (ground truth) dos especialistas em terminologia técnica e princípios estruturais.
• Eficiência Computacional: No NVIDIA Jetson AGX Orin, o VLM otimizado alcançou uma latência de inferência de 2,3 segundos por resumo, com um tamanho de modelo de 2,1 GB (uma redução de 69% em relação ao baseline de precisão total). A latência total de ponta a ponta, desde a captura da imagem até a geração do resumo, teve média de 3,1 segundos.
• Implantação em Campo: Testes de campo em um bueiro de 60 pés com baixa luminosidade e superfícies irregulares confirmaram a robustez do sistema. O pipeline detectou com sucesso os defeitos e gerou resumos acionáveis em tempo real, operando dentro dos limites térmicos e de energia.

Significância
O artigo afirma que este trabalho preenche a lacuna entre a detecção automatizada de defeitos e os insights acionáveis para a manutenção de infraestrutura. Ao permitir que os robôs transmitam observações em linguagem natural, o sistema melhora a intuitividade robótica para uma colaboração eficaz entre humano e robô, o que é crucial para tarefas de segurança crítica. A pesquisa demonstra a viabilidade de implantar sistemas de IA integrados em dispositivos de borda para apoiar soluções de inspeção escaláveis e autônomas, avançando nos campos da IA incorporada (embodied AI) e interação humano-robô. Os autores observam que trabalhos futuros focarão em taxonomias de defeitos mais amplas, arquiteturas de sumarização aprimoradas e mapeamento 3D para contexto espacial melhorado.