Language-in-the-Loop Culvert Inspection on the Erie Canal

1. O Problema

Os aquedutos (culverts) sob canais, como o Canal Erie (construído em 1825), exigem inspeções frequentes para garantir a segurança estrutural e prevenir falhas catastróficas. No entanto, a inspeção manual enfrenta desafios significativos:

• Acesso e Segurança: Os aquedutos são espaços confinados, subterrâneos, com iluminação precária, ventilação insuficiente e condições de terreno instáveis (inclinações íngremes, água parada).
• Limitações de Percepção: A detecção de defeitos é dificultada por degradações de "cauda longa" (específicas do local), condições de iluminação inconsistentes e falta de textura superficial, o que prejudica a reconstrução 3D e a detecção baseada em visão computacional tradicional.
• Ineficiência de Modelos Atuais: Detectores de conjunto fechado (closed-set) falham em defeitos não previstos, enquanto métodos de vocabulário aberto (open-vocabulary) baseados em modelos existentes frequentemente produzem resultados imprecisos ou generalizados sem dados de domínio específicos para fine-tuning.

2. Metodologia: O Sistema VISION

O artigo apresenta o VISION (Visual Inspection System with Intelligent Observation and Navigation), um sistema de autonomia de ponta a ponta que integra um Modelo de Visão e Linguagem (VLM) de escala web com planejamento de viewpoint (ponto de vista) restrito. O sistema opera em um robô quadrúpede (Boston Dynamics Spot) e segue o ciclo ver → decidir → mover → reimaginar.

Componentes Principais:

• Hardware: Um robô Spot equipado com um payload personalizado contendo:
  • Uma câmera de frente (ZED 2i) para navegação e proposta inicial.
  • Uma câmera de alta resolução (FLIR Blackfly) montada em um gimbal pan-tilt com luz co-localizada para imagens de detalhe.
  • Iluminação auxiliar (LEDs).
• Arquitetura de Software (ROS 2):
  1. Proposta de Região de Interesse (ROI): O robô navega até pontos de verificação. Uma imagem é enviada a um VLM (GPT-5 via API) com um prompt de linguagem natural genérico. O VLM gera caixas delimitadoras, confidências e rationales (justificativas em linguagem natural) para potenciais defeitos, sem necessidade de fine-tuning prévio.
  2. Fusão de Dados: As propostas do VLM são fundidas com dados de profundidade estéreo para recuperar a escala e coordenadas 3D.
  3. Otimização de Viewpoint (Planner): Um módulo de planejamento calcula a melhor posição e orientação do gimbal para capturar uma imagem de alta resolução de cada ROI.
     • O problema é formulado como uma otimização de dois estágios (busca em grade grosseira seguida de refinamento baseado em gradiente) para lidar com a não convexidade e restrições físicas (movimento limitado ao eixo X do aqueduto, limites mecânicos do gimbal e oclusão).
     • O objetivo é garantir que o ROI esteja centralizado, em foco, com orientação frontal e dentro do campo de visão.
  4. Execução e Reavaliação: O robô move-se para os pontos calculados, ajusta o gimbal e captura as imagens. Essas novas imagens são reavaliadas pelo VLM para confirmar, refutar ou descrever o defeito, gerando um relatório estruturado.

3. Contribuições Chave

• Framework Autônomo de Ponta a Ponta: Um sistema completo para inspeção de aquedutos que opera sem intervenção humana direta durante a execução da missão.
• Uso de VLMs Zero-Shot: Demonstra a viabilidade de usar modelos de linguagem e visão de escala web para tarefas de inspeção abstratas, eliminando a necessidade de grandes conjuntos de dados rotulados e treinamento específico de domínio.
• Planejamento de Viewpoint Constrained: Uma abordagem inovadora para otimização de viewpoint em ambientes altamente restritos (cilíndricos e estreitos), combinando restrições geométricas do aqueduto com as limitações do gimbal.
• Validação de Campo: Implementação e teste bem-sucedido em um aqueduto real de 66m sob o Canal Erie.

4. Resultados e Avaliação

O sistema foi testado em 8 corridas autônomas no Aqueduto 110 (Gasport, NY). A avaliação foi realizada por avaliadores não especialistas (NAEs) e especialistas no assunto (SMEs) da New York Canal Corporation (NYCC).

• Métricas de Desempenho:
  • Taxa de Concordância de Raciocínio (RAR): As propostas iniciais do VLM alcançaram 61,4% de concordância com os especialistas (SMEs) e 74,4% com não especialistas. Após a reimagem, a qualidade das descrições finais atingiu uma pontuação média de 2,4/3.
  • Confiança de Cobertura (CC): Os especialistas expressaram alta confiança (93,75%) de que o sistema não perdeu defeitos significativos, apesar da taxa de concordância inicial nas caixas ser menor. Isso sugere que o VLM gera narrativas coerentes que compensam imprecisões na localização exata da caixa.
  • Eficiência: O sistema completou uma inspeção de 66m em menos de 90 minutos (incluindo configuração), comparado a aproximadamente 2 horas para um inspetor humano.
• Qualidade dos Dados: O sistema conseguiu identificar defeitos críticos (como juntas erodidas e acúmulo de sedimentos) com consistência, gerando descrições textuais úteis que facilitam a interpretação por humanos.

5. Significado e Impacto

• Segurança e Acessibilidade: O sistema remove humanos de ambientes perigosos e confinados, reduzindo riscos de acidentes e exposição a gases tóxicos.
• Democratização da Autonomia: Ao permitir que especialistas usem prompts de linguagem natural em vez de codificar regras complexas ou treinar modelos, o VISION reduz a barreira de entrada para a adoção de robótica em inspeções industriais.
• Gestão de Ativos: A capacidade de realizar inspeções frequentes e autônomas permite uma transição de inspeções pontuais para uma estratégia de monitoramento contínuo e gestão de ativos a longo prazo.
• Limitações e Futuro: O trabalho atual depende de conectividade de rede para chamadas de API do VLM e enfrenta limitações mecânicas de oclusão. Trabalhos futuros visam implantar VLMs compactos localmente no robô e expandir para operações de campo regulares (semanais/mensais) para monitorar a evolução de defeitos ao longo do tempo.

Em resumo, o VISION representa um avanço significativo na robótica de inspeção, provando que a combinação de raciocínio linguístico de grandes modelos com planejamento de movimento restrito pode superar as limitações de ambientes hostis e não estruturados.