Edge-Optimized Vision-Language Models for Underground Infrastructure Assessment

Resumen Técnico: Modelos de Visión-Lenguaje Optimizados para el Borde en la Evaluación de Infraestructura Subterránea

Formulación del Problema
El mantenimiento de la infraestructura subterránea, como los sistemas de alcantarillado y alcantarillas, es crítico para la seguridad pública, pero tradicionalmente depende de revisiones de video manuales, lentas e inconsistentes. Aunque las plataformas robóticas autónomas equipadas con sensores visuales pueden detectar eficientemente deficiencias estructurales mediante aprendizaje profundo, persiste una brecha significativa en la conversión de estas detecciones automatizadas en resúmenes accionables y legibles para humanos. Los Modelos de Visión-Lenguaje (VLM) existentes a menudo carecen del conocimiento especializado en el dominio requerido para descripciones precisas de infraestructura y enfrentan restricciones prohibitivas de computación y memoria cuando se despliegan en robots móviles con recursos limitados. El desafío consiste en desarrollar un sistema de extremo a extremo que realice la detección de defectos en tiempo real y genere resúmenes concisos de lenguaje natural, específicos del dominio, en dispositivos de borde sin comprometer la precisión o la latencia.

Metodología
Los autores proponen un novedoso flujo de trabajo de dos etapas diseñado para el despliegue en el borde, integrando un modelo de segmentación ligero con un Modelo de Visión-Lenguaje (VLM) ajustado.

1. Etapa 1: Detección Visual de Defectos (RAPID-SCAN)
   La primera etapa emplea RAPID-SCAN (Pipeline de Inspección de Defectos y Segmentación de Recursos Consciente de la Adaptabilidad mediante Redes Compactas). Este es un marco de segmentación semántica ligero que presenta una Red de Pirámide de Características Dinámica con enrutamiento adaptativo y módulos de Squeeze-and-Excitation. Procesa imágenes RGB para generar máscaras de segmentación a nivel de píxel para diversas categorías de defectos (por ejemplo, grietas, raíces, agujeros). El modelo está optimizado para la eficiencia, utilizando filtrado espacial para consolidar detecciones redundantes dentro de un umbral de proximidad.

2. Etapa 2: Resumen de Visión-Lenguaje
   La segunda etapa utiliza un VLM Microsoft Phi-3.5 ajustado. Este modelo recibe entradas multimodales consistentes en la imagen RGB original y la máscara de segmentación de la Etapa 1. Se le solicita generar resúmenes estructurados de lenguaje natural abordando cuatro principios de inspección clave:

   • Condición: Estado estructural actual.
   • Ubicación: Contexto espacial dentro de la tubería.
   • Severidad: Evaluación de urgencia y criticidad.
   • Implicaciones: Riesgos potenciales si no se atienden.

3. Conjunto de Datos y Anotación
   Los autores introducen un conjunto de datos curado de 5,051 imágenes de inspección de alcantarillas y alcantarillas emparejadas con subtítulos de lenguaje natural verificados por expertos. El proceso de anotación es semiautomatizado: los subtítulos iniciales son generados por el VLM y posteriormente refinados por expertos humanos con conocimiento del dominio para asegurar la precisión, claridad y alineación con los estándares de informes de la industria.

4. Optimización en el Borde y Despliegue
   Para permitir el rendimiento en tiempo real en robots móviles, el sistema emplea varias estrategias de optimización:

   • Ajuste de Parámetros Eficiente (Parameter-Efficient Fine-Tuning): El modelo Phi-3.5 es adaptado utilizando QLoRA (Adaptación de Bajo Rango Cuantizada), cuantizando los pesos base a 4-bit NormalFloat4 (NF4) mientras entrena adaptadores LoRA en FP16. Esto reduce los parámetros entrenables de 3.8 mil millones a 67 millones.
   • Cuantización Post-Entrenamiento y Aceleración: El pipeline utiliza cuantización INT8 y NVIDIA TensorRT para la aceleración específica de hardware en el Jetson AGX Orin. Esto incluye inferencia de precisión mixta (FP16 para el codificador de visión, INT8 para las capas de lenguaje) y fusión de núcleos (kernel fusion).
   • Integración Robótica: El sistema se despliega en un UGV Clearpath Jackal equipado con una cámara Axis RGB PTZ, LiDAR Velodyne VLP-16 e IMU. La arquitectura de software está construida sobre ROS 1 Noetic, con nodos modulares para la interfaz de sensores, inferencia de IA, gestión de inspección y una interfaz hombre-máquina para la visualización y consulta en tiempo real.

Contribuciones Clave

• Pipeline Novedoso: Una arquitectura de dos etapas que combina la segmentación RAPID-SCAN con la capacidad de resumen de un VLM específico del dominio para la generación de informes accionables.
• Segmentación Eficiente: RAPID-SCAN logra un rendimiento competitivo (F1-score de 0.834) con solo 0.64 millones de parámetros, lo que representa una reducción del 97% en comparación con modelos de vanguardia como U-Net.
• Conjunto de Datos Curado: Un nuevo conjunto de datos de imágenes de alcantarillas y alcantarillas con descripciones verificadas por expertos, diseñado específicamente para el ajuste fino y la evaluación de VLMs.
• Estrategias de Optimización en el Borde: Implementación de QLoRA, cuantización post-entrenamiento y aceleración TensorRT para cumplir con las estrictas restricciones del borde (latencia < 5s, memoria < 8GB).
• Validación en el Mundo Real: Evaluación integral en una plataforma robótica móvil tanto en entornos de laboratorio como en entornos reales de alcantarillas.

Resultados Experimentales

• Rendimiento de Segmentación: RAPID-SCAN logró un F1-score de 0.834 y un mIoU de 0.729 con solo 0.19 GFLOPS, superando significativamente a modelos más grandes en eficiencia computacional mientras mantiene una precisión comparable.
• Calidad de Resumen: El VLM ajustado demostró un rendimiento superior sobre el modelo preentrenado base, logrando una puntuación ROUGE-L de 0.36 (frente al 0.26 de la base) y puntuaciones más altas en BLEU, METEOR y BERTScore. El análisis cualitativo confirmó que los resúmenes generados coinciden estrechamente con la verdad de campo de los expertos en terminología técnica y principios estructurales.
• Eficiencia Computacional: En el NVIDIA Jetson AGX Orin, el VLM optimizado logró una latencia de inferencia de 2.3 segundos por resumen con un tamaño de modelo de 2.1 GB (una reducción del 69% respecto a la base de precisión completa). La latencia total de extremo a extremo desde la captura de la imagen hasta la generación del resumen promedió 3.1 segundos.
• Despliegue en Campo: Las pruebas de campo en una alcantarilla de 60 pies con poca luz y superficies irregulares confirmaron la robustez del sistema. El pipeline detectó con éxito los defectos y generó resúmenes accionables en tiempo real, operando dentro de los límites térmicos y de potencia.

Significancia
El artículo afirma que este trabajo cierra la brecha entre la detección de defectos automatizada y los conocimientos accionables para el mantenimiento de la infraestructura. Al permitir que los robots transmitan observaciones en lenguaje natural, el sistema mejora la intuitividad robótica para una colaboración efectiva humano-robot, lo cual es crucial para tareas de seguridad crítica. La investigación demuestra la viabilidad de desplegar sistemas de IA integrados en dispositivos de borde para apoyar soluciones de inspección escalables y autónomas, avanzando en los campos de la IA corporizada (embodied AI) y la interacción humano-robot. Los autores señalan que el trabajo futuro se centrará en taxonomías de defectos más amplias, arquitecturas de resumen mejoradas y mapeo 3D para un contexto espacial mejorado.