Vision-Language Foundation Models for Comprehensive Automated Pavement Condition Assessment

Título: Modelos Fundacionales Visión-Lenguaje para la Evaluación Integral Automatizada del Estado del Pavimento

1. El Problema

Los modelos de visión y lenguaje (VLM) de propósito general (como QwenVL, LLaVA) han demostrado un rendimiento notable en dominios cotidianos, pero enfrentan dificultades significativas al aplicarse a campos técnicos especializados como la ingeniería civil. Las limitaciones principales incluyen:

• Falta de terminología especializada: Dificultad para utilizar la nomenclatura técnica correcta (ej. tipos de grietas, severidad según normas).
• Razonamiento estructurado insuficiente: Incapacidad para seguir protocolos de expertos o normas de ingeniería (como la norma ASTM D6433).
• Inconsistencia en la localización espacial: Errores en la identificación precisa de la ubicación de los defectos en la imagen.
• Falta de datos de instrucción: Los conjuntos de datos existentes para pavimentos (como CrackSeg9k, RDD2022) se centran en tareas unimodales (detección, segmentación) y carecen de pares de instrucciones-respuestas necesarios para el razonamiento multimodal y la generación de informes técnicos.
• Limitaciones de los modelos propietarios: Modelos como ChatGPT o Gemini carecen de transparencia, no permiten ajuste fino (fine-tuning) y plantean problemas de privacidad de datos, lo que los hace inadecuados para la evaluación de infraestructura crítica.

2. Metodología

La propuesta se centra en dos pilares principales: la creación de un conjunto de datos especializado y el desarrollo de un modelo fundacional adaptado.

A. Creación de PaveInstruct (Conjunto de Datos)

• Origen: Se unificaron anotaciones de 9 conjuntos de datos heterogéneos de pavimentos (incluyendo PID, PaveTrack, RDD2022, SVRDD, DSPS23/24, etc.).
• Escala: El dataset final contiene 278,889 pares de imagen-instrucción-respuesta.
• Taxonomía de Tareas: Se definieron 32 tipos de tareas organizadas en 5 categorías principales:
  1. Razonamiento Espacial: Localización de objetos, enumeración, análisis de relaciones espaciales y descripción de regiones.
  2. Evaluación del Estado: Clasificación de severidad, estimación del Índice de Condición del Pavimento (PCI), y análisis de rendimiento.
  3. Flujos de Trabajo Profesionales: Recomendaciones de mantenimiento, llenado de listas de verificación (checklists) y análisis de seguridad.
  4. Razonamiento y Análisis: Cadenas de pensamiento (Chain-of-Thought), análisis comparativo y corrección de errores.
  5. Interacción Multimodal: Diálogos multi-turno, generación de subtítulos de longitud variable y resumen de escenas.
• Pipeline de Integración: Se desarrolló un proceso de cuatro etapas para unificar formatos de anotación dispares (YOLO, Pascal VOC, CSV, carpetas codificadas por colores) en un esquema unificado, armonizar sistemas de coordenadas y generar instrucciones alineadas con la norma ASTM D6433 mediante un modelo de lenguaje grande controlado.

B. Desarrollo de PaveGPT (Modelo)

• Arquitectura: Basada en Qwen2.5-VL, un modelo de visión-lenguaje que utiliza un codificador de visión (ViT) y un modelo de lenguaje (LLM) con capas de proyección multimodal.
• Entrenamiento: Se realizó un ajuste fino supervisado (SFT) utilizando el dataset PaveInstruct.
  • El codificador de visión se mantuvo congelado para preservar las representaciones visuales generales.
  • Se entrenaron las capas de proyección multimodal y el backbone del lenguaje para aprender la alineación visión-lenguaje específica del dominio del pavimento.
• Objetivo: Entrenar un modelo unificado capaz de manejar desde la detección de grietas hasta la estimación de PCI y la recomendación de reparaciones mediante interacción en lenguaje natural.

3. Contribuciones Clave

1. PaveInstruct: El primer dataset de instrucción multimodal exhaustivo para la evaluación de pavimentos, que cubre un espectro amplio de tareas técnicas y sigue estándares de ingeniería.
2. Pipeline de Integración: Una metodología sistemática para unificar datos heterogéneos de múltiples fuentes, preservando la riqueza semántica y la validez de ingeniería.
3. PaveGPT: Un modelo fundacional especializado que demuestra que el ajuste fino con instrucciones específicas del dominio transforma las capacidades de los VLMs generales.
4. Evidencia Empírica: Demostración de que el ajuste fino supera a los enfoques de "zero-shot" y a otros modelos de última generación, logrando mejoras superiores al 20% en tareas de anclaje espacial, razonamiento y generación.

4. Resultados

• Rendimiento Cuantitativo:
  • Ajuste Fino vs. Zero-shot: Los modelos ajustados mostraron mejoras masivas. En tareas de anclaje espacial (mIoU), el rendimiento aumentó drásticamente (ej. de ~1.5% a ~30% en algunos modelos).
  • Comparación de Modelos: Aunque PaveGPT no siempre obtuvo el puntaje absoluto más alto en todas las métricas (MiniCPM-V-2.6 y InternVL-3.5-8B también destacaron en tareas específicas), PaveGPT logró el mejor equilibrio en localización espacial y generación de respuestas estructuradas.
  • Estimación de PCI: Los modelos ajustados redujeron significativamente el error medio absoluto (MAE) en la estimación del PCI. Por ejemplo, MiniCPM-V-2.6 ajustado logró un MAE de 13.1, mientras que los modelos en zero-shot fallaron o produjeron errores enormes.
  • Calidad de Razonamiento: Las evaluaciones realizadas por LLMs ("LLM-as-a-judge") mostraron que los modelos ajustados producen justificaciones técnicas coherentes, alineadas con ASTM D6433, y cadenas de pensamiento claras.
• Resultados Cualitativos:
  • Los modelos ajustados dejaron de cometer errores comunes del zero-shot (como describir superficies uniformes cuando hay grietas visibles) y comenzaron a utilizar terminología correcta (ej. diferenciar entre grietas longitudinales, transversales y en "piel de cocodrilo").
  • Capacidad de generar formatos de salida estructurados (coordenadas de cajas delimitadoras, listas de severidad, recomendaciones de mantenimiento) listos para su integración en sistemas de gestión de pavimentos.
• Eficiencia: PaveGPT ofrece un compromiso razonable entre rendimiento y eficiencia computacional, siendo viable para su despliegue en dispositivos de borde (edge devices) con latencias aceptables.

5. Significado e Impacto

• Unificación de Herramientas: Este enfoque permite a las agencias de transporte reemplazar múltiples sistemas especializados (uno para detección, otro para clasificación, otro para informes) por una única herramienta conversacional unificada.
• Reducción de Barreras de Entrada: Simplifica los flujos de trabajo y reduce la necesidad de expertos técnicos altamente especializados para la interpretación inicial de los datos, democratizando el acceso a la evaluación de infraestructura.
• Cumplimiento Normativo: Al generar salidas alineadas con estándares como ASTM D6433, el modelo facilita la auditoría y la toma de decisiones basada en evidencia regulada.
• Escalabilidad a Otros Dominios: La metodología establecida (creación de datasets de instrucción específicos + ajuste fino) sienta las bases para desarrollar sistemas de IA impulsados por instrucciones en otras áreas de infraestructura, como la inspección de puentes, el mantenimiento ferroviario y la evaluación de edificios.
• Limitaciones: El modelo depende de la calidad de los datos de entrenamiento y puede requerir ajuste fino local para adaptarse a condiciones geográficas o climáticas específicas no presentes en el dataset original. Además, se recomienda usarlo como herramienta de apoyo a la decisión y no como reemplazo definitivo para la certificación regulatoria final sin validación humana.