Resumen Técnico: Repensar la Inspección de Infraestructuras como Clasificación de Diferencia de Imágenes

Planteamiento del Problema

El mantenimiento de la infraestructura vial depende tradicionalmente de las inspecciones visuales manuales, un proceso que el marco del Gemelo Digital (DT) de la Carretera busca digitalizar. Sin embargo, la adopcción de la inspección impulsada por IA se ve significativamente obstaculizada por la escasez de datos anotados, un desafío común en los campos de la Arquitectura, la Ingeniería y la Construcción (AEC). Los enfoques existentes para el mantenimiento de señales de tráfico suelen sufrir dos limitaciones críticas:

1. Limitaciones del Conjunto de Datos: Muchos conjuntos de datos existentes contienen solo primeros planos de las caras de las señales (carecen de postes y fondos) o utilizan un etiquetado de condición grueso (por ejemplo, binario dañado/no dañado o tipos de defectos únicos). Ninguno soporta actualmente el seguimiento de la condición a lo largo del tiempo mediante imágenes emparejadas.
2. Limitaciones del Modelado de Tareas: Los métodos actuales suelen tratar la identificación de defectos como tareas de clasificación de una sola imagen. No logran modelar la naturaleza relacional del monitoreo continuo de activos, donde una imagen de inspección se compara contra una referencia histórica del mismo activo. Además, a menudo ignoran la realidad multiclasificación y multilabel, donde ocurren múltiples defectos simultáneamente.

Metodología

Este trabajo reformula la identificación de defectos como una tarea de Clasificación de Diferencia de Imágenes (IDC, por sus siglas en inglés). En lugar de clasificar una sola imagen de forma aislada, el sistema compara una imagen de inspección contra una imagen de referencia del mismo activo tomada previamente. Este enfoque aprovecha las imágenes de activos existentes en los sistemas de gestión de activos viales (AMS) como referencias, reduciendo la necesidad de anotaciones adicionales.

Conjunto de Datos

Los autores curaron un nuevo conjunto de datos de alta calidad a partir del AMS de la Red Nacional de Carreteras del Reino Unido, abordando las brechas previas:

• Alcance: Contiene 970 pares de imágenes (referencia + inspección) que capturan el contexto completo del activo (cara de la señal, poste y fondo).
• Granularidad: Presenta anotaciones detalladas y multilabel a través de nueve categorías de condición (por ejemplo, poste inclinado, cara deformada, vandalismo, suciedad) más una bandera de "sin defecto".
• Equilibrio: Aunque existe un desequilibrio de clases entre tipos de defectos específicos, el conjunto de datos mantiene un equilibrio entre señales dañadas y no dañadas (~4:6).

Configuración Experimental

El estudio evaluó dos tareas: detección de presencia de defectos binaria y clasificación de defectos multiclasificación y multilabel.

• Simulación de Bajos Recursos: El rendimiento se probó bajo condiciones de aprendizaje de pocos ejemplos (few-shot learning) (0 a 8 ejemplos por clase) para simular entornos con restricciones de datos.
• Arquitecturas de Pipeline:
  • Pipelines Basados en Codificadores: Cuatro variaciones utilizando codificadores de visión (MetaCLIP2 como columna vertebral). Estas incluyeron clasificadores lineales sobre embeddings concatenados, mecanismos de atención cruzada entre imágenes y arquitecturas de fusión de imagen-texto.
  • Pipelines Basados en Instrucciones: Utilizaron Modelos de Lenguaje de Visión (VLM), específicamente Qwen3-VL-8B. Las imágenes de inspección y de referencia se insertaron en los prompts de usuario con instrucciones para usar la referencia como guía, mientras que las descripciones textuales de las clases se proporcionaron en los prompts del sistema.
• Control: Para asegurar una comparación justa, todos los pipelines utilizaron las mismas imágenes de entrenamiento. Las imágenes de referencia en el conjunto de entrenamiento fueron tratadas como ejemplos de "sin defecto" para todos los modelos, asegurando que las mejoras en el rendimiento se debieran al contexto de la referencia durante la inferencia, y no a un aumento artificial del volumen de datos de entrenamiento.

Resultados Clave

1. Detección de Presencia de Defectos

• Rendimiento: La mayoría de los pipelines lograron puntuaciones F1 altas (~0.9) incluso con muy pocos ejemplos, ya que la detección binaria es una tarea más simple.
• Utilidad de la Referencia: Los pipelines basados en codificadores mostraron resultados inconsistentes al añadir imágenes de referencia, a menudo rindiendo peor que las líneas base de una sola imagen. En contraste, el pipeline basado en instrucciones superó consistentemente a todos los modelos basados en codificadores, logrando un F1 > 0.9 con solo 1-shot.
• Calibración: Los modelos basados en instrucciones no entrenados (0-shot) tuvieron un desempeño pobre (F1 ~0.007), clasificando casi todas las imágenes como defectuosas. Sin embargo, el ajuste fino (fine-tuning) con solo un ejemplo por clase "calibró" el modelo, elevando el rendimiento a 0.905.

2. Clasificación de Defectos (Multiclasificación y Multilabel)

• Complejidad: Las puntuaciones fueron generalmente más bajas debido a la complejidad de la tarea. Los pipelines basados en codificadores lucharon por superar un F1 de 0.5, mientras que el pipeline basado en instrucciones alcanzó poco más de 0.6.
• Utilidad de la Referencia: El pipeline basado en instrucciones ganó consistentemente con la inclusión de imágenes de referencia en todas las configuraciones de shot (ganancias que oscilan entre +0.008 y +0.038). Notablemente, su rendimiento de 1-shot superó el rendimiento de 8-shot de los pipelines basados en codificadores.
• Significancia Estadística: Una prueba t de muestras pareadas confirmó que las ganancias de las imágenes de referencia en el pipeline basado en instrucciones fueron estadísticamente significativas en las configuraciones de 1-shot y 8-shot (p < 0.01), aunque menos significativas en 2 y 4 shots debido a la inestabilidad del few-shot.

3. Estudios de Ablación

• Tamaño del Modelo: Aumentar el tamaño del codificador de la columna vertebral de 2B (MetaCLIP2) a 7B (DINOv3) no cerró la brecha de rendimiento. El modelo basado en instrucciones (8B) todavía superó al codificador más grande, lo que sugiere que el conteo de parámetros no es el único determinante del éxito.
• Pseudo Defectos: Eliminar la estrategia de entrenamiento de "pseudo sin defecto" del pipeline basado en instrucciones aún resultó en ganancias de rendimiento sobre las líneas base de una sola imagen, confirmando la robustez del enfoque IDC.

Significado y Reivindicaciones

El artículo afirma que la Clasificación de Diferencia de Imágenes (IDC) es una estrategia de modelado de tareas efectiva para la inspección continua de infraestructuras y la actualización de la condición de los activos del Gemelo Digital de la Carretera. Las principales contribuciones son:

1. Eficiencia de Datos: El IDC permite la utilización de imágenes históricas de activos existentes como referencias, reduciendo la dependencia de grandes conjuntos de datos recién anotados.
2. Formulación de la Tarea: Aborda con éxito la naturaleza multiclasificación y multilabel de los defectos del mundo real y el aspecto temporal del seguimiento de la condición.
3. Arquitectura del Modelo: El estudio demuestra que los VLMs basados en instrucciones son superiores a los modelos basados en codificadores para esta tarea específica, siempre que se sometan a un paso mínimo de ajuste fino de "calibración" (tan solo un ejemplo por clase).

Los autores concluyen que, si bien el aprendizaje de pocos ejemplos (few-shot learning) introduce cierta inestabilidad, la capacidad de los clasificadores basados en instrucciones para aprovechar las imágenes de referencia para una clasificación fundamentada hace que el IDC sea una solución viable para el monitoreo de infraestructuras con restricciones de datos. Se sugiere como trabajo futuro probar conjuntos de datos más grandes para estabilizar las fluctuaciones del few-shot y explorar el uso de múltiples imágenes de referencia por señal.