Resumen Técnico: DART – Un Modelo Fundacional Visión-Lenguaje para la Monitorización Integral del Estado de Cuerdas

1. Planteamiento del Problema

Las cuerdas de fibra sintética (SFR) son componentes críticos de soporte de carga en entornos offshore, marítimos e industriales. Los flujos de trabajo actuales de monitorización del estado (CM) dependen de inspecciones visuales periódicas realizadas por expertos humanos, un proceso que es intensivo en mano de obra, subjetivo y difícil de escalar. Aunque existen sistemas de inspección automatizada, estos suelen tratar las tareas de inspección como subproblemas aislados (por ejemplo, un clasificador separado para el tipo de daño, un regresor separado para la severidad).

El desafío central abordado por este artículo es la incapacidad de los modelos de visión de una sola modalidad para resolver estados de daño visualmente ambiguos sin contexto semántico. Por ejemplo, distinguir entre niveles de severidad adyacentes del mismo tipo de daño (por ejemplo, "Desgaste/Medio" frente a "Desgaste/Bajo") es difícil para los modelos basados únicamente en visión, ya que estos estados suelen ser visualmente indistinguibles sin la sutileza semántica proporcionada por descripciones en lenguaje natural. Además, un sistema de inspección desplegable requiere más que una simple clasificación; debe responder simultáneamente a preguntas interdependientes sobre el tipo de daño, la severidad, el estado de anomalía, las recomendaciones de mantenimiento y las cronologías de deterioro, todo ello a partir de una sola imagen.

2. Metodología

Los autores proponen DART (Evaluación de Daños mediante Transformador de Cuerdas), un modelo fundacional visión-lenguaje diseñado para unificar todo el flujo de trabajo de inspección de cuerdas mediante una representación compartida única. La arquitectura extiende la Arquitectura Predictiva de Incrustación Conjunta (JEPA) al dominio multimodal.

2.1 Descripción General de la Arquitectura

DART integra cinco componentes estrechamente acoplados:

1. Codificador de Imágenes: Un Transformador de Visión (ViT-H/14) preentrenado con iJEPA en ImageNet-22k. Procesa imágenes de $224 \times 224$ en 256 tokens de parches. Un codificador objetivo con Promedio Móvil Exponencial (EMA) rastrea al codificador en línea para proporcionar objetivos de reconstrucción estables sin requerir pares negativos contrastivos.
2. Codificador de Texto: Un modelo Llama-3.2-3B-Instruct (congelado excepto los últimos cuatro bloques transformadores y la normalización de capa final) que codifica descripciones en lenguaje natural revisadas por expertos sobre el daño. Las características multiescala se extraen promediando las capas 16, 24 y 31.
3. HD-MASK (Máscara de Alta Discrepancia): Una estrategia de enmascaramiento guiada por la saliencia. En lugar de un enmascaramiento aleatorio, una red convolucional ligera estima la saliencia de los parches. Los parches en el 40% superior de saliencia (regiones densas en daño) se enmascaran con una probabilidad de 0.70, mientras que los parches de fondo se enmascaran con 0.30. Esto sesga la tarea de reconstrucción auto-supervisada hacia las regiones de daño informativas.
4. Predictor Latente: Un Transformador de 6 capas que predice las incrustaciones de parches enmascarados a partir de tokens de contexto en el espacio latente, evitando la sensibilidad al ruido de la reconstrucción a nivel de píxel.
5. SC-CMF (Fusión Cruzada Multimodal Condicionada por Severidad): Este módulo fusiona las modalidades visual y textual. Emplea 14 puertas aprendibles por clase que ponderan adaptativamente la influencia del lenguaje sobre la visión. La modulación del lenguaje se amplifica para las clases graduadas por severidad (por ejemplo, Desgaste) y se suprime para los tipos de daño compuestos donde las descripciones carecen de un gradiente de severidad.

2.2 Objetivo de Entrenamiento: Pérdida de Desenredo Contrastivo de Daños (CDD)

El modelo se entrena con una función objetivo de cuatro términos ($\mathcal{L}_{total}$) para dar forma al espacio de incrustaciones para la transferencia de múltiples tareas:

• $\mathcal{L}_{recon}$ (Reconstrucción JEPA): Pérdida Smooth-L1 sobre las incrustaciones latentes predichas frente a las latentes objetivo EMA.
• $\mathcal{L}_{sev}$ (Contraste de Severidad): Una pérdida InfoNCE que acerca pares del mismo tipo de daño pero con diferentes niveles de severidad, mientras separa los tipos diferentes, fomentando explícitamente el desenredo tipo-severidad.
• $\mathcal{L}_{orth}$ (Ortogonalidad de Tipo): Penaliza la similitud coseno entre los centroides de clase de diferentes tipos de daño para asegurar subespacios ortogonales.
• $\mathcal{L}_{focal}$ (Clasificación Focal): Entropía cruzada con pesos de frecuencia inversa para manejar el desequilibrio de clases severo (relación 29:1) en el conjunto de datos.

2.3 Currículo de Entrenamiento

El entrenamiento ocurre en dos fases:

• Fase 1: La columna vertebral ViT se congela; se entrenan HD-MASK, el predictor, la proyección de texto, SC-CMF y el clasificador.
• Fase 2: Los últimos 6 bloques de la ViT y la normalización de capa final se desbloquean para refinar las representaciones, mientras que el codificador de texto permanece en gran medida congelado.

3. Contribuciones Clave

El artículo identifica cinco contribuciones principales:

1. Modelo DART: Un modelo fundacional visión-lenguaje unificado entrenado una sola vez en 4.270 imágenes para soportar un conjunto integral de tareas de inspección sin ajuste fino específico de la tarea.
2. Módulo SC-CMF: Un mecanismo de fusión novedoso que utiliza puertas aprendibles por clase para modular adaptativamente la influencia del lenguaje basándose en la severidad y el tipo de daño.
3. HD-MASK: Una estrategia de enmascaramiento guiada por la saliencia que mejora el aprendizaje auto-supervisado al centrarse en parches densos en daño sin requerir anotaciones explícitas a nivel de parche.
4. Pérdida CDD: Un objetivo de cuatro términos que optimiza conjuntamente la reconstrucción estructural, el ordenamiento de severidad, la ortogonalidad de tipo y la clasificación robusta.
5. Benchmarks de Múltiples Tareas: Una demostración de que una única columna vertebral congelada logra un rendimiento de vanguardia en clasificación, regresión, aprendizaje con pocos ejemplos, recomendación de mantenimiento, generación de informes y detección de anomalías.

4. Resultados

El modelo se evaluó en el conjunto de datos ROPE (4.270 imágenes, 14 clases de grano fino) a través de ocho tareas posteriores utilizando una columna vertebral congelada.

• Clasificación de Daños: Logró una precisión del 93,22% y un macro-F1 del 91,04%, representando una mejora de +38,5 puntos porcentuales sobre una línea base ViT-H/14 solo de visión (54,76% de precisión).
• Regresión de Severidad: Logró un $\rho$ de Spearman de 0,94 y un 99,6% de precisión dentro de un orden en la estimación continua de severidad.
• Reconocimiento con Pocos Ejemplos: Logró un macro-F1 del 89,2% con solo 20 ejemplos por clase, superando significativamente a la línea base solo visual.
• Recomendación de Mantenimiento: Logró un macro-F1 del 94,79% al mapear daños a acciones graduadas por seguridad (por ejemplo, "Reemplazo Inmediato", "Programar Reparación").
• Detección de Anomalías: Logró una tasa de anomalías del 4,76% utilizando la distancia de Mahalanobis sobre incrustaciones congeladas, consistente con la prevalencia esperada de especímenes limítrofes.
• Modelado de Progresión: Demostró tasas de interpolación monótona del 91%, mostrando que el espacio de incrustaciones codifica trayectorias de deterioro físicamente significativas.

Los Estudios de Ablación confirmaron que la fundamentación en lenguaje es el componente más crítico; eliminar el codificador de texto redujo la precisión en 35,41 puntos porcentuales. Las puertas SC-CMF y HD-MASK proporcionaron mejoras estadísticamente significativas, aunque menores.

5. Significado y Afirmaciones

El artículo afirma que DART representa un cambio desde modelos de inspección aislados y de una sola tarea hacia una columna vertebral de monitorización del estado de propósito general. Al aprovechar el contexto semántico de las descripciones en lenguaje natural, DART resuelve ambigüedades visuales que los modelos de una sola modalidad no pueden resolver.

Los autores enfatizan que DART proporciona inteligencia de inspección accionable a partir de una única representación compartida. Va más allá de la simple clasificación para ofrecer estimaciones continuas de severidad, recomendaciones de mantenimiento e informes automatizados. El trabajo demuestra que un enfoque de modelo fundacional es tanto necesario como natural para tareas complejas de inspección industrial donde los datos son escasos, las clases son de grano fino y las decisiones son interdependientes. El modelo logra estos resultados con una huella de entrenamiento relativamente pequeña (4.270 imágenes) y sin reentrenamiento específico de la tarea para aplicaciones posteriores.