Resumo Técnico: DART – Um Modelo Fundamental Visão-Linguagem para Monitoramento Abrangente da Condição de Cabos

1. Declaração do Problema

Cabos de fibras sintéticas (SFRs) são componentes críticos de suporte de carga em ambientes offshore, marítimos e industriais. Os fluxos de trabalho atuais de monitoramento de condição (CM) dependem de inspeções visuais periódicas realizadas por especialistas humanos, um processo que é intensivo em mão de obra, subjetivo e difícil de escalar. Embora existam sistemas de inspeção automatizados, eles geralmente tratam tarefas de inspeção como subproblemas isolados (por exemplo, um classificador separado para o tipo de dano, um regressor separado para a severidade).

O desafio central abordado por este artigo é a incapacidade de modelos de visão de modalidade única de resolver estados de dano visualmente ambíguos sem contexto semântico. Por exemplo, distinguir entre níveis de severidade adjacentes do mesmo tipo de dano (por exemplo, "Desgaste/Médio" vs. "Desgaste/Baixo") é difícil para modelos baseados apenas em visão, pois esses estados são frequentemente visualmente indistinguíveis sem a nuance semântica fornecida por descrições em linguagem natural. Além disso, um sistema de inspeção implantável requer mais do que apenas classificação; deve responder simultaneamente a perguntas interdependentes sobre tipo de dano, severidade, status de anomalia, recomendações de manutenção e cronogramas de deterioração, tudo a partir de uma única imagem.

2. Metodologia

Os autores propõem o DART (Avaliação de Danos via Transformador de Cabos), um modelo fundamental visão-linguagem projetado para unificar todo o fluxo de trabalho de inspeção de cabos por meio de uma única representação compartilhada. A arquitetura estende a Arquitetura Preditiva de Incorporação Conjunta (JEPA) para o domínio cruzado de modalidades.

2.1 Visão Geral da Arquitetura

O DART integra cinco componentes fortemente acoplados:

1. Codificador de Imagem: Um Vision Transformer (ViT-H/14) pré-treinado com iJEPA no ImageNet-22k. Processa imagens de $224 \times 224$ em 256 tokens de patch. Um codificador alvo com Média Móvel Exponencial (EMA) rastreia o codificador online para fornecer alvos de reconstrução estáveis sem exigir pares negativos contrastivos.
2. Codificador de Texto: Um modelo Llama-3.2-3B-Instruct (congelado, exceto os últimos quatro blocos de transformador e a última Normalização de Camada) que codifica descrições em linguagem natural revisadas por especialistas sobre o dano. Recursos multiescala são extraídos pela média das camadas 16, 24 e 31.
3. HD-MASK (Mascaramento de Alta Discrepância): Uma estratégia de mascaramento guiada por saliência. Em vez de mascaramento aleatório, uma rede convolucional leve estima a saliência dos patches. Patches nos 40% superiores de saliência (regiões densas em dano) são mascarados com probabilidade de 0,70, enquanto patches de fundo são mascarados com 0,30. Isso viésa a tarefa de reconstrução auto-supervisionada para regiões informativas de dano.
4. Preditor Latente: Um Transformador de 6 camadas que prevê incorporações de patches mascarados a partir de tokens de contexto no espaço latente, evitando a sensibilidade ao ruído da reconstrução em nível de pixel.
5. SC-CMF (Fusão Cruzada de Modalidades Condicionada à Severidade): Este módulo funde modalidades visuais e textuais. Emprega 14 portas aprendíveis por classe que ponderam adaptativamente a influência da linguagem sobre a visão. A modulação da linguagem é amplificada para classes graduadas por severidade (por exemplo, Desgaste) e suprimida para tipos de dano compostos onde as descrições carecem de um gradiente de severidade.

2.2 Objetivo de Treinamento: Função de Perda de Desemaranhamento de Danos Contrastivos (CDD)

O modelo é treinado com uma função objetivo de quatro termos ($\mathcal{L}_{total}$) para moldar o espaço de incorporação para transferência de múltiplas tarefas:

• $\mathcal{L}_{recon}$ (Reconstrução JEPA): Perda Smooth-L1 sobre latentes previstos versus latentes alvo EMA.
• $\mathcal{L}_{sev}$ (Contraste de Severidade): Uma perda InfoNCE que aproxima pares do mesmo tipo de dano, mas com diferentes níveis de severidade, enquanto afasta tipos diferentes, encorajando explicitamente o desemaranhamento tipo-severidade.
• $\mathcal{L}_{orth}$ (Ortogonalidade de Tipo): Penaliza a similaridade cosseno entre centróides de classes de diferentes tipos de dano para garantir subespaços ortogonais.
• $\mathcal{L}_{focal}$ (Classificação Focal): Entropia cruzada com pesos de frequência inversa para lidar com o desequilíbrio severo de classes (razão 29:1) no conjunto de dados.

2.3 Currículo de Treinamento

O treinamento ocorre em duas fases:

• Fase 1: A espinha dorsal ViT é congelada; HD-MASK, o preditor, projeção de texto, SC-CMF e classificador são treinados.
• Fase 2: Os últimos 6 blocos do ViT e a última Normalização de Camada são descongelados para refinar as representações, enquanto o codificador de texto permanece amplamente congelado.

3. Contribuições Principais

O artigo identifica cinco contribuições primárias:

1. Modelo DART: Um modelo fundamental visão-linguagem unificado treinado uma única vez em 4.270 imagens para suportar um conjunto abrangente de tarefas de inspeção sem ajuste fino específico de tarefa.
2. Módulo SC-CMF: Um mecanismo de fusão inovador usando portas aprendíveis por classe para modular adaptativamente a influência da linguagem com base na severidade e no tipo de dano.
3. HD-MASK: Uma estratégia de mascaramento guiada por saliência que melhora a aprendizagem auto-supervisionada ao focar em patches densos em dano sem exigir anotações explícitas em nível de patch.
4. Perda CDD: Um objetivo de quatro termos que otimiza conjuntamente para reconstrução estrutural, ordenação de severidade, ortogonalidade de tipo e classificação robusta.
5. Benchmarks de Múltiplas Tarefas: Uma demonstração de que uma única espinha dorsal congelada alcança desempenho state-of-the-art em classificação, regressão, aprendizagem com poucos exemplos, recomendação de manutenção, geração de relatórios e detecção de anomalias.

4. Resultados

O modelo foi avaliado no conjunto de dados ROPE (4.270 imagens, 14 classes de alta granularidade) em oito tarefas downstream usando uma espinha dorsal congelada.

• Classificação de Danos: Alcançou 93,22% de precisão e 91,04% de macro-F1, representando uma melhoria de +38,5 pontos percentuais sobre uma linha de base ViT-H/14 apenas de visão (54,76% de precisão).
• Regressão de Severidade: Alcançou um $\rho$ de Spearman de 0,94 e 99,6% de precisão dentro de 1 ordinal na estimativa contínua de severidade.
• Reconhecimento com Poucos Exemplos: Alcançou 89,2% de macro-F1 com apenas 20 exemplos por classe, superando significativamente a linha de base apenas visual.
• Recomendação de Manutenção: Alcançou 94,79% de macro-F1 ao mapear danos para ações graduadas por segurança (por exemplo, "Substituição Imediata", "Agendar Reparo").
• Detecção de Anomalias: Alcançou uma taxa de anomalia de 4,76% usando distância de Mahalanobis em incorporações congeladas, consistente com a prevalência esperada de espécimes limítrofes.
• Modelagem de Progressão: Demonstrou taxas de interpolação monótona de 91%, mostrando que o espaço de incorporação codifica trajetórias de deterioração fisicamente significativas.

Estudos de Ablação confirmaram que a fundamentação em linguagem é o componente mais crítico; remover o codificador de texto reduziu a precisão em 35,41 pontos percentuais. As portas SC-CMF e o HD-MASK forneceram melhorias estatisticamente significativas, embora menores.

5. Significado e Alegações

O artigo afirma que o DART representa uma mudança de modelos de inspeção isolados e de tarefa única para uma espinha dorsal de monitoramento de condição de propósito geral. Ao aproveitar o contexto semântico de descrições em linguagem natural, o DART resolve ambiguidades visuais que modelos de modalidade única não conseguem.

Os autores enfatizam que o DART fornece inteligência de inspeção acionável a partir de uma única representação compartilhada. Vai além da classificação simples para oferecer estimativas contínuas de severidade, recomendações de manutenção e relatórios automatizados. O trabalho demonstra que uma abordagem de modelo fundamental é necessária e natural para tarefas complexas de inspeção industrial onde os dados são escassos, as classes são de alta granularidade e as decisões são interdependentes. O modelo alcança esses resultados com uma pegada de treinamento relativamente pequena (4.270 imagens) e sem re-treinamento específico de tarefa para aplicações downstream.