Riepilogo Tecnico: DART – Un Modello Fondamentale Visione-Linguaggio per il Monitoraggio Completo delle Condizioni delle Cime

1. Enunciato del Problema

Le funi in fibra sintetica (SFR) sono componenti critici portanti di carico negli ambienti offshore, marittimi e industriali. I flussi di lavoro attuali per il monitoraggio delle condizioni (CM) si basano su ispezioni visive periodiche effettuate da esperti umani, un processo che è laborioso, soggettivo e difficile da scalare. Sebbene esistano sistemi di ispezione automatizzati, questi trattano tipicamente i compiti di ispezione come sottoproblemi isolati (ad esempio, un classificatore separato per il tipo di danno, un regressore separato per la gravità).

La sfida principale affrontata da questo articolo è l'incapacità dei modelli visivi a singola modalità di risolvere stati di danno visivamente ambigui senza contesto semantico. Ad esempio, distinguere tra livelli di gravità adiacenti dello stesso tipo di danno (ad esempio, "Usura/Media" vs "Usura/Bassa") è difficile per i modelli basati solo sulla visione perché questi stati sono spesso visivamente indistinguibili senza la sfumatura semantica fornita dalle descrizioni in linguaggio naturale. Inoltre, un sistema di ispezione deployabile richiede più della semplice classificazione; deve rispondere simultaneamente a domande interdipendenti riguardanti il tipo di danno, la gravità, lo stato di anomalia, le raccomandazioni di manutenzione e le tempistiche di deterioramento, tutto da una singola immagine.

2. Metodologia

Gli autori propongono DART (Damage Assessment via Rope Transformer), un modello fondamentale visione-linguaggio progettato per unificare l'intero flusso di lavoro di ispezione delle funi attraverso una singola rappresentazione condivisa. L'architettura estende l'Architettura Predittiva di Joint-Embedding (JEPA) al dominio cross-modale.

2.1 Panoramica dell'Architettura

DART integra cinque componenti strettamente accoppiati:

1. Codificatore Immagine: Un Vision Transformer (ViT-H/14) pre-addestrato con iJEPA su ImageNet-22k. Elabora immagini $224 \times 224$ in 256 token di patch. Un codificatore target a Media Mobile Esponenziale (EMA) traccia il codificatore online per fornire target di ricostruzione stabili senza richiedere coppie negative contrastive.
2. Codificatore Testo: Un modello Llama-3.2-3B-Instruct (congelato tranne gli ultimi quattro blocchi transformer e l'ultimo LayerNorm) che codifica descrizioni in linguaggio naturale revisionate da esperti del danno. Le caratteristiche multi-scala vengono estratte mediando i livelli 16, 24 e 31.
3. HD-MASK (Mascheramento ad Alta Discrepanza): Una strategia di mascheramento guidata dalla salienza. Invece del mascheramento casuale, una rete convoluzionale leggera stima la salienza delle patch. Le patch nelle prime 40% di salienza (regioni dense di danno) vengono mascherate con una probabilità di 0,70, mentre le patch di sfondo vengono mascherate con 0,30. Questo sbilancia il compito di ricostruzione auto-supervisionato verso le regioni informative di danno.
4. Predittore Latente: Un Transformer a 6 livelli che predice gli embedding delle patch mascherate dai token di contesto nello spazio latente, evitando la sensibilità al rumore della ricostruzione a livello di pixel.
5. SC-CMF (Fusione Cross-Modale Condizionata alla Gravità): Questo modulo fonde le modalità visiva e testuale. Impiega 14 gate apprendibili per classe che pesano adattivamente l'influenza del linguaggio sulla visione. La modulazione linguistica viene amplificata per le classi graduate per gravità (ad esempio, Usura) e soppressa per i tipi di danno composti dove le descrizioni mancano di un gradiente di gravità.

2.2 Obiettivo di Addestramento: Funzione di Perdita per la Disentanglement Contrastiva del Danno (CDD)

Il modello è addestrato con una funzione obiettivo a quattro termini ($\mathcal{L}_{total}$) per modellare lo spazio di embedding per il trasferimento multi-task:

• $\mathcal{L}_{recon}$ (Ricostruzione JEPA): Perdita Smooth-L1 sui latenti predetti rispetto ai latenti target EMA.
• $\mathcal{L}_{sev}$ (Contrasto di Gravità): Una perdita InfoNCE che avvicina coppie dello stesso tipo di danno ma con diversi livelli di gravità, allontanando allo stesso tempo tipi diversi, incoraggiando esplicitamente la disentanglement tipo-gravità.
• $\mathcal{L}_{orth}$ (Ortogonalità del Tipo): Penalizza la similarità coseno tra i centroidi delle classi di diversi tipi di danno per garantire sottospazi ortogonali.
• $\mathcal{L}_{focal}$ (Classificazione Focal): Entropia incrociata con pesi inversi alla frequenza per gestire lo squilibrio di classe severo (rapporto 29:1) nel dataset.

2.3 Curriculum di Addestramento

L'addestramento avviene in due fasi:

• Fase 1: Il backbone ViT è congelato; HD-MASK, il predittore, la proiezione del testo, SC-CMF e il classificatore vengono addestrati.
• Fase 2: Gli ultimi 6 blocchi del ViT e l'ultimo LayerNorm vengono sbloccati per rifinire le rappresentazioni, mentre il codificatore del testo rimane in gran parte congelato.

3. Contributi Chiave

L'articolo identifica cinque contributi principali:

1. Modello DART: Un modello fondamentale visione-linguaggio unificato addestrato una sola volta su 4.270 immagini per supportare una suite completa di compiti di ispezione senza fine-tuning specifico per task.
2. Modulo SC-CMF: Un meccanismo di fusione innovativo che utilizza gate apprendibili per classe per modulare adattivamente l'influenza del linguaggio in base alla gravità e al tipo di danno.
3. HD-MASK: Una strategia di mascheramento guidata dalla salienza che migliora l'apprendimento auto-supervisionato concentrandosi sulle patch dense di danno senza richiedere annotazioni esplicite a livello di patch.
4. Perdita CDD: Un obiettivo a quattro termini che ottimizza congiuntamente la ricostruzione strutturale, l'ordinamento della gravità, l'ortogonalità del tipo e la classificazione robusta.
5. Benchmark Multi-Task: Una dimostrazione che un singolo backbone congelato raggiunge prestazioni allo stato dell'arte attraverso classificazione, regressione, apprendimento few-shot, raccomandazione di manutenzione, generazione di report e rilevamento di anomalie.

4. Risultati

Il modello è stato valutato sul dataset ROPE (4.270 immagini, 14 classi fine-grained) attraverso otto task downstream utilizzando un backbone congelato.

• Classificazione del Danno: Ha raggiunto una precisione del 93,22% e un macro-F1 del 91,04%, rappresentando un miglioramento di +38,5 punti percentuali rispetto a una baseline ViT-H/14 basata solo sulla visione (54,76% di precisione).
• Regressione della Gravità: Ha raggiunto un $\rho$ di Spearman di 0,94 e un 99,6% di accuratezza entro 1 ordine nella stima continua della gravità.
• Riconoscimento Few-Shot: Ha raggiunto un macro-F1 dell'89,2% con sole 20 istanze per classe, superando significativamente la baseline visiva-only.
• Raccomandazione di Manutenzione: Ha raggiunto un macro-F1 del 94,79% nel mappare il danno su azioni graduate per la sicurezza (ad esempio, "Sostituzione Immediata", "Programmare Riparazione").
• Rilevamento di Anomalie: Ha raggiunto un tasso di anomalia del 4,76% utilizzando la distanza di Mahalanobis su embedding congelati, coerente con la prevalenza attesa di campioni borderline.
• Modellazione della Progressione: Ha dimostrato tassi di interpolazione monotona del 91%, mostrando che lo spazio di embedding codifica traiettorie di deterioramento fisicamente significative.

Studi di Ablazione hanno confermato che il grounding linguistico è il componente più critico; la rimozione del codificatore del testo ha fatto calare la precisione di 35,41 punti percentuali. I gate SC-CMF e HD-MASK hanno fornito miglioramenti statisticamente significativi, sebbene minori.

5. Significato e Affermazioni

L'articolo afferma che DART rappresenta un passaggio dai modelli di ispezione isolati e single-task a un backbone di monitoraggio delle condizioni a scopo generale. Sfruttando il contesto semantico delle descrizioni in linguaggio naturale, DART risolve le ambiguità visive che i modelli a singola modalità non possono risolvere.

Gli autori sottolineano che DART fornisce intelligenza ispezionale azionabile da una singola rappresentazione condivisa. Va oltre la semplice classificazione offrendo stime continue della gravità, raccomandazioni di manutenzione e report automatizzati. Il lavoro dimostra che un approccio basato su modelli fondamentali è sia necessario che naturale per compiti complessi di ispezione industriale dove i dati sono scarsi, le classi sono fine-grained e le decisioni sono interdipendenti. Il modello raggiunge questi risultati con un footprint di addestramento relativamente piccolo (4.270 immagini) e senza re-addestramento specifico per task per le applicazioni downstream.