Technische Samenvatting: DART – Een Vision-Language Foundation Model voor Omvattende Toestandbewaking van Touwen

1. Probleemstelling

Synthetische vezeltouwen (SFR's) zijn kritieke dragende componenten in offshore-, maritieme en industriële omgevingen. Huidige workflows voor toestandbewaking (Condition Monitoring, CM) vertrouwen op periodieke visuele inspecties door menselijke experts, een proces dat arbeidsintensief, subjectief en moeilijk schaalbaar is. Hoewel er geautomatiseerde inspectiesystemen bestaan, behandelen deze inspectietaken doorgaans als geïsoleerde deelvragen (bijvoorbeeld een aparte classifier voor het type schade, een aparte regressor voor de ernst).

De kernuitdaging die door dit artikel wordt aangepakt, is het onvermogen van vision-only modellen om visueel ambiguë beschadigingsstatussen op te lossen zonder semantische context. Het onderscheid maken tussen aangrenzende ernstniveaus van hetzelfde schade type (bijvoorbeeld "Schuurschade/Medium" versus "Schuurschade/Laag") is bijvoorbeeld moeilijk voor vision-only modellen, omdat deze statussen vaak visueel niet van elkaar te onderscheiden zijn zonder de semantische nuance die wordt geboden door natuurlijke taalbeschrijvingen. Bovendien vereist een inzetbaar inspectiesysteem meer dan alleen classificatie; het moet gelijktijdig interafhankelijke vragen beantwoorden over het type schade, de ernst, de anomalie-status, onderhoudsadviezen en tijdslijnen voor verslechtering, allemaal vanuit één afbeelding.

2. Methodologie

De auteurs stellen DART (Damage Assessment via Rope Transformer) voor, een vision-language foundation model dat is ontworpen om de gehele touwinspectieworkflow te verenigen via één gedeelde representatie. De architectuur breidt de Joint-Embedding Predictive Architecture (JEPA) uit naar het cross-modale domein.

2.1 Architectuur Overzicht

DART integreert vijf nauw gekoppelde componenten:

1. Beeldcoderer (Image Encoder): Een Vision Transformer (ViT-H/14) vooraf getraind met iJEPA op ImageNet-22k. Deze verwerkt $224 \times 224$ afbeeldingen in 256 patch-tokens. Een Exponentiële Glijdende Gemiddelde (EMA) doel-coderer volgt de online coderer om stabiele reconstructiedoelen te bieden zonder dat contrastieve negatieve paren nodig zijn.
2. Tekstcoderer (Text Encoder): Een Llama-3.2-3B-Instruct model (bevroren behalve de laatste vier transformer-blokken en de laatste LayerNorm) dat door experts beoordeelde natuurlijke taalbeschrijvingen van de schade codeert. Multi-scale kenmerken worden geëxtraheerd door de lagen 16, 24 en 31 te middelen.
3. HD-MASK (High-Discrepancy Masking): Een door salientie geleide maskeringstrategie. In plaats van willekeurige maskering, schat een lichtgewicht convolutioneel netwerk de salientie van patches. Patches in de top 40% van salientie (schade-dichte gebieden) worden gemaskeerd met een waarschijnlijkheid van 0,70, terwijl achtergrondpatches worden gemaskeerd met 0,30. Dit beïnvloedt de zelftoezicht reconstructietaken naar informatieve schadegebieden.
4. Latente Predictor: Een 6-laags Transformer die gemaskeerde patch-embeddings voorspelt vanuit context-tokens in de latente ruimte, waardoor de gevoeligheid voor ruis van pixel-level reconstructie wordt vermeden.
5. SC-CMF (Severity-Conditioned Cross-Modal Fusion): Deze module fuseert visuele en tekstuele modaliteiten. Het maakt gebruik van 14 leerbare per-klasse poorten die de invloed van taal op visie adaptief wegen. Taalmodulatie wordt versterkt voor ernst-gegradueerde klassen (bijvoorbeeld Schuurschade) en onderdrukt voor samengestelde schade-types waarbij beschrijvingen geen ernst-gradiënt hebben.

2.2 Trainingsdoel: Contrastive Damage Disentanglement (CDD) Loss

Het model wordt getraind met een doelstelling van vier termen ($\mathcal{L}_{total}$) om de embedding-ruimte te vormen voor multi-task transfer:

• $\mathcal{L}_{recon}$ (JEPA Reconstructie): Smooth-L1 loss op voorspelde versus EMA-doellatenten.
• $\mathcal{L}_{sev}$ (Ernst Contrast): Een InfoNCE loss die paren van hetzelfde schade-type maar verschillende ernstniveaus naar elkaar toe trekt, terwijl het verschillende types uit elkaar duwt, en expliciet type-ernst ontkoppeling aanmoedigt.
• $\mathcal{L}_{orth}$ (Type Orthogonaliteit): Straft de cosinus-ähnelijkheid tussen klassencentroïden van verschillende schade-types af om orthogonale deelruimtes te waarborgen.
• $\mathcal{L}_{focal}$ (Focal Classificatie): Cross-entropy met inverse-frequentie gewichten om de ernstige klasse-ongelijkheid (29:1 verhouding) in het dataset te hanteren.

2.3 Trainingscurriculum

Training vindt plaats in twee fasen:

• Fase 1: De ViT-ruggengraat is bevroren; HD-MASK, de predictor, tekstprojectie, SC-CMF en classifier worden getraind.
• Fase 2: De laatste 6 blokken van de ViT en de laatste LayerNorm worden ontdooid om representaties te verfijnen, terwijl de tekstcoderer grotendeels bevroren blijft.

3. Belangrijkste Bijdragen

Het artikel identificeert vijf primaire bijdragen:

1. DART Model: Een unificerend vision-language foundation model dat één keer is getraind op 4.270 afbeeldingen om een uitgebreide reeks inspectietaken te ondersteunen zonder taak-specifieke fine-tuning.
2. SC-CMF Module: Een nieuw fusiemechanisme dat per-klasse leerbare poorten gebruikt om de invloed van taal adaptief te moduleren op basis van schade-ernst en type.
3. HD-MASK: Een door salientie geleide maskeringstrategie die zelftoezicht leren verbetert door zich te richten op schade-dichte patches zonder expliciete patch-level annotaties te vereisen.
4. CDD Loss: Een doelstelling van vier termen die gezamenlijk optimaliseert voor structurele reconstructie, ernstordening, type-orthogonaliteit en robuuste classificatie.
5. Multi-task Benchmark: Een demonstratie dat een enkele bevroren ruggengraat state-of-the-art prestaties bereikt over classificatie, regressie, few-shot learning, onderhoudsadvies, rapportgeneratie en anomaliedetectie.

4. Resultaten

Het model is geëvalueerd op de ROPE dataset (4.270 afbeeldingen, 14 fijnkorrelige klassen) over acht downstream-taken met een bevroren ruggengraat.

• Schadeclassificatie: Bereikte 93,22% nauwkeurigheid en 91,04% macro-F1, wat een verbetering van +38,5 procentpunten betekent ten opzichte van een vision-only ViT-H/14 baseline (54,76% nauwkeurigheid).
• Ernstregressie: Bereikte een Spearman $\rho$ van 0,94 en 99,6% nauwkeurigheid binnen 1-ordinaal bij continue ernstschattting.
• Few-Shot Herkenning: Bereikte 89,2% macro-F1 met slechts 20 shots per klasse, wat significant beter presteert dan de visuele-only baseline.
• Onderhoudsadvies: Bereikte 94,79% macro-F1 bij het koppelen van schade aan veiligheidsgegradeerde acties (bijvoorbeeld "Direct Vervangen", "Reparatie Plannen").
• Anomaliedetectie: Bereikte een 4,76% anomaliepercentage met behulp van de Mahalanobis-afstand op bevroren embeddings, consistent met de verwachte prevalentie van grensgevallen.
• Progressiemodellering: Toonde 91% monotone interpolatie percentages, wat aantoont dat de embedding-ruimte fysisch betekenisvolle verslechteringsbanen codeert.

Ablatiestudies bevestigden dat taalverankering het meest kritieke onderdeel is; het verwijderen van de tekstcoderer liet de nauwkeurigheid met 35,41 procentpunten dalen. De SC-CMF-poorten en HD-MASK leverden statistisch significante, zij het kleinere, verbeteringen op.

5. Betekenis en Claims

Het artikel beweert dat DART een verschuiving vertegenwoordigt van geïsoleerde, single-task inspectiemodellen naar een algemeen toepasbare ruggengraat voor toestandbewaking. Door gebruik te maken van de semantische context van natuurlijke taalbeschrijvingen, lost DART visuele ambiguïteiten op die single-modality modellen niet kunnen oplossen.

De auteurs benadrukken dat DART toepasbare inspectie-intelligentie biedt vanuit één gedeelde representatie. Het gaat verder dan eenvoudige classificatie door continue ernstschatttingen, onderhoudsadviezen en geautomatiseerde rapportage te bieden. Het werk toont aan dat een foundation model-approach zowel noodzakelijk als natuurlijk is voor complexe industriële inspectietaken waar data schaars is, klassen fijnkorrelig zijn en beslissingen interafhankelijk zijn. Het model bereikt deze resultaten met een relatief kleine trainingsvoetafdruk (4.270 afbeeldingen) en zonder taak-specifieke hertraining voor downstream-toepassingen.