🤖 AI

DART: A Vision-Language Foundation Model for Comprehensive Rope Condition Monitoring

DART est un nouveau modèle fondation vision-langage qui unifie la classification des dommages, l'estimation continue de la sévérité et la génération automatisée de rapports pour les cordages en fibres synthétiques en exploitant une architecture basée sur JEPA avec des mécanismes de fusion et de perte spécialisés afin d'atteindre des performances de pointe sur plusieurs tâches d'inspection sans ajustage fin spécifique à la tâche.

Auteurs originaux : Anju Rani, Daniel Ortiz-Arroyo, Petar Durdevic

Publié 2026-05-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anju Rani, Daniel Ortiz-Arroyo, Petar Durdevic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes inspecteur de sécurité pour des cordes géantes et robustes utilisées sur les plates-formes pétrolières et les navires. Ces cordes sont fabriquées à partir de fibres synthétiques, et si elles se rompent, les conséquences peuvent être désastreuses. Traditionnellement, un expert humain doit examiner une photo d'une corde, plisser les yeux pour analyser la texture et répondre à toute une liste de questions : Quel type de dommage est-ce ? Quelle est sa gravité ? S'agit-il d'un problème nouveau et étrange ? Que devons-nous faire ? Pouvez-vous me rédiger un rapport ?

Faire tout cela pour chaque photo individuelle est lent, épuisant et difficile à réaliser de manière cohérente.

Ce document présente DART (Damage Assessment via Rope Transformer), un nouveau type de « super-cerveau » pour les ordinateurs. Au lieu de créer un programme informatique différent pour chaque question (un pour détecter les dommages, un autre pour estimer la gravité, un troisième pour rédiger des rapports), DART est un expert unique et tout-en-un capable de répondre à toutes les questions à partir d'une seule photo.

Voici comment DART fonctionne, en utilisant quelques analogies simples :

1. Le système à « deux cerveaux » (Vision + Langage)

La plupart des programmes de vision par ordinateur ressemblent à une personne qui n'a que des yeux. Ils peuvent voir une rayure, mais ils ne savent pas si c'est « une petite rayure » ou « une profonde entaille » car ils manquent de contexte.

DART est différent. Il possède deux cerveaux travaillant ensemble :

L'Œil (Vision) : Il utilise un cerveau caméra puissant (un Vision Transformer) pour examiner les pixels de la corde.
L'Expert (Langage) : Il lit également un « manuel » (un grand modèle de langage appelé Llama). Ce cerveau connaît les mots que les experts utilisent pour décrire les dommages, comme « abrasion de surface étendue ».

La Magie : DART ne se contente pas de regarder l'image ; il « lit » l'image tout en « réfléchissant » simultanément aux descriptions d'experts. Cela l'aide à comprendre qu'un motif spécifique de effilochage n'est pas simplement un flou visuel, mais une « abrasion de haute gravité ». L'article a révélé que sans cette capacité de « lecture », la précision de l'ordinateur chutait de plus de 35 %. C'est comme essayer de résoudre un puzzle les yeux fermés par rapport à avoir les instructions sous les yeux.

2. La stratégie « Projecteur » (HD-MASK)

Lorsque vous regardez une corde, les dommages sont généralement un minuscule point dans une image immense. Si vous enseignez à un ordinateur en masquant aléatoirement des parties de l'image, il pourrait simplement cacher les dommages et n'apprendre que sur la corde intacte.

DART utilise une astuce appelée HD-MASK. Imaginez un projecteur qui brille automatiquement plus intensément sur les parties désordonnées et endommagées de la corde, et plus faiblement sur le fond propre. Cela force l'ordinateur à concentrer son énergie d'apprentissage spécifiquement sur les points « intéressants » (endommagés), le rendant beaucoup plus efficace pour repérer les problèmes.

3. Le « bouton de volume » pour la gravité (SC-CMF)

Certains types de dommages sont faciles à classer (comme « Faible », « Moyen », « Élevé »), mais d'autres sont simplement « endommagés » sans échelle de gravité.

DART possède un bouton de volume spécial pour chaque type de dommage.

Si le dommage est une « abrasion », le bouton monte le volume du « Cerveau Langage » pour l'aider à décider s'il s'agit d'un 1 ou d'un 10.
Si le dommage est un mélange complexe (comme « Compression + Brins coupés »), le bouton baisse le volume car la description textuelle n'aide pas beaucoup pour la gravité dans ce cas.
Cela permet à DART d'être flexible, sachant exactement quand se fier aux mots et quand se fier à l'image.

4. La « salle de sport » d'entraînement (CDD Loss)

Pour devenir aussi intelligent, DART a suivi un entraînement spécial dans une salle de gym. Il n'a pas seulement appris à dire « Oui, ce sont des dommages ». Il a appris à organiser ses pensées d'une manière spécifique :

Il a appris que « Abrasion-Faible » et « Abrasion-Élevée » sont des voisins dans son esprit, mais que « Abrasion » et « Brins coupés » sont très éloignés.
Il a appris à prédire à quoi ressemblerait une corde endommagée si elle était légèrement pire, l'aidant à comprendre la chronologie de la détérioration.

Que peut faire DART ?

Parce qu'il a si bien appris dans cette salle de gym, DART peut accomplir huit tâches différentes sans avoir besoin d'être re-entraîné pour chacune d'elles. C'est comme un couteau suisse qui n'a pas besoin de nouvelles lames ajoutées.

Repérer les dommages : Il identifie 14 types différents de dommages aux cordes avec une précision de 93 % (un bond énorme par rapport aux méthodes précédentes).
Classer la gravité : Il ne dit pas simplement « Mauvais » ; il donne un score continu (comme 0,8 sur 1,0), montrant exactement à quel point c'est grave.
Apprendre à partir de peu d'exemples : Si vous lui montrez seulement 20 photos d'un nouveau type de dommage, il peut le reconnaître presque parfaitement (90 % de précision).
Prédire l'avenir : Il peut cartographier comment une corde se détériorera probablement au fil du temps, créant une « chronologie » des dommages.
Donner des conseils : Il suggère quoi faire : « Remplacer immédiatement », « Planifier une réparation » ou « Continuer à surveiller ».
Rédiger des rapports : Il peut générer automatiquement un rapport d'inspection écrit basé sur l'image.
Repérer les choses étranges : Il peut repérer des « anomalies » — des types de dommages qu'il n'a jamais vus auparavant — simplement en remarquant que quelque chose ne correspond pas au motif.
Suivre les trajectoires : Il peut analyser comment l'état d'une corde change au cours d'une série d'inspections.

La conclusion

L'article affirme que DART est un « modèle de fondation ». Imaginez-le comme un inspecteur universel de cordes. Vous l'entraînez une seule fois sur 4 270 images, puis vous pouvez le figer (verrouiller son cerveau) et l'utiliser pour n'importe quelle tâche d'inspection que vous lui lancez.

Les résultats montrent qu'en combinant les « yeux » d'une caméra avec les « connaissances » d'un expert en langage, et en concentrant son attention sur les bons endroits, DART résout le problème complexe et multi-étapes de la sécurité des cordes bien mieux que n'importe quel programme informatique à tâche unique ne l'a jamais pu. Il transforme une seule photo en un dossier de sécurité complet.

Résumé Technique : DART – Un Modèle Fondation Visuel-Linguistique pour la Surveillance Complète de l'État des Cordages

1. Énoncé du Problème

Les cordages en fibres synthétiques (SFR) sont des composants critiques de charge dans les environnements offshore, maritimes et industriels. Les flux de travail actuels de surveillance de l'état (CM) reposent sur des inspections visuelles périodiques par des experts humains, un processus qui est laborieux, subjectif et difficile à mettre à l'échelle. Bien que des systèmes d'inspection automatisés existent, ils traitent généralement les tâches d'inspection comme des sous-problèmes isolés (par exemple, un classifieur séparé pour le type de dommage, un régresseur séparé pour la sévérité).

Le défi central abordé par cet article est l'incapacité des modèles visuels unimodaux à résoudre des états de dommages visuellement ambigus sans contexte sémantique. Par exemple, distinguer entre des niveaux de sévérité adjacents d'un même type de dommage (par exemple, « Frottement/Moyen » vs « Frottement/Faible ») est difficile pour les modèles purement visuels car ces états sont souvent visuellement indiscernables sans la nuance sémantique fournie par les descriptions en langage naturel. De plus, un système d'inspection déployable nécessite plus qu'une simple classification ; il doit simultanément répondre à des questions interdépendantes concernant le type de dommage, la sévérité, le statut d'anomalie, les recommandations de maintenance et les chronologies de détérioration, le tout à partir d'une seule image.

2. Méthodologie

Les auteurs proposent DART (Damage Assessment via Rope Transformer), un modèle fondation visuel-linguistique conçu pour unifier l'ensemble du flux de travail d'inspection des cordages à travers une représentation partagée unique. L'architecture étend l'Architecture Prédictive à Encodage Joint (JEPA) au domaine intermodal.

2.1 Aperçu de l'Architecture

DART intègre cinq composants étroitement couplés :

Encodeur d'Image : Un Vision Transformer (ViT-H/14) pré-entraîné avec iJEPA sur ImageNet-22k. Il traite des images de $224 \times 224$ en 256 jetons de patchs. Un encodeur cible à Moyenne Mobile Exponentielle (EMA) suit l'encodeur en ligne pour fournir des cibles de reconstruction stables sans nécessiter de paires négatives contrastives.
Encodeur de Texte : Un modèle Llama-3.2-3B-Instruct (figé sauf les quatre derniers blocs de transformateurs et la dernière normalisation de couche) qui encode les descriptions en langage naturel examinées par des experts des dommages. Des caractéristiques multi-échelles sont extraites en moyennant les couches 16, 24 et 31.
HD-MASK (Masquage à Haute Discrepance) : Une stratégie de masquage guidée par la saillance. Au lieu d'un masquage aléatoire, un réseau de convolution léger estime la saillance des patchs. Les patchs situés dans les 40 % supérieurs de saillance (régions denses en dommages) sont masqués avec une probabilité de 0,70, tandis que les patchs de fond sont masqués avec 0,30. Cela biaise la tâche de reconstruction auto-supervisée vers les régions de dommages informatives.
Prédicteur Latent : Un Transformer à 6 couches qui prédit les embeddings de patchs masqués à partir des jetons de contexte dans l'espace latent, évitant ainsi la sensibilité au bruit de la reconstruction au niveau des pixels.
SC-CMF (Fusion Intermodale Conditionnée par la Sévérité) : Ce module fusionne les modalités visuelle et textuelle. Il emploie 14 portes apprenables par classe qui pondèrent de manière adaptative l'influence du langage sur la vision. La modulation linguistique est amplifiée pour les classes graduées par sévérité (par exemple, Frottement) et supprimée pour les types de dommages composés où les descriptions manquent de gradient de sévérité.

2.2 Objectif d'Entraînement : Perte de Désentanglement Contrastif des Dommages (CDD)

Le modèle est entraîné avec une fonction objectif à quatre termes ( $\mathcal{L}_{total}$ ) pour façonner l'espace d'embedding pour le transfert multi-tâches :

$\mathcal{L}_{recon}$ (Reconstruction JEPA) : Perte Smooth-L1 sur les latents prédits par rapport aux latents cibles EMA.
$\mathcal{L}_{sev}$ (Contraste de Sévérité) : Une perte InfoNCE qui rapproche les paires d'un même type de dommage mais de niveaux de sévérité différents tout en éloignant les types différents, encourageant explicitement le désentanglement type-sévérité.
$\mathcal{L}_{orth}$ (Orthogonalité des Types) : Pénalise la similarité cosinus entre les centroïdes de classes de types de dommages différents pour assurer des sous-espaces orthogonaux.
$\mathcal{L}_{focal}$ (Classification Focale) : Entropie croisée avec des poids d'inverse-fréquence pour gérer le déséquilibre de classe sévère (rapport 29:1) dans le jeu de données.

2.3 Curriculum d'Entraînement

L'entraînement se déroule en deux phases :

Phase 1 : Le socle ViT est figé ; HD-MASK, le prédicteur, la projection de texte, SC-CMF et le classifieur sont entraînés.
Phase 2 : Les 6 derniers blocs du ViT et la dernière normalisation de couche sont dégelés pour affiner les représentations, tandis que l'encodeur de texte reste largement figé.

3. Contributions Clés

L'article identifie cinq contributions principales :

Modèle DART : Un modèle fondation visuel-linguistique unifié entraîné une seule fois sur 4 270 images pour soutenir une suite complète de tâches d'inspection sans affinage spécifique à la tâche.
Module SC-CMF : Un mécanisme de fusion novateur utilisant des portes apprenables par classe pour moduler de manière adaptative l'influence du langage en fonction de la sévérité et du type de dommage.
HD-MASK : Une stratégie de masquage guidée par la saillance qui améliore l'apprentissage auto-supervisé en se concentrant sur les patchs denses en dommages sans nécessiter d'annotations explicites au niveau des patchs.
Perte CDD : Un objectif à quatre termes qui optimise conjointement la reconstruction structurelle, l'ordonnancement de la sévérité, l'orthogonalité des types et la classification robuste.
Benchmark Multi-Tâches : Une démonstration qu'un socle figé unique atteint des performances de pointe à travers la classification, la régression, l'apprentissage peu fourni, la recommandation de maintenance, la génération de rapports et la détection d'anomalies.

4. Résultats

Le modèle a été évalué sur le jeu de données ROPE (4 270 images, 14 classes fines) à travers huit tâches en aval utilisant un socle figé.

Classification des Dommages : A atteint 93,22 % de précision et 91,04 % de macro-F1, représentant une amélioration de +38,5 points de pourcentage par rapport à une base ViT-H/14 purement visuelle (54,76 % de précision).
Régression de Sévérité : A atteint un $\rho$ de Spearman de 0,94 et 99,6 % de précision à l'intérieur de 1 ordinal sur l'estimation continue de la sévérité.
Reconnaissance Peu Fournie : A atteint 89,2 % de macro-F1 avec seulement 20 exemples par classe, surpassant significativement la base purement visuelle.
Recommandation de Maintenance : A atteint 94,79 % de macro-F1 dans la cartographie des dommages vers des actions classées par sécurité (par exemple, « Remplacement Immédiat », « Planifier la Réparation »).
Détection d'Anomalies : A atteint un taux d'anomalie de 4,76 % en utilisant la distance de Mahalanobis sur les embeddings figés, cohérent avec la prévalence attendue des spécimens limites.
Modélisation de la Progression : A démontré des taux d'interpolation monotone de 91 %, montrant que l'espace d'embedding encode des trajectoires de détérioration physiquement significatives.

Les études d'ablation ont confirmé que l'ancrage linguistique est le composant le plus critique ; la suppression de l'encodeur de texte a fait chuter la précision de 35,41 points de pourcentage. Les portes SC-CMF et HD-MASK ont fourni des améliorations statistiquement significatives, bien que plus faibles.

5. Signification et Revendications

L'article revendique que DART représente un passage des modèles d'inspection isolés et mono-tâches à une colonne vertébrale de surveillance de l'état à usage général. En tirant parti du contexte sémantique des descriptions en langage naturel, DART résout les ambiguïtés visuelles que les modèles unimodaux ne peuvent pas résoudre.

Les auteurs soulignent que DART fournit une intelligence d'inspection exploitable à partir d'une représentation partagée unique. Il va au-delà de la simple classification pour offrir des estimations continues de sévérité, des recommandations de maintenance et des rapports automatisés. Le travail démontre qu'une approche par modèle fondation est à la fois nécessaire et naturelle pour les tâches d'inspection industrielle complexes où les données sont rares, les classes sont fines et les décisions sont interdépendantes. Le modèle atteint ces résultats avec une empreinte d'entraînement relativement faible (4 270 images) et sans réentraînement spécifique à la tâche pour les applications en aval.