Depth-Enhanced YOLO-SAM2 Detection for Reliable Ballast Insufficiency Identification

Cet article présente un cadre de détection amélioré par la profondeur, combinant YOLOv8 et SAM2 avec une correction géométrique des données RGB-D, qui permet d'augmenter significativement la fiabilité et le rappel de l'identification des insuffisances de ballast ferroviaire par rapport aux modèles basés uniquement sur la couleur.

L'essentiel

🚂 Le Problème : Le "Tapis" de la voie ferrée qui manque de rembourrage

Imaginez les rails de train comme une étagère très lourde. Pour qu'elle ne s'effondre pas, on la pose sur des traverses en bois ou en béton, et tout autour de ces traverses, on empile des cailloux (le ballast). Ces cailloux servent de matelas : ils absorbent les chocs, évacuent l'eau et maintiennent les rails droits.

Le problème ? Parfois, ce matelas de cailloux s'affaisse ou manque de matière. C'est ce qu'on appelle une "insuffisance de ballast". Si on ne le voit pas, le train peut dérailler ou les rails se tordre.

Jusqu'à présent, pour vérifier ça, il fallait des humains qui marchaient le long des voies avec des yeux et un mètre-ruban. C'est lent, fatiguant, dangereux et tout dépend de l'humeur de l'inspecteur (est-ce qu'il a vu le trou ou pas ?).

🤖 La Solution : Des yeux qui voient en 3D et un cerveau ultra-intelligent

Les chercheurs (Shiyu Liu et son équipe) ont créé un système automatique pour inspecter les rails. Ils ont combiné trois technologies comme un super-héros avec trois pouvoirs :

1. YOLO (Le Détecteur Rapide) : C'est un robot qui regarde une photo et dit : "Tiens, il y a une zone de cailloux ici !". C'est rapide, mais il a un défaut : il ne voit que la couleur (2D). Il peut se tromper et penser qu'il y a assez de cailloux alors qu'il n'y en a pas, juste parce que la couleur semble normale.
2. SAM2 (Le Sculpteur Précis) : Une fois que YOLO a repéré la zone, SAM2 prend un couteau de chirurgien virtuel. Il découpe exactement la forme des cailloux, même si la zone est penchée ou tordue. Au lieu de dessiner un rectangle tout droit (qui couperait les coins), il dessine un rectangle incliné qui épouse parfaitement la forme des rails. C'est comme ajuster un cadre de photo pour qu'il colle parfaitement à un tableau penché.
3. La Correction de Profondeur (Le "Niveau à Bulle" Magique) : C'est la partie la plus géniale. Le système utilise une caméra spéciale (RealSense) qui voit en 3D (RGB-D). Mais ces caméras ont un défaut : elles voient les choses un peu tordues, comme si on regardait à travers une vitre déformée.
   • L'analogie : Imaginez que vous essayez de mesurer la profondeur d'une piscine avec une règle qui se courbe toute seule. Vos mesures seront fausses.
   • La solution du papier : Ils ont inventé un algorithme qui utilise les traverses (les blocs entre les rails) comme référence. Comme les traverses sont plates et droites dans la réalité, le système dit : "Si la caméra dit que cette traverse est courbée, c'est que la caméra a une illusion d'optique. Je vais corriger l'image pour que la traverse redevienne plate."

🧠 Comment ça marche en pratique ?

Le système fait une analyse en deux temps, comme un inspecteur très méticuleux :

1. Il regarde la grande image : Est-ce que la majorité des cailloux est trop basse par rapport à la traverse ? (Comme un tapis qui s'est affaissé au milieu).
2. Il regarde les bords : Est-ce qu'il y a des trous précis là où les cailloux touchent le bois ? (Comme des trous de souris dans un mur).

Si l'un de ces deux problèmes est détecté, le système crie : "DANGER ! Il manque des cailloux !".

📊 Les Résultats : Pourquoi c'est une révolution ?

Avant, avec seulement la caméra classique (sans la correction 3D), le système était très prudent : il disait souvent "Tout va bien" même quand il y avait un problème. C'est dangereux ! (C'est comme un détecteur de fumée qui ne sonne jamais).

• Avant (Seulement YOLO) : Il trouvait 49 % des problèmes réels. Il en ratait la moitié !
• Après (Le nouveau système YOLO + SAM2 + Correction 3D) : Il trouve 80 % des problèmes.

C'est une énorme différence. Le système ne se contente plus de regarder la couleur des cailloux ; il mesure leur hauteur réelle en corrigeant les illusions d'optique de la caméra.

🏁 En résumé

Ce papier nous dit : "Ne vous fiez pas qu'à vos yeux (ou à une simple photo) pour vérifier la sécurité des trains."

En ajoutant une vision en 3D corrigée et une intelligence artificielle capable de comprendre la géométrie des rails, ils ont créé un inspecteur automatique qui ne rate pas les trous dans le matelas de cailloux. C'est plus sûr, plus rapide et ça évite aux humains de marcher sur des voies dangereuses.

C'est un peu comme passer d'un inspecteur qui regarde une photo en noir et blanc, à un inspecteur qui porte des lunettes de réalité augmentée et un niveau laser pour vérifier que tout est bien à plat ! 🚂✨

Résumé technique

1. Problématique

L'entretien des voies ferrées repose sur le ballast (la couche de gravier sous les traverses), essentiel pour la stabilité, le drainage et la répartition des charges des trains. L'identification de l'insuffisance de ballast est cruciale pour la sécurité, mais les méthodes traditionnelles reposent sur des inspections visuelles manuelles, qui sont laborieuses, subjectives et dangereuses.

Les approches récentes utilisant la vision par ordinateur (comme YOLO) sur des images RGB (couleur uniquement) montrent des limites importantes :

• Manque d'information géométrique : Les images 2D ne permettent pas de déterminer si le volume de ballast est physiquement suffisant.
• Biais de prédiction : Les modèles basés uniquement sur le RGB tendent à sur-prédire la classe « suffisant » (faux négatifs), obtenant une haute précision (0,99) mais un rappel très faible (0,49) pour les cas d'insuffisance, ce qui est inacceptable pour la sécurité.
• Distorsion des capteurs : L'utilisation de capteurs de profondeur (comme l'Intel RealSense) introduit des biais spatiaux, des inclinaisons et des déformations de surface qui rendent les mesures brutes peu fiables sans correction.

2. Méthodologie

Les auteurs proposent un pipeline intégré YOLO–SAM2 enrichi par la profondeur (RGB-D) pour détecter l'insuffisance de ballast. L'architecture se compose de quatre étapes principales :

A. Détection initiale avec YOLOv8

Le modèle YOLOv8 est appliqué sur le flux vidéo RGB pour localiser les régions d'intérêt (ROI) correspondant au ballast. Pour réduire les faux positifs, la détection est restreinte aux 70 % centraux de l'image (zone entre les rails).

B. Segmentation et Extraction de Boîtes Délimitées Rotatives (SAM2)

Les boîtes délimitées axisées (AABB) de YOLO ne correspondent pas toujours à l'orientation réelle des traverses.

• SAM2 (Segment Anything Model 2) : Chaque ROI est affinée par SAM2 pour générer un masque binaire précis.
• Boîtes Rotatives (RBB) : À partir du masque, un rectangle englobant minimal rotatif est calculé. Cela permet d'aligner la géométrie de la détection avec l'orientation physique des traverses et du ballast, facilitant un échantillonnage de profondeur cohérent.

C. Correction de la Profondeur (Depth Correction)

Pour pallier les distorsions du capteur RealSense (biais planaires, courbure), une méthode de correction robuste est proposée :

1. Échantillonnage des traverses : Les données de profondeur sont extraites exclusivement des zones de traverses (entre les segments de ballast), car leur surface est supposée plane.
2. Modélisation Polynomiale : Un biais de profondeur est modélisé par une surface polynomiale 2D de bas ordre ($\Delta z(x, y)$).
3. Estimation Robuste (RANSAC) : L'algorithme RANSAC est utilisé pour ajuster le modèle polynomial aux échantillons de traverses, en ignorant les valeurs aberrantes (bruit, occlusions).
4. Lissage Temporel : Les paramètres de correction sont lissés dans le temps via une moyenne mobile exponentielle (EMA) pour stabiliser la profondeur entre les images et éviter les scintillements.
5. Correction : La surface de biais estimée est soustraite de la carte de profondeur brute, conservant uniquement les déformations spatiales tout en préservant le décalage global (offset).

D. Reconstruction de Plan et Classification

Une fois la profondeur corrigée, le système reconstruit un plan de référence pour chaque région de ballast (interpolation linéaire entre les bords supérieur et inférieur de la boîte rotative).

• Calcul des résidus : La différence entre la profondeur réelle corrigée et le plan de référence est calculée.
• Classification à double critère :
  1. Critère Global : Pourcentage de pixels dont la profondeur est inférieure au plan de référence au-delà d'un seuil (dépression étendue).
  2. Critère des Bords (Edge Gap) : Détection de pertes localisées de ballast près des interfaces traverses/ballast.
  • Une région est classée « insuffisante » si l'un des deux critères (ou une combinaison incluant la décision YOLO) est activé.

3. Contributions Clés

1. Pipeline RGB-D intégré : Combinaison de la détection YOLO, de la segmentation SAM2 et de l'extraction de boîtes délimitées rotatives adaptées à la géométrie ferroviaire.
2. Méthode de correction de biais spatiale : Utilisation de RANSAC et de lissage temporel pour corriger les distorsions des capteurs RealSense sans calibration externe, permettant des mesures de profondeur fiables.
3. Classificateur à double critère : Une stratégie de classification géométrique qui évalue simultanément les dépressions globales et les lacunes localisées pour identifier l'insuffisance avec une grande fiabilité.

4. Résultats Expérimentaux

Les tests ont été réalisés sur des données réelles collectées avec une caméra Intel RealSense D435 (1 405 images pour l'entraînement, 418 pour le test).

• Comparaison des modèles :
  • YOLO seul (RGB) : Haute précision (0,99) mais rappel catastrophique (0,49) pour l'insuffisance, entraînant de nombreux faux négatifs dangereux.
  • Approche proposée (Depth + RBB + Critères multiples) : Le modèle complet atteint un F1-score de 0,8045, avec un rappel de 0,7539 et une précision de 0,8623.
• Amélioration significative : L'intégration de la profondeur corrigée et des boîtes rotatives fait passer le rappel de 0,49 à plus de 0,80, réduisant drastiquement le risque de manquer des zones dangereuses.
• Impact de la correction : Les cartes de profondeur corrigées montrent des contours de traverses plus nets et des gradients de profondeur cohérents, permettant une reconstruction géométrique précise.

5. Signification et Conclusion

Cette recherche démontre que l'intégration de la profondeur corrigée aux modèles de détection d'objets modernes est essentielle pour les inspections d'infrastructures critiques.

• Sécurité : En améliorant le rappel (détection des vrais positifs), le système réduit le risque de ne pas identifier des zones de ballast insuffisant, ce qui pourrait mener à des déraillements.
• Robustesse : La méthode fonctionne efficacement même dans des conditions visuellement ambiguës où les seules données RGB échouent.
• Perspectives : Le travail ouvre la voie à des systèmes de maintenance ferroviaire automatisés, avec des futures extensions prévues pour la fusion multi-capteurs et l'analyse de la cohérence temporelle sur des trains en mouvement.

En résumé, ce papier propose une solution technique robuste qui transforme la détection de ballast d'une tâche basée sur l'apparence visuelle (souvent trompeuse) en une analyse géométrique fiable, essentielle pour la sécurité des réseaux ferroviaires.