RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models

Cet article présente une méthode robuste pour la reconnaissance des repères kilométriques des métros en conditions difficiles, basée sur l'adaptation d'un modèle fondamental OCR pré-entraîné aux données multimodales RGB-Événements et validée sur le nouveau jeu de données à grande échelle EvMetro5K.

L'essentiel

🚇 Le Problème : Le Métro qui a "la vue basse"

Imaginez que vous conduisez un métro à grande vitesse. Pour s'arrêter au bon endroit, le train doit lire des panneaux sur les murs du tunnel qui indiquent la distance parcourue (les "bornes kilométriques").

Le problème, c'est que les caméras classiques (comme celle de votre smartphone, les caméras RGB) sont très fragiles :

• Dans le noir : Si le tunnel est mal éclairé, la caméra voit une tache noire.
• En plein soleil : Si le soleil tape fort à l'entrée du tunnel, la caméra est éblouie (comme quand vous sortez d'un cinéma).
• À grande vitesse : Si le train va trop vite, l'image devient floue, comme une photo prise en courant.

C'est comme essayer de lire un livre dans le noir avec des lunettes sales, tout en courant. Le système de vision du métro se trompe souvent, ce qui est dangereux.

🧠 La Solution : Donner des "Super-Pouvoirs" aux Caméras

Les chercheurs de cet article ont eu une idée brillante : au lieu de compter uniquement sur la caméra classique, ils ont ajouté une caméra "événementielle".

L'analogie de la caméra événementielle :
Imaginez que la caméra classique est un photographe qui prend une photo fixe toutes les secondes. Si vous bougez vite, la photo est floue.
La caméra événementielle, elle, est comme un gardien de la nuit très réactif. Elle ne prend pas de "photos", elle ne regarde que ce qui bouge ou ce qui change de luminosité.

• Si une lumière s'allume ou s'éteint, elle le signale instantanément.
• Elle ne se fatigue jamais, elle ne s'éblouit pas avec le soleil, et elle voit parfaitement dans le noir total.

En combinant les deux, on obtient un système qui voit tout : la couleur et la forme (la caméra classique) + le mouvement et les contours nets (la caméra événementielle).

🕸️ Le Cerveau Artificiel : Le "Réseau d'Hyperliens"

Avoir deux caméras ne suffit pas, il faut un cerveau capable de comprendre les deux en même temps. C'est là qu'intervient la méthode proposée par les chercheurs, appelée HGP-KMR.

Pour expliquer leur technique, utilisons une analogie avec un réseau social :

1. Le problème habituel : Souvent, on compare les deux images pixel par pixel, comme si on comparait deux listes de courses ligne par ligne. C'est rigide.
2. L'approche des chercheurs (Hypergraphe) : Ils créent un "réseau d'amis" entre les deux images. Imaginez que chaque détail de l'image classique (un chiffre, une ligne) envoie un message à son "ami" dans l'image événementielle.
   • Si le chiffre est flou sur la photo classique, mais net sur l'image événementielle, le "message" dit : "Hé, je ne vois pas bien, mais mon ami voit le chiffre '5' très clairement !"
   • Le système utilise ce réseau complexe (l'hypergraphe) pour corriger les erreurs de la caméra classique en temps réel. C'est comme si vous aviez un co-pilote qui vous chuchote : "Attention, il fait sombre, mais je vois que c'est le panneau numéro 42."

📚 Le Nouveau Livre de Recettes : La Base de Données "EvMetro5K"

Pour entraîner ce cerveau artificiel, il faut des milliers d'exemples. Avant cette étude, personne n'avait de livre de recettes pour apprendre aux ordinateurs à lire les panneaux de métro avec ce type de caméras.

Les chercheurs ont donc :

1. Installé leurs caméras sur de vrais trains.
2. Filé pendant 20 heures dans des conditions difficiles (nuit, pluie, vitesse folle).
3. Créé EvMetro5K, une énorme bibliothèque de 5 599 paires d'images (une photo classique + une photo événementielle) annotées à la main.

C'est comme si ils avaient écrit le premier manuel d'apprentissage pour les robots qui doivent conduire des métros dans le noir.

🏆 Les Résultats : Qui gagne ?

Ils ont testé leur méthode sur ce nouveau manuel et sur d'autres tests connus.

• Résultat : Leur système a atteint 95,1 % de réussite pour lire les panneaux.
• Comparaison : Les meilleurs systèmes actuels (qui n'utilisent que des caméras classiques) plafonnaient autour de 91-92 %.
• L'avantage : Même quand il fait très sombre ou que le train va très vite, leur système ne panique pas. Il utilise l'information "événementielle" pour deviner ce que la caméra classique a raté.

En Résumé

C'est comme donner à un conducteur de métro une paire de lunettes spéciales :

• Une lentille classique pour voir les couleurs.
• Une lentille "super-vitesse" pour voir les contours nets dans le noir.
• Un petit assistant (l'IA) qui relie les deux yeux pour ne jamais rater un panneau, même dans les pires conditions.

Grâce à cela, les métros du futur pourront rouler plus sûrement, plus vite et sans avoir besoin de GPS (qui ne fonctionne pas sous terre).

Résumé technique

1. Problématique

La reconnaissance précise de la position des trains métro dans des environnements souterrains ou complexes est un défi majeur, notamment en l'absence de signal GNSS (Global Navigation Satellite System). Les méthodes de localisation visuelles basées sur la reconnaissance des repères kilométriques (Kilometer Markers) souffrent de limitations sévères dans les conditions réelles :

• Variations d'éclairage : Obscurité dans les tunnels, surexposition à la lumière du jour.
• Mouvement rapide : Flou de mouvement dû à la vitesse élevée des trains.
• Conditions météorologiques : Pluie, brouillard, etc.

Les caméras RGB conventionnelles échouent souvent dans ces scénarios extrêmes. Bien que les caméras à événements (Event Cameras) offrent une haute dynamique (HDR), une faible latence et une robustesse au flou, leur intégration avec les flux RGB pour la reconnaissance de texte (OCR) dans le domaine ferroviaire reste peu explorée, en particulier sans ensembles de données dédiés.

2. Méthodologie : HGP-KMR

Les auteurs proposent une nouvelle approche nommée HGP-KMR (RGB-Event HyperGraph Prompt for Kilometer Marker Recognition), basée sur des modèles de fondation pré-entraînés.

A. Architecture Globale

Le système fusionne les flux d'une caméra RGB et d'une caméra à événements pour reconstruire des images en niveaux de gris à partir des événements, puis les fusionne via un mécanisme de "Prompt" basé sur un hypergraphe.

1. Prétraitement : Le flux d'événements est reconstruit en une image en niveaux de gris (grayscale). Les images RGB et les images reconstruites sont pré-cadrées autour des repères kilométriques et redimensionnées (32x128).
2. Encodage : Les deux modalités sont projetées en séquences de tokens (embeddings) via des couches d'encodage et enrichies par des encodages de position.
3. Fusion par Hypergraphe (Le cœur de la méthode) :
   • Les tokens RGB et les tokens issus de l'encodeur d'événements sont concaténés.
   • Une structure d'hypergraphe est construite en utilisant la méthode des K-plus proches voisins (K-NN) basée sur la distance euclidienne pour capturer les relations d'ordre supérieur entre les modalités.
   • Un réseau de convolution d'hypergraphe (HGCN) à deux couches agrège ces informations.
4. Stratégie de Prompt (Prompting) : Contrairement aux méthodes de fusion classiques, les caractéristiques agrégées de l'hypergraphe sont injectées couche par couche dans le backbone ViT (Vision Transformer) de la branche RGB. Cela permet de guider et de moduler l'extraction de caractéristiques RGB avec les informations contextuelles riches des événements à chaque niveau de profondeur du réseau.
5. Décodage : Un décodeur visio-linguistique (inspiré de PARseq) utilise des permutations de séquences et des masques d'attention pour prédire le texte des repères kilométriques.

3. Contributions Clés

L'article apporte trois contributions majeures :

1. Dataset EvMetro5K : C'est le premier ensemble de données à grande échelle dédié à la reconnaissance de repères kilométriques en métro, fusionnant RGB et événements. Il contient 5 599 paires synchronisées (4 479 pour l'entraînement, 1 120 pour le test), collectées dans des conditions variées (jour/nuit, pluie, vitesse variable).
2. Framework HGP-KMR : Une méthode novatrice utilisant un HyperGraph Prompt sur des modèles de fondation pré-entraînés. Elle permet une fusion multi-modale efficace en exploitant les interactions d'ordre supérieur entre les modalités RGB et événements, surpassant les méthodes de fusion simples (addition, concaténation).
3. Benchmark Complet : Établissement d'une référence rigoureuse en comparant l'approche proposée avec des modèles state-of-the-art (SOTA) comme PARSeq, CDistNet, et MGP-STR, tant sur le nouveau dataset EvMetro5K que sur des benchmarks publics adaptés (WordArt*, IC15*).

4. Résultats Expérimentaux

Les expériences ont été menées sur EvMetro5K, WordArt* et IC15*.

• Sur EvMetro5K : La méthode HGP-KMR atteint une précision de 95,1 %, surpassant le modèle de base PARSeq (91,7 %) de +3,4 % et tous les autres modèles SOTA (le meilleur précédent étant CDistNet à 91,9 %).
• Sur WordArt et IC15 :** L'approche démontre une robustesse supérieure, atteignant 91,5 % sur WordArt* et 92,9 % sur IC15* (avec CDistNet comme backbone), surpassant significativement les méthodes mono-modales et les fusions basiques.
• Études d'ablation :
  • La fusion des modalités (RGB + Image de gris reconstruite) est cruciale (95,1 % vs ~84 % en mono-modalité).
  • L'utilisation de l'HGCN (Hypergraph Convolutional Network) est supérieure aux GNN classiques (GraphSAGE, GAT).
  • La stratégie de Prompt par couches (layer-wise integration) est plus efficace que l'ajout simple ou la concaténation, bien qu'elle réduise légèrement la vitesse d'inférence (89 FPS vs 352 FPS pour l'addition simple), restant acceptable pour des applications temps réel.
• Efficacité des paramètres : La méthode ajoute seulement 0,8 M de paramètres au modèle PARSeq (total 24,2 M), tout en offrant des gains de performance significatifs, ce qui la rend très efficace par rapport aux modèles massifs comme MGP-STR (148 M de paramètres).

5. Signification et Impact

Cet article marque une avancée significative dans le domaine de la perception visuelle pour les transports intelligents :

• Validation de la fusion RGB-Event : Il prouve que l'intégration de caméras à événements avec des modèles de fondation pré-entraînés résout efficacement les problèmes de perception en conditions extrêmes (faible luminosité, mouvement rapide).
• Ressource pour la communauté : La libération du dataset EvMetro5K et du code source comble un vide majeur, permettant à la communauté de recherche de développer et d'évaluer des algorithmes robustes pour la localisation autonome des métros.
• Nouvelle architecture de fusion : La stratégie de "HyperGraph Prompt" offre une nouvelle voie pour l'intégration multi-modale, permettant d'enrichir les représentations de modèles pré-entraînés sans nécessiter un réentraînement complet coûteux, tout en capturant des relations complexes entre les modalités.

En conclusion, cette étude propose une solution robuste et efficace pour la localisation des métros en environnement GNSS-dénié, en combinant l'avantage des capteurs à événements avec la puissance des modèles de fondation modernes.