RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models

Questo lavoro propone un metodo robusto per il riconoscimento dei segnali chilometrici nei metropolitane, basato su modelli fondazionali pre-addestrati e sull'integrazione di dati RGB ed eventi, accompagnato dal rilascio del primo grande dataset sincronizzato EvMetro5K per affrontare le sfide di illuminazione e velocità.

L'essenziale

Immagina di essere un treno della metropolitana che viaggia a tutta velocità. Il tuo compito è sapere esattamente dove ti trovi, anche se non hai il GPS (che sotto terra non funziona). Per farlo, devi leggere i cartelli con i chilometri ("Km 10", "Km 11") che appaiono sui muri del tunnel.

Il problema? I tunnel sono bui, a volte c'è troppa luce quando si esce, e il treno va così veloce che le telecamere normali vedono tutto mosso e sfocato. È come cercare di leggere un libro mentre corri sotto la pioggia: difficile, vero?

Questo articolo scientifico racconta come i ricercatori hanno risolto questo problema usando un "super-potere" visivo. Ecco la spiegazione semplice:

1. Il Problema: Gli Occhi Normali si Confondono

Le telecamere normali (quelle che usiamo nei nostri smartphone, chiamate RGB) sono come gli occhi umani. Se c'è buio o se ti muovi troppo velocemente, vedono male. Nel tunnel della metropolitana, con luci che cambiano e velocità folli, le telecamere normali fanno fatica a leggere i numeri dei chilometri.

2. La Soluzione: Aggiungere un "Super-Occhio"

I ricercatori hanno aggiunto una telecamera speciale chiamata Telecamera ad Eventi.

• L'analogia: Immagina che la telecamera normale sia un fotografo che scatta una foto ogni secondo. Se il treno corre, la foto viene mossa. La telecamera ad eventi, invece, è come un sentinella iper-attiva. Non scatta foto, ma registra solo i cambiamenti: "Oh, qui c'è stato un movimento!", "Qui la luce è cambiata!". È velocissima, non si confonde con il buio o con la luce accecante e consuma pochissima energia.

3. Il Cuore del Sistema: L'Ipertesto Magico (HyperGraph)

Qui entra in gioco la parte più intelligente. I ricercatori non hanno solo messo le due telecamere una accanto all'altra. Hanno creato un sistema che le fa "parlare" tra loro in modo sofisticato.

• L'analogia: Immagina che la telecamera normale (RGB) sia un lettore di libri un po' confuso dalla nebbia. La telecamera ad eventi è un assistente esperto che vede i contorni netti anche nella nebbia.
• Invece di farli lavorare separatamente, hanno creato una rete magica (chiamata HyperGraph). Immagina questa rete come una mappa mentale che collega ogni parola del libro (la telecamera normale) con i suggerimenti dell'assistente (la telecamera ad eventi).
• Questa rete dice al lettore: "Ehi, guarda qui! Anche se vedi solo una macchia sfocata, l'assistente mi dice che lì c'è un '1'". In questo modo, il sistema impara a leggere i numeri anche quando la telecamera normale non ci riesce.

4. Il Nuovo "Libro di Esercizi": EvMetro5K

Per insegnare a questo sistema a leggere, i ricercatori hanno creato il primo grande "libro di esercizi" al mondo fatto apposta per questo scopo, chiamato EvMetro5K.

• Hanno registrato oltre 20 ore di video nei tunnel, con pioggia, sole, buio e velocità diverse.
• Hanno creato 5.599 coppie di immagini: una presa dalla telecamera normale e una ricostruita dalla telecamera ad eventi.
• È come se avessero dato al computer milioni di esempi di "come appare un numero quando piove e il treno corre veloce", così che il computer impari a non sbagliare mai.

5. Il Risultato: Un Super-Lettore

Hanno testato il loro sistema (chiamato HGP-KMR) e i risultati sono stati incredibili:

• Ha letto i chilometri con una precisione del 95,1%, battendo tutti gli altri metodi esistenti.
• È diventato così bravo che, anche se la telecamera normale vedeva solo un'ombra o una macchia, il sistema ha capito il numero grazie all'aiuto della telecamera ad eventi.

In Sintesi

Hanno creato un sistema che combina la vista classica con una vista "super-veloce" e "anti-buio". Usando una rete intelligente che collega i due tipi di visione, hanno insegnato ai treni a leggere i cartelli dei chilometri anche nelle condizioni più difficili, rendendo i viaggi più sicuri e precisi.

È come dare al treno un paio di occhiali speciali che filtrano il caos e gli permettono di vedere chiaramente anche nel buio più totale o nella corsa più veloce.

Sommario tecnico

1. Il Problema: Localizzazione Metro in Ambienti Complessi

Il riconoscimento dei chilometriari (Kilometer Marker Recognition - KMR) è fondamentale per la localizzazione precisa dei treni metropolitani, specialmente in condizioni di assenza di segnale GNSS (es. gallerie sotterranee). Tuttavia, i sistemi di visione basati esclusivamente su telecamere RGB tradizionali falliscono frequentemente a causa di:

• Variazioni di illuminazione: Luci fiocche nelle gallerie o sovraesposizione alla luce solare diretta.
• Movimento ad alta velocità: Che causa motion blur (sfocatura da movimento).
• Condizioni meteorologiche avverse.

Le telecamere RGB hanno un intervallo dinamico limitato (~60 dB) e soffrono di latenza, rendendole inadeguate per catturare dettagli critici in scenari estremi.

2. Metodologia: HGP-KMR

Gli autori propongono HGP-KMR, un framework robusto basato su modelli fondazione pre-addestrati (Pre-trained Foundation Models) che integra dati RGB e dati a eventi (Event Cameras).

A. Architettura del Sistema

1. Input e Pre-elaborazione:

   • Il sistema riceve un frame RGB e un flusso asincrono di eventi.
   • Il flusso di eventi viene ricostruito in un'immagine in scala di grigi (grayscale) utilizzando un algoritmo di ricostruzione events-to-grayscale.
   • Vengono eseguiti ritagli preliminari (pre-cropping) per isolare le regioni contenenti i chilometriari.

2. Backbone e Tokenizzazione:

   • Le immagini RGB e quelle ricostruite dagli eventi vengono proiettate in sequenze di token tramite strati di embedding.
   • Viene utilizzato un backbone basato su Vision Transformer (ViT) (derivato dal modello PARseq) per l'estrazione delle caratteristiche.

3. Modulo di Prompting Ipergrafico (HyperGraph Prompt):

   • Costruzione dell'Ipergrafo: Le feature RGB e quelle degli eventi vengono concatenate e utilizzate per costruire un ipergrafo. I nodi sono rappresentati dai token, mentre gli iperarchi catturano le relazioni ad alto ordine tra le modalità, basandosi sulla distanza euclidea (K-NN).
   • Propagazione delle Feature: Viene applicata una Hypergraph Convolutional Network (HGCN) a due livelli per aggregare le informazioni multi-modali.
   • Fusione Layer-wise: A differenza delle fusioni tradizionali, le feature aggregate dell'ipergrafo vengono iniettate progressivamente in ogni blocco ViT del ramo RGB tramite una strategia di "prompting". Questo guida l'estrazione delle feature RGB, arricchendole con i contesti multi-modali (eventi) a ogni livello della rete, migliorando la robustezza in condizioni rumorose.

4. Decoder Visio-Linguistico:

   • Le feature fuse vengono decodificate utilizzando un decoder Transformer con meccanismi di attenzione e strategie di permutazione (simili a PARseq) per prevedere la sequenza di caratteri del chilometro.

3. Contributi Chiave

1. Dataset EvMetro5K:

   • Il primo dataset su larga scala specifico per il riconoscimento di chilometriari ferroviari basato su RGB-Event.
   • Contiene 5.599 coppie sincronizzate (4.479 per il training, 1.120 per il test).
   • Raccolto in scenari reali con diverse condizioni (giorno/notte, pioggia, sole, diverse velocità) utilizzando una telecamera RGB, una NIR e una telecamera ad eventi (Prophesee EVK4).

2. Framework HGP-KMR:

   • Introduzione di una strategia di HyperGraph Prompt che sfrutta le interazioni ad alto ordine tra modalità RGB ed eventi.
   • Integrazione efficace di modelli fondazione pre-addestrati con dati a eventi, superando i limiti delle sole telecamere RGB.

3. Benchmark Completo:

   • Stabilimento di un nuovo benchmark per il KMR, confrontando il metodo proposto con lo stato dell'arte (SOTA) su EvMetro5K, WordArt* e IC15*.

4. Risultati Sperimentali

• Su EvMetro5K: Il metodo HGP-KMR ha raggiunto un'accuratezza del 95.1%, superando il miglior baseline (PARseq) di +3.4% e tutti gli altri metodi SOTA (es. CDistNet, MGP-STR).
• Su WordArt e IC15:** Il framework ha dimostrato robustezza anche su dataset di testo generico, ottenendo il 91.5% su WordArt* e il 92.9% su IC15* quando basato su CDistNet.
• Analisi di Ablazione:
  • L'uso combinato di RGB e Grayscale (ricostruita da eventi) ha portato a un salto significativo rispetto all'uso di singole modalità (84.2% RGB vs 95.1% Fusione).
  • La strategia di HyperGraph Prompt ha superato metodi di fusione semplici (addizione, concatenazione) e altre architetture GNN (GraphSAGE, GAT).
  • L'integrazione delle feature a ogni layer del ViT ha dimostrato di essere superiore rispetto all'integrazione solo in layer specifici.
• Efficienza: Il modello è efficiente, con soli 24.2M di parametri, mantenendo un'alta velocità di inferenza (89 FPS).

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo per la percezione visiva nei trasporti ferroviari autonomi.

• Superamento dei limiti fisici: Dimostra che l'integrazione di sensori a eventi (che offrono alto intervallo dinamico e risoluzione temporale) con modelli foundation pre-addestrati può risolvere problemi critici di localizzazione in condizioni estreme dove le telecamere tradizionali falliscono.
• Nuovo Standard di Ricerca: La pubblicazione di EvMetro5K fornisce alla comunità scientifica una risorsa fondamentale per lo sviluppo e la valutazione di algoritmi multi-modali in scenari ferroviari reali.
• Innovazione Architetturale: L'uso di Ipergrafi per il prompting nei Transformer apre nuove direzioni per la fusione di dati eterogenei, permettendo di catturare relazioni complesse non lineari tra diverse modalità sensoriali.

In sintesi, il paper propone una soluzione robusta, efficiente e basata su dati reali per un problema di sicurezza critica nell'industria ferroviaria, combinando hardware avanzato (event cameras) con algoritmi di intelligenza artificiale di nuova generazione (Foundation Models + HyperGraphs).