HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

Il paper presenta HeCoFuse, un framework unificato per la percezione cooperativa V2X che affronta l'eterogeneità dei sensori tramite fusione gerarchica e apprendimento adattivo, ottenendo risultati all'avanguardia sul dataset TUMTraf-V2X e vincendo la sfida DriveX CVPR 2025.

L'essenziale

🚗 Il Problema: Un'Orchestra con Strumenti Diversi

Immagina di dover dirigere un'orchestra per guidare un'auto in modo sicuro. L'obiettivo è che l'auto "veda" tutto ciò che succede intorno, anche dietro gli angoli o attraverso il traffico.

Nella realtà, però, non tutte le auto e i semafori sono uguali:

• Alcune auto costose hanno sia LiDAR (un laser che disegna una mappa 3D precisa come un'eco) che Telecamere (che vedono i colori e i dettagli come noi).
• Altre auto economiche hanno solo la telecamera.
• Alcuni semafori hanno solo il laser, altri solo la telecamera.

Il problema è che i metodi vecchi per far collaborare queste auto funzionavano bene solo se tutti avevano gli stessi strumenti. Se un'auto con solo telecamera cercava di collaborare con un semaforo con solo laser, si creava confusione: era come se un violinista cercasse di suonare in sincrono con un batterista che non ha la batteria. I dati non corrispondevano e il sistema si rompeva.

💡 La Soluzione: HeCoFuse (Il Direttore d'Orchestra Intelligente)

Gli autori di questo studio hanno creato HeCoFuse. Pensatelo come un Direttore d'Orchestra magico e adattivo che sa gestire qualsiasi combinazione di strumenti.

Ecco come funziona, passo dopo passo:

1. Il Traduttore Universale (Adattamento)

Prima di far collaborare le auto, HeCoFuse fa un lavoro di traduzione.

• Se un'auto ha solo la telecamera, il sistema "immagina" una struttura dati simile a quella del laser per poterla confrontare.
• Se un semaforo ha solo il laser, fa lo stesso.
  È come se il direttore d'orchestra dicesse: "Ok, tu suoni il violino e tu il flauto. Non importa che gli strumenti siano diversi, trasformiamo il suono in una lingua comune che tutti capiscono".

2. L'Orecchio Selettivo (Fusione Gerarchica)

Questa è la parte più intelligente. HeCoFuse non mescola tutto alla cieca. Usa due tipi di "attenzione":

• Attenzione ai Canali (Cosa è importante?): Se deve misurare la distanza di un'auto lontana, ascolta di più il Laser (che è preciso). Se deve capire se un pedone sta attraversando la strada, ascolta di più la Telecamera (che vede i colori e i volti).
• Attenzione allo Spazio (Dove è importante?): Se l'auto è in una zona buia o nebbiosa, il sistema sa che la telecamera fatica, quindi dà più peso al laser. Se è in una zona complessa con molti dettagli, dà più peso alla telecamera.
  È come se il direttore dicesse: "In questa parte della canzone, il violino è più importante; in quest'altra, il basso deve prevalere".

3. Il Regolatore di Risoluzione (Risparmio Energetico)

A volte, unire troppi dati rende il sistema lento e pesante. HeCoFuse ha un trucco: se un'auto ha solo una telecamera (che genera molti dati ma meno precisi), il sistema "semplifica" leggermente i dati per non sovraccaricare il computer, mantenendo però le informazioni cruciali. È come se, per un viaggio lungo, decidessimo di non portare tutti i bagagli, ma solo l'essenziale, per viaggiare più veloci.

🏆 I Risultati: La Gara Reale

Gli autori hanno messo alla prova il loro sistema in una gara reale chiamata CVPR 2025 DriveX, usando dati reali raccolti a Monaco di Baviera (TUMTraf-V2X).

• Il Record: HeCoFuse ha vinto la gara (1° posto).
• La Magia: Ha funzionato perfettamente anche quando le auto e i semafori avevano configurazioni diverse (es. un'auto con solo laser e un semaforo con entrambi).
• Il Confronto: Ha battuto i sistemi precedenti di circa l'1,17% in precisione, ma la cosa più importante è che non si è rotto quando gli strumenti mancavano. Ha mantenuto un'ottima visione anche in scenari "misti".

🌟 In Sintesi: Perché è Importante?

Fino a oggi, per avere un'auto a guida autonoma sicura, si pensava che tutte le auto dovessero costare una fortuna e avere tutti i sensori possibili.

HeCoFuse cambia le regole del gioco:
Dimostra che possiamo creare un sistema di guida cooperativa sicuro ed efficiente anche con un mix di auto economiche (solo telecamera) e infrastrutture costose (laser + telecamera). È come dire che non serve che tutti abbiano lo stesso telefono per comunicare: basta che ci sia un traduttore intelligente che sappia mettere in contatto chi ha un iPhone e chi ha un Android.

Grazie a questo sistema, le città del futuro potranno essere più sicure anche se non tutte le auto sono uguali, rendendo la guida autonoma accessibile a tutti, non solo ai ricchi.

Sommario tecnico

1. Il Problema: Eterogeneità dei Sensori nel V2X

I sistemi di percezione cooperativa Vehicle-to-Everything (V2X) mirano ad estendere l'orizzonte percettivo dei veicoli condividendo informazioni tra veicoli e infrastruttura stradale. Tuttavia, le implementazioni reali affrontano una sfida critica: l'eterogeneità delle configurazioni dei sensori.
A causa di vincoli di costo, aggiornamenti hardware incrementali e differenze infrastrutturali, non tutti i nodi (veicoli o infrastrutture) possiedono lo stesso set di sensori. Alcuni potrebbero avere solo LiDAR, altri solo telecamere, e altri ancora entrambi.
Questa variabilità crea tre ostacoli principali:

1. Allineamento asimmetrico: I dati LiDAR e delle telecamere differiscono per risoluzione spaziale, campo visivo e densità informativa, rendendo difficile la fusione diretta.
2. Inconsistenza delle feature: L'assenza di una modalità specifica in alcuni nodi rende le strategie di fusione naive (semplici) subottimali.
3. Robustezza del sistema: Il sistema deve degradare in modo elegante e mantenere prestazioni accettabili anche quando i nodi hanno capacità di sensing parziali o falliscono.

2. Metodologia: Il Framework HeCoFuse

Gli autori propongono HeCoFuse, un framework unificato progettato per gestire nove diverse configurazioni di sensori (combinazioni di LiDAR 'L' e Telecamera 'C' su veicolo e infrastruttura). L'architettura si basa su tre pilastri fondamentali:

A. Estrazione di Feature BEV (Bird's Eye View) Adattiva

Il sistema estrae feature BEV da ciascun nodo utilizzando encoder specifici per la modalità:

• LiDAR: Utilizza una pipeline di voxelizzazione dinamica seguita da convoluzioni sparse 3D per generare rappresentazioni geometriche precise.
• Telecamera: Trasforma le immagini prospettiche in spazio BEV stimando la distribuzione della profondità e proiettando le feature 3D.
• Fusione Intra-nodo: Per i nodi con sensori multipli (es. LC), le feature vengono concatenate e fuse tramite convoluzioni.
• PseudoFusion: Per i nodi con sensori singoli (solo L o solo C), vengono utilizzati adattatori specifici per garantire che le feature in uscita abbiano dimensioni di canale coerenti, permettendo la fusione inter-nodo indipendentemente dalla configurazione di input.

B. Fusione Gerarchica basata sull'Attenzione (HAF)

Il cuore del sistema è un meccanismo di fusione inter-nodo che pesa dinamicamente le feature in base alla qualità del sensore disponibile:

• Attenzione per Canale: Un meccanismo valuta quali canali di feature sono più affidabili (es. privilegiando i canali dominati dal LiDAR per la distanza e quelli della telecamera per l'aspetto).
• Attenzione Spaziale: Genera mappe di attenzione che evidenziano le regioni spaziali dove un sensore specifico è più efficace (es. LiDAR per oggetti distanti, telecamere per regioni visivamente complesse).
• Questo approccio permette di integrare le informazioni complementari in modo granulare, adattandosi alle asimmetrie tra i nodi.

C. Regolazione Adattiva della Risoluzione Spaziale (ASR)

Per bilanciare il costo computazionale e l'efficacia della fusione:

• Le feature vengono sottocampionate (downsampling) in base alla configurazione del sensore (es. risoluzione diversa per nodi solo-camera vs solo-LiDAR).
• Dopo la fusione, viene applicato un upsampling configurazionale che ripristina i dettagli basandosi sulla configurazione più precisa disponibile, riducendo il sovraccarico computazionale del 30-45% nelle configurazioni eterogenee.

D. Strategia di Apprendimento Cooperativo

Invece di addestrare modelli separati per ogni configurazione, HeCoFuse utilizza un approccio unificato. Durante l'addestramento, il modello campiona casualmente le nove configurazioni possibili, imparando strategie di fusione robuste che generalizzano a qualsiasi combinazione di sensori.

3. Risultati Sperimentali

Il metodo è stato valutato sul dataset reale TUMTraf-V2X, che contiene dati sincronizzati da veicoli e infrastrutture in un incrocio urbano di Monaco di Baviera.

• Prestazioni Generali: HeCoFuse ha ottenuto il primo posto nella sfida CVPR 2025 DriveX Challenge (Workshop TUMTraf-V2X).
• Configurazione Completa (LC+LC): Ha raggiunto un 43,22% di 3D mAP, superando il baseline CoopDet3D di 1,17 punti percentuali.
• Configurazione Eterogenea Ottimale (L+LC): Ha raggiunto il picco di prestazioni con 43,38% di 3D mAP, dimostrando che un veicolo con solo LiDAR può beneficiare enormemente dall'infrastruttura dotata di entrambi i sensori.
• Robustezza: Il sistema mantiene prestazioni solide (tra il 21,74% e il 43,38% di 3D mAP) su tutte le nove configurazioni eterogenee testate, dimostrando una capacità di adattamento superiore rispetto ai metodi esistenti.
• Analisi Qualitativa: Le visualizzazioni mostrano una robustezza superiore nelle condizioni notturne, dove il meccanismo di fusione dà priorità alle feature LiDAR (meno sensibili alla luce) pur mantenendo il contesto semantico delle telecamere.

4. Contributi Chiave

1. Primo Framework Unificato: HeCoFuse è il primo sistema progettato esplicitamente per la percezione cooperativa V2X con configurazioni di sensori eterogenee e combinate (fino a 9 scenari diversi).
2. Nuovi Meccanismi di Fusione: Introduzione della Hierarchical Attention Fusion (HAF) e dell'Adaptive Spatial Resolution (ASR) per gestire dinamicamente le differenze di qualità e scala delle feature tra sensori diversi.
3. Validazione SOTA: Dimostrazione empirica di prestazioni state-of-the-art su un dataset reale, confermando l'efficacia dell'approccio in scenari di deployment reali dove l'omogeneità dei sensori non è garantita.

5. Significato e Impatto

Il lavoro di HeCoFuse è significativo perché colma il divario tra le assunzioni di ricerca (spesso basate su sensori omogenei) e la realtà del deployment V2X.

• Scalabilità: Permette di integrare veicoli e infrastrutture con capacità di sensing molto diverse senza richiedere aggiornamenti hardware uniformi.
• Affidabilità: Garantisce che il sistema di percezione cooperativa rimanga funzionale anche in caso di guasti parziali dei sensori o in configurazioni a basso costo.
• Futuro: Apre la strada a sistemi V2X più resilienti che possono adattarsi a condizioni meteorologiche avverse e a scenari urbani complessi, massimizzando l'utilizzo delle risorse sensoriali disponibili.

In sintesi, HeCoFuse rappresenta un passo avanti cruciale verso la realizzazione pratica di sistemi di guida autonoma cooperativa, rendendoli fattibili anche in ambienti con infrastrutture e flotte di veicoli eterogenee.