PanguMotion: Continuous Driving Motion Forecasting with Pangu Transformers

1. Il Problema

La previsione del moto (motion forecasting) è un compito fondamentale per la sicurezza dei sistemi di guida autonoma, richiedendo la previsione accurata delle traiettorie future degli agenti circostanti. Tuttavia, le metodologie esistenti presentano due limitazioni principali:

1. Trattamento Discreto: La maggior parte dei metodi attuali tratta le scene di guida come unità indipendenti e isolate, trascurando la continuità temporale e le correlazioni contestuali storiche intrinseche agli ambienti di guida reali.
2. Sottoutilizzo dei Modelli Pre-addestrati: Sebbene esistano framework che modellano scene continue (come RealMotion), il potenziale dei grandi modelli linguistici (LLM) pre-addestrati per migliorare la rappresentazione delle scene in scenari di guida continui è stato poco esplorato.

2. Metodologia

Il paper propone PanguMotion, un framework innovativo che integra un blocco Transformer del modello linguistico su larga scala Pangu-1B all'interno di un'architettura di previsione del moto per la guida autonoma.

Architettura e Flusso di Elaborazione

PanguMotion si basa sul framework RealMotion, ma introduce modifiche strutturali chiave:

• Stream Unico: L'architettura mantiene lo stream di contesto della scena (scene context stream) ma rimuove lo stream delle traiettorie degli agenti (agent trajectory stream), semplificando il modello.
• Modulo di Enhancement Pangu: Dopo l'encoder di base e i blocchi Transformer di interazione della scena, viene inserito un blocco Transformer di Pangu-1B congelato (frozen) come modulo di potenziamento delle caratteristiche.
• Adattamento Dimensionale: Poiché la dimensione nascosta di Pangu (1536) non corrisponde a quella delle feature della scena (128), vengono utilizzati strati di proiezione lineare addestrabili prima e dopo il blocco Pangu per allineare le dimensioni.
• Adattamento del Meccanismo di Attenzione: Vengono rimossi i mask autoregressivi originali di Pangu (usati per la generazione di testo) e mantenuti i mask validi per i token, poiché tutte le token sono disponibili simultaneamente nella previsione del moto. Le codifiche posizionali interne a Pangu vengono rimosse per affidarsi alle informazioni posizionali dell'encoder di base.

Adattamento Hardware

Il paper presenta una soluzione completa di adattamento e training per l'NPU Ascend (Huawei), sostituendo i meccanismi di attenzione specifici per GPU con versioni compatibili con NPU e ottimizzando la pipeline end-to-end per l'inferenza.

3. Contributi Chiave

1. Innovazione Metodologica: È il primo lavoro a integrare con successo un modello Pangu di grandi dimensioni in un framework di previsione del moto continuo, dimostrandone l'efficacia come potenziatore di caratteristiche per compiti di previsione temporale non linguistici.
2. Ottimizzazione Architettonica: Si propone un'architettura semplificata che rimuove lo stream delle traiettorie degli agenti. Gli esperimenti dimostrano che l'aggiunta del blocco Pangu rende questo stream ridondante, permettendo di ottenere prestazioni migliori (specialmente nella previsione a modalità singola) con un modello più leggero.
3. Fattibilità Pratica: Viene fornita un'implementazione completa per l'hardware Ascend NPU, garantendo latenze comparabili alle soluzioni originali pur migliorando la rappresentazione delle caratteristiche.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Argoverse 2, elaborato con la strategia di riorganizzazione dei dati di RealMotion per simulare scenari di guida continui.

• Prestazioni Generali: PanguMotion supera il modello base RealMotion sulle metriche di previsione a modalità singola (k=1), che sono cruciali per il processo decisionale:
  • Miglioramento del 1.58% su minADE1.
  • Miglioramento del 1.29% su minFDE1.
• Confronto con LLM: Rispetto all'uso di modelli LLaMA (LlamaMotion), Pangu-1B mostra prestazioni superiori, suggerendo che l'addestramento su grandi corpora cinesi potrebbe offrire una migliore comprensione delle relazioni spaziali e dei pattern temporali.
• Studi di Ablazione:
  • Livello Ottimale: L'uso dell'ultimo strato Transformer (layer 25) di Pangu offre le migliori prestazioni, validando l'ipotesi di "filtraggio delle informazioni" (le layer superiori contengono informazioni semantiche più ricche). L'uso di più layer riduce le prestazioni.
  • Posizionamento: L'inserimento nella layer finale è superiore rispetto alle layer intermedie o iniziali.
  • Rimozione dello Stream Agenti: Rimuovere lo stream delle traiettorie degli agenti dopo l'aggiunta di Pangu migliora ulteriormente le metriche a modalità singola, indicando una ridondanza funzionale tra i due componenti.

5. Significato e Impatto

• Generalizzazione degli LLM: Il lavoro valida la capacità dei grandi modelli linguistici di generalizzare a compiti sequenziali non linguistici, come la previsione del moto, agendo come potenti estrattori di caratteristiche spaziali e temporali.
• Efficienza nei Sistemi Autonomi: La semplificazione architetturale (rimozione dello stream degli agenti) riduce la complessità computazionale senza sacrificare l'accuratezza, un fattore critico per i sistemi in tempo reale.
• Supporto Hardware Nazionale: La completa adattamento all'NPU Ascend fornisce un riferimento tecnico importante per l'implementazione di modelli di guida autonoma su hardware cinese, promuovendo l'ecosistema locale.
• Open Source: Il codice completo è stato reso disponibile su GitHub, stabilendo un nuovo baseline per la ricerca futura nel campo della guida autonoma continua.

In sintesi, PanguMotion dimostra che l'integrazione mirata di blocchi Transformer di grandi modelli linguistici congelati può migliorare significativamente la previsione del moto in scenari continui, offrendo al contempo un percorso per architetture più efficienti e deployabili su hardware specializzato.