Unveiling Transferability in Trajectory Prediction via Latent Scene Embeddings

Sintesi Tecnica: Svelare la Trasferibilità nella Predizione delle Traiettorie tramite Embedding Latenti di Scena

Definizione del Problema
Il paper affronta la sfida della generalizzazione dei modelli di predizione delle traiettorie tra diversi dataset. Sebbene il deep learning abbia fatto passi avanti nella predizione del movimento, i modelli addestrati su un dataset spesso falliscono nel generalizzare ad altri a causa di significative disparità nelle configurazioni delle scene, nei comportamenti degli agenti, nelle modalità di rilevamento (ad esempio, telecamera vs. drone) e nelle strutture delle mappe. Sebbene i grandi modelli di fondazione suggeriscano che l'aggregazione di dati diversificati possa produrre rappresentazioni trasferibili, i vincoli pratici (latenza, calcolo) e il rischio di degradazione delle prestazioni dovuto a dati di bassa qualità o irrilevanti richiedono un approccio più selettivo. Il problema centrale è determinare quali dataset siano adatti per il pre-addestramento o l'adattamento per un determinato dominio target senza ricorrere a estenuanti sperimentazioni basate sul trial-and-error.

Metodologia
Gli autori propongono un framework che apprende uno spazio latente condiviso per caratterizzare i dataset di traiettorie e quantificare la loro trasferibilità.

1. Modello di Embedding Latente:

   • Architettura: Un modello encoder-decoder profondo viene addestrato congiuntamente su 24 dataset. L'encoder mappa le caratteristiche di input (stati degli agenti e dati di mappa opzionali) in variabili latenti a livello di nodo utilizzando Graph-Gated Recurrent Units (Graph-GRUs).
   • Obiettivi di Addestramento: Il modello è ottimizzato utilizzando due compiti complementari: ricostruire le caratteristiche di input osservate e prevedere gli stati futuri. Ciò assicura che lo spazio latente catturi sia le proprietà strutturali dei dati sia la dinamica di predizione rilevante.
   • Regolarizzazione: Le variabili latenti sono vincolate sulla superficie di una sfera unitaria per incoraggiare la comparabilità e prevenire soluzioni degenerate.
   • Aggregazione: Gli embedding a livello di nodo vengono aggregati in statistiche a livello di scena (media e covarianza). Questi sono ulteriormente aggregati per definire la distribuzione a livello di dataset, modellata come una Gaussiana multivariata caratterizzata da un vettore medio e una matrice di covarianza (regolarizzata tramite approssimazione low-rank e jitter per garantire la stabilità numerica).

2. Metrica di Trasferibilità:

   • La trasferibilità tra un dataset sorgente $D_i$ e un dataset target $D_j$ è quantificata utilizzando la divergenza di Kullback–Leibler (KL) tra le rispettive distribuzioni Gaussiane nello spazio latente: $D_{KL}(D_i \| D_j)$.
   • Questa metrica è direzionale (asimmetrica), catturando il fatto che un dataset sorgente potrebbe approssimare bene un target, mentre il contrario non è necessariamente vero.

3. Protocollo di Valutazione:

   • Il framework è stato valutato su 24 diversi dataset (che coprono pedoni, veicoli e traffico misto; raccolti tramite telecamere, droni e veicoli strumentati).
   • Zero-Shot Transfer: Un predittore baseline (QCNet) è stato addestrato su un dataset ed è stato valutato su altri senza adattamento.
   • Fine-Tuning: Modelli pre-addestrati su dataset sorgente sono stati sottoposti a fine-tuning su dataset target per valutare la qualità dell'adattamento e l'oblio catastrofico.
   • Analisi di Correlazione: I punteggi della divergenza KL sono stati correlati con le metriche di performance effettive (minADE6) per validare il potere predittivo delle distanze latenti.

Contributi Chiave

1. Apprendimento di Rappresentazione a Livello di Dataset: L'introduzione di un framework di embedding latente che modella i dataset di traiettorie come distribuzioni in uno spazio condiviso, consentendo il confronto basato sulla geometria distributiva piuttosto che sulle statistiche superficiali.
2. Misura Probabilistica Direzionale: Una proposta di metrica basata sulla divergenza KL per catturare il successo del trasferimento asimmetrico, dimostrando che le distanze latenti predicono sia il trasferimento zero-shot che quello a fine-tuning.
3. Studio Sistematico su Larga Scala: Una valutazione completa che coinvolge 24 dataset e 552 coppie di trasferimento. Questo studio identifica dataset sottoutilizzati che migliorano le prestazioni sui benchmark standard e rivela relazioni strutturali (ad esempio, tra dataset acquisiti da droni e da veicoli strumentati) che non sono apparenti solo dai metadati.

Risultati

• Correlazione con le Prestazioni: Lo studio ha trovato una forte correlazione positiva ($\rho = 0.811$) tra la divergenza KL e la performance di trasferimento zero-shot (minADE6). Una divergenza maggiore ha costantemente predetto una peggiore capacità di trasferimento.
• Fine-Tuning e Oblio: La distanza latente ha anche predetto il grado di oblio catastrofico durante il fine-tuning. Divergenze minori sono correlate a un migliore adattamento e a una minore perdita di conoscenza della sorgente.
• Approssimazione Gaussiana: La divergenza KL ha costantemente superato le misure di similarità alternative (L1, Wasserstein, MMD) nel predire la trasferibilità, giustificando empiricamente l'assunto della modellazione Gaussiana.
• Dimensionalità Latente: Uno studio di ablazione ha mostrato che una dimensione latente di $L=32$ forniva il bilanciamento ottimale per la predizione zero-shot, mentre dimensioni maggiori ($L=128$) mostravano rendimenti decrescenti o tendenze all'overfitting per certi compiti.
• Relazioni tra Dataset: Lo spazio latente ha rivelato che dataset come WOMD, Argoverse e nuScenes formano cluster distinti, con specifiche relazioni asimmetriche (ad esempio, WOMD si trasferisce bene a nuScenes, ma non viceversa). Ha inoltre evidenziato come i dataset acquisiti da droni (ad esempio, inD, INTERACTION) condividano una significativa similarità latente con i dataset di veicoli strumentati, suggerendo un potenziale di trasferimento cross-domain.

Significatività
Il paper sostiene di fornire un meccanismo pratico e basato sui dati per la selezione dei dataset nella predizione del movimento. Quantificando la trasferibilità attraverso la geometria distributiva latente, il framework permette ai ricercatori di:

• Predire la performance di generalizzazione cross-dataset senza addestrare modelli su ogni possibile coppia sorgente-target.
• Selezionare le sorgenti di pre-addestramento ottimali per nuovi domini target.
• Identificare dataset sottoutilizzati che possono migliorare le prestazioni su popolari benchmark.
• Muoversi verso sistemi predittivi più robusti e generalizzabili comprendendo le relazioni strutturali tra le fonti di dati piuttosto che affidarsi esclusivamente a indizi specifici del dominio.

Il lavoro conclude che la trasferibilità nella predizione delle traiettorie può essere predetta tramite rappresentazioni latenti apprese, offrendo una base per lo sviluppo più efficiente di modelli di fondazione e strategie di transfer learning nell'automazione e nella robotica.