Unveiling Transferability in Trajectory Prediction via Latent Scene Embeddings

Technische Samenvatting: Het onthullen van transfereerbaarheid in trajectvoorspelling via latente scène-embeddings

Probleemdefinitie
Het artikel behandelt de uitdaging van het generaliseren van trajectvoorspellingsmodellen over verschillende datasets heen. Hoewel deep learning de bewegingsvoorspelling heeft geavanceerd, falen modellen die op één dataset zijn getraind vaak bij generalisatie naar andere datasets vanwege significante verschillen in scène-indelingen, agentgedrag, sensormodaliteiten (bijv. camera versus drone) en kaartstructuren. Hoewel grote fundamentele modellen (foundation models) suggereren dat het samenvoegen van diverse data bruikbare representaties kan opleveren, vereisen praktische beperkingen (latentie, rekenkracht) en het risico op prestatievermindering door kwalitatief minder goede of irrelevante data een meer selectieve aanpak. Het kernprobleem is bepalen welke datasets geschikt zijn voor pretraining of adaptatie voor een specifieke doel-domein zonder uitputtend trial-and-error experimenteren.

Methodologie
De auteurs stellen een raamwerk voor dat een gedeelde latente ruimte leert om trajectdatasets te karakteriseren en hun transfereerbaarheid te kwantificeren.

1. Latente Embedding Model:

   • Architectuur: Een diepe encoder-decoder model wordt gezamenlijk getraind op alle 24 datasets. De encoder brengt inputkenmerken (agenttoestanden en optionele kaartgegevens) in kaart naar node-niveau latente variabelen met behulp van Graph-Gated Recurrent Units (Graph-GRUs).
   • Trainingsdoelstellingen: Het model wordt geoptimaliseerd met twee complementaire taken: het reconstrueren van geobserveerde inputkenmerken en het voorspellen van toekomstige toestanden. Dit zorgt ervoor dat de latente ruimte zowel structurele datagegevens als relevante voorspellingsdynamiek vastlegt.
   • Regularisatie: Latente variabelen worden beperkt tot het oppervlak van een eenheidssfeer om vergelijkbaarheid te stimuleren en degeneratieve oplossingen te voorkomen.
   • Aggregatie: Node-niveau embeddings worden geaggregeerd naar scène-niveau statistieken (gemiddelde en covariantie). Deze worden verder geaggregeerd om een dataset-niveau distributie te definiëren, gemodelleerd als een multivariate Gaussische distributie gekenmerkt door een gemiddelde vector en een covariantie-matrix (geregulariseerd via low-rank benadering en jitter om numerieke stabiliteit te garanderen).

2. Transfereerbaarheidsmetriek:

   • Transfereerbaarheid tussen een bron-dataset $D_i$ en een doel-dataset $D_j$ wordt gekwantificeerd met behulp van de Kullback–Leibler (KL) divergentie tussen hun respectieve Gaussische distributies in de latente ruimte: $D_{KL}(D_i \| D_j)$.
   • Deze metriek is directioneel (asymmetrisch), wat de vaststelling ondersteunt dat een bron-dataset een doel goed kan benaderen, terwijl het omgekeerde niet noodzakelijkerwijs waar is.

3. Evaluatieprotocol:

   • Het raamwerk werd geëvalueerd over 24 diverse traject-datasets (dekkend voor voetgangers, voertuigen en gemengd verkeer; verzameld via camera's, drones en geïnstrumenteerde voertuigen).
   • Zero-Shot Transfer: Een baseline voorspeller (QCNet) werd getraind op één dataset en geëvalueerd op andere zonder adaptatie.
   • Fine-Tuning: Modellen die zijn voorgetraind op bron-datasets werden gefinetuned op doel-datasets om de kwaliteit van adaptatie en catastrofaal vergeten te beoordelen.
   • Correlatieanalyse: De KL-divergentie scores werden gecorreleerd met werkelijke prestatie-metrieken (minADE6) om de voorspellende kracht van de latente afstanden te valideren.

Belangrijkste Bijdragen

1. Dataset-niveau Representatieleer: De introductie van een latent embedding raamwerk dat trajectdatasets modelleert als distributies in een gedeelde ruimte, wat vergelijking mogelijk maakt op basis van distributionele geometrie in plaats van oppervlakkige statistieken.
2. Directionele Probabilistische Maatstaf: Een voorstel voor een op KL-divergentie gebaseerde metriek om de asymmetrische transfer-succes te vangen, waarbij wordt aangetoond dat latente afstanden zowel zero-shot als fine-tuned prestaties voorspellen.
3. Grootschalige Systematische Studie: Een uitgebreide evaluatie die 24 diverse datasets en 552 transfer-paren omvat. Deze studie identificeert onderbenutte datasets die de prestaties op standaard benchmarks verbeteren en onthult structurele relaties (bijv. tussen door drones verkregen data en door geïnstrumenteerde voertuigen verkregen data) die niet direct zichtbaar zijn uit metadata alleen.

Resultaten

• Correlatie met Prestaties: De studie vond een sterke positieve correlatie ($\rho = 0.811$) tussen de KL-divergentie en de zero-shot transfer prestaties (minADE6). Hogere divergentie voorspelde consistent slechtere transfer.
• Fine-Tuning en Vergeten: De latente afstand voorspelde ook de mate van catastrofaal vergeten tijdens fine-tuning. Kleinere divergenties correleerden met betere adaptatie en minder verlies van bronkennis.
• Gaussische Approximatie: De KL-divergentie presteerde consequent beter dan alternatieve gelijkenis-maten (L1, Wasserstein, MMD) bij het voorspellen van transfereerbaarheid, wat de Gaussische modelleringsaanname empirisch rechtvaardigt.
• Latente Dimensionaliteit: Een ablatie-studie toonde aan dat een latente dimensie van $L=32$ de optimale balans bood voor zero-shot voorspelling, terwijl grotere dimensies ($L=128$) afnemende meeropbrengsten of overfitting-trends vertoonden voor bepaalde taken.
• Dataset Relaties: De latente ruimte onthulde dat datasets zoals WOMD, Argoverse en nuScenes onderscheidende clusters vormen, met specifieke asymmetrische relaties (bijv. WOMD transfeert goed naar nuScenes, maar niet andersom). Het benadrukte ook dat door drones verkregen datasets (bijv. inD, INTERACTION) een significante latente gelijkenis delen met door geïnstrumenteerde voertuigen verkregen datasets, wat wijst op potentieel voor cross-domein transfer.

Betekenis
Het artikel claimt een praktisch, datagedreven mechanisme te bieden voor datasetselectie in bewegingsvoorspelling. Door transfereerbaarheid te kwantificeren via geleerde latente distributionele geometrie, stelt het raamwerk onderzoekers in staat om:

• De cross-dataset generalisatieprestaties te voorspellen zonder modellen op elke mogelijke bron-doel paar te trainen.
• Optimale pretraining-bronnen te selecteren voor nieuwe doel-domeinen.
• Onderbenutte datasets te identificeren die de prestaties op populaire benchmarks kunnen verbeteren.
• Te bewegen naar robuustere en meer generaliseerbare voorspellende systemen door het begrijpen van de structurele relaties tussen databronnen in plaats van enkel te vertrouwen op domeinspecifieke kenmerken.

Het werk concludeert dat transfereerbaarheid in trajectvoorspelling voorspeld kan worden via geleerde latente representaties, wat een fundament biedt voor een efficiëntere ontwikkeling van fundamentele modellen en transfer learning strategieën in autonoom rijden en robotica.