Rethinking Training & Inference for Forecasting: Linking Winner-Take-All back to GMMs

Technische Samenvatting: Het heroverwegen van Training & Inferentie voor Voorspelling

Probleemstelling
Trajectvoorspelling voor autonoom rijden heeft aanzienlijke vooruitgang geboekt, waarbij veel state-of-the-art modellen meerdere kandidaat-trajecten genereren om de multimodale aard van toekomstig gedrag van agenten te vangen. Deze modellen produceren doorgaans een set van $K$ kandidaten (vaak $K=64$) met bijbehorende waarschijnlijkheden, bedoeld om een conditioneel Gaussian Mixture Model (GMM) te representeren. Echter, er bestaat een kritieke bottleneck: de voorspelde modus-waarschijnlijkheden zijn vaak niet informatief. Modellen kennen vaak lage waarschijnlijkheden toe aan correcte, veelvoorkomende gedragingen of vertonen instabiele waarschijnlijkheden tussen vergelijkbare kandidaten. Dit leidt tot ineffectieve modus-pruning, waarbij standaard selectiemethoden (bijv. greedy selectie van top-$K$ waarschijnlijkheden) er niet in slagen de meest waarschijnlijke toekomstige trajecten te extraheren, wat potentieel kan leiden tot te conservatieve of onveilige planningsgedragingen.

De auteurs identificeren de kernoorzaak als een modellering-training mismatch. Hoewel deze modellen zijn ontworpen om GMM's te representeren, worden ze getraind met een Winner-Take-All (WTA) loss-functie. De WTA-doelstelling wijst elk grondwaarheid-monster toe aan zijn enkelvoudig dichtstbijzijnde voorspelde modus (harde toewijzing) om modus-collaps (waarbij alle modi convergeren naar één enkele voorspelling) te voorkomen. De auteurs stellen dat hoewel WTA succesvol diversiteit stimuleert, deze harde toewijzing het leerdoel fundamenteel verschuift van een probabilistische GMM-schatting naar een K-Means clustering-doelstelling. Deze verschuiving veroorzaakt twee primaire problemen:

1. Over-segmentatie: Een enkele ware gedragsmodus (bijv. "rechts afslaan") wordt gefragmenteerd in meerdere onderscheidende voorspelde modi, die elk een deelverzameling van de data opeisen.
2. Niet-informatieve posteriors: Omdat de waarschijnlijkheidsmassa van een enkele ware gedraging wordt verdeeld over vele gefragmenteerde modi, lijken individuele modus-waarschijnlijkheden laag, wat ze onbetrouwbaar maakt voor rangschikking of selectie.

Methodologie
Het artikel stelt een verenigd perspectief voor waarbij WTA-getrainde voorspellers bekeken worden door de lens van K-Means clustering in plaats van pure GMM's. Op basis van dit inzicht introduceren de auteurs twee lichtgewicht, post-hoc behandelingen die geen hertraining van de basisarchitectuur vereisen:

1. Test-Time Posterior-Weighted Merging:
   In het besef dat WTA leidt tot over-segmentatie, aggregeert deze methode nabijgelegen kandidaat-trajecten. Het hanteert een iteratief proces vergelijkbaar met K-Means clustering:

   • Wijs initiële voorspelde trajecten toe aan de dichtstbijzijnde clustercentra (gebaseerd op de Euclidische afstand van de uiteindelijke waypoints).
   • Herbereken clustercentra met behulp van een gewogen gemiddelde-formule, waarbij gewichten de voorspelde meng-waarschijnlijkheden zijn.
   • Herhaal tot convergentie.
     Dit voegt effectief gefragmenteerde modi samen tot coherente gedragsclusters, waardoor de ware distributiecomponenten worden hersteld.

2. One-Step Expectation-Maximization (EM) Update:
   Om de niet-informatieve waarschijnlijkheden direct aan te pakken, stellen de auteurs voor om de harde labels die tijdens de training worden gebruikt te vervangen door zachte verantwoordelijkheden (soft responsibilities). Dit houdt een enkele EM-stap in die wordt toegepast als een post-processing of fine-tuning stap:

   • E-stap: Bereken zachte verantwoordelijkheden ($w_k$) voor elke modus gegeven de grondwaarheid en de huidige modelparameters, wat effectief de posterieure waarschijnlijkheid $p(k | \mathbf{y}^*)$ berekent.
   • M-stap: Update de meng-gewichten ($\hat{p}_k$) om de likelihood te maximaliseren onder deze zachte toewijzingen.
     Deze stap deelt de waarschijnlijkheidsmassa over naburige modi, corrigeert de "harde" toewijzingsbias en levert meer getrouwe modus-rangschikkingen op.

Belangrijkste Bijdragen

• Theoretische Unificatie: Het artikel biedt een geprincipeerde verklaring die de WTA-trainingsdoelstelling koppelt aan K- Means clustering, wat verheldert waarom WTA-getrainde modellen over-segmentatie en niet-informatieve waarschijnlijkheden vertonen ondanks succesvolle diversiteit.
• Praktische Correcties: De auteurs introduceren twee post-hoc strategieën (merging en one-step EM) die de inferentie-tijd probabilistische aannames afstemmen op de trainingsdoelstellingen. Deze methoden verbeteren de kwaliteit van de modus-posteriors zonder de onderliggende deep learning architecturen te hertrainen.
• Empirische Validatie: De aanpak wordt gevalideerd over drie representatieve WTA-getrainde modellen (Wayformer, MTR-e2e, en EMP) op de NuScenes en Waymo Open Motion (WOMD) datasets.

Resultaten
Experimenten tonen aan dat de voorgestelde behandelingen de forecasting prestaties aanzienlijk verbeteren:

• Merging: Clustering-gebaseerde merging presteert beter dan naïeve greedy selectie en Non-Maximum Suppression (NMS) op displacement-metrieken (minADE, minFDE) en Brier-minFDE. In sommige gevallen (bijv. MTR-e2e) presteert merging zelfs iets beter dan modellen die direct getraind zijn om het uiteindelijke aantal modi ($M=5$) te voorspellen.
• One-Step EM: Het toepassen van de EM-update verbetert de nauwkeurigheid van de greedy en NMS selectiemethoden. Op NuScenes verminderde fine-tuning met one-step EM de Brier-minFDE met wel 29% voor Wayformer en 20% voor MTR-e2e vergeleken met de originele greedy selectie.
• Likelihood Kwaliteit: De negatieve log-likelihood (NLL) van de grondwaarheid verbetert aanzienlijk na de EM-stap, wat aangeeft dat de gecorrigeerde waarschijnlijkheden de werkelijke distributie van de data beter reflecteren. De distributie van minFDE-fouten verschuift naar meer accurate voorspellingen, en de waarschijnlijkheidsmassa concentreert zich effectiever op correcte toekomstige gedragingen.

Betekenis en Claims
Het artikel claimt dat de analyse een "geprincipeerde, praktische correctie" biedt aan een wijdverbreid probleem in motion forecasting. Door de WTA-doelstelling te herformuleren als een K-Means variant, bieden de auteurs een theoretische onderbouwing voor waarom standaard post-hoc selectie faalt en hoe dit te herstellen. De betekenis ligt in het bieden van een manier om trainingsdoelstellingen af te stemmen op inferentie-tijd probabilistische modelleringsaannames zonder de computationele kosten van volledige hertraining of de complexiteit van iteratieve EM-training tijdens de initiële modelontwikkeling. De auteurs suggereren dat beoefenaars clustering-gebaseerde merging moeten gebruiken als er flexibiliteit in het aantal modi vereist is, of one-step EM fine-tuning moeten toepassen als de snelheid van de inferentie prioriteit heeft, om zo een hogere nauwkeurigheid te bereiken dan standaard greedy selectiemethoden.