🤖 machine learning

Rethinking Training & Inference for Forecasting: Linking Winner-Take-All back to GMMs

Diese Arbeit identifiziert eine Modellierungs-Trainings-Diskrepanz bei der Trajektorienvorhersage für autonomes Fahren, bei der Winner-Take-All-Verlustfunktionen auf Gaußsche Mischmodelle uninformative Posterior-Verteilungen verursachen, und schlägt leichtgewichtige Post-hoc-Inferenzkorrekturen vor – spezifisch das posterior-gewichtete Verschmelzen und ein Ein-Schritt-EM-Update –, um weiche Modenzuweisungen wiederherzustellen und die Vorhersagegenauigkeit ohne erneutes Training zu verbessern.

Ursprüngliche Autoren: Qiyuan Wu, Katie Z Luo, Bharath Hariharan, Wei-Lun Chao, Mark Campbell

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qiyuan Wu, Katie Z Luo, Bharath Hariharan, Wei-Lun Chao, Mark Campbell

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wohin ein Fußgänger oder ein Auto als Nächstes fahren wird, an einer belebten Kreuzung. Sie wissen, dass sie vielleicht links abbiegen, rechts abbiegen oder geradeaus fahren könnten. Um sicher zu sein, muss ein selbstfahrendes Auto auf all diese Möglichkeiten vorbereitet sein.

Diese Arbeit befasst sich mit einem spezifischen Problem der Art und Weise, wie Computer derzeit lernen, solche Vorhersagen zu treffen. Sie argumentiert, dass Computer zwar gut darin sind, die richtigen Pfade zu finden, aber schrecklich darin, sie nach ihrer Wahrscheinlichkeit zu ranken.

Hier ist die Aufschlüsselung der Geschichte des Papers, unter Verwendung einfacher Analogien:

Das Problem: Die „Beste-Vermutung“-Falle

Die meisten modernen Modelle für selbstfahrende Autos versuchen, 64 verschiedene mögliche Pfade (Modi) vorherzusagen. Sie sollen wie ein Wettervorhersager agieren, der sagt: „Es gibt eine 60%ige Chance auf Regen, eine 30%ige Chance auf Sonne und eine 10%ige Chance auf Schnee.“

Das Paper fand jedoch heraus, dass diese Modelle mit einer Methode trainiert werden, die „Winner-Take-All“ (WTA) genannt wird.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einen Schüler bewertet, der 64 verschiedene Karten einer Stadt gezeichnet hat. Der Lehrer schaut sich nur eine Karte an, die der echten Stadt am nächsten kommt, und sagt: „Gut gemacht, diese hier ist richtig!“ Der Lehrer ignoriert die anderen 63 Karten komplett.
Das Ergebnis: Der Schüler (die KI) lernt, 64 verschiedene Karten zu zeichnen, die sich alle leicht voneinander unterscheiden, aber er hat keine Vorstellung davon, welche davon tatsächlich die wahrscheinlichste ist. Er behandelt alle 64 Karten so, als wären sie gleich wichtig, oder er ist verwirrt darüber, wer der „Gewinner“ ist.

Die Ursache: Clustering vs. Wahrscheinlichkeit

Die Autoren entdeckten, dass diese „Winner-Take-All“-Trainingsmethode die KI versehentlich in eine K-Means-Clustering-Maschine statt in eine Wahrscheinlichkeits-Maschine verwandelt.

Die Analogie: Stellen Sie sich vor, Sie haben ein Glas voller roter, blauer und grüner Murmeln.
- Was wir wollen (Wahrscheinlichkeit): Die KI sollte sagen: „Dieses Glas ist zu 50 % rot, zu 30 % blau und zu 20 % grün.“
- Was die KI tut (K-Means): Die KI bekommt den Auftrag, die Murmeln in Haufen zu sortieren. Da sie gezwungen ist, für jede einzelne Murmel einen „Gewinner“ zu wählen, endet sie damit, den „Roten“-Haufen in 20 winzige, separate rote Haufen aufzuspalten, nur um sicherzustellen, dass jede einzelne Murmel einen eigenen Haufen hat.
- Die Konsequenz: Anstatt eines großen, wahrscheinlichen „Roten“ Haufens mit einer hohen Wahrscheinlichkeit, haben Sie nun 20 winzige, verwirrende „Rote“ Haufen. Wenn Sie die KI fragen: „Wie hoch ist die Chance auf Rot?“, schaut sie auf einen winzigen Haufen und sagt: „Sehr gering!“, obwohl Rot eigentlich die häufigste Farbe ist.

Dies nennt man Übersegmentierung. Die KI zerlegt eine große, wahrscheinliche Zukunft (wie „rechts abbiegen“) in viele winzige, unwahrscheinliche Fragmente.

Die Lösung: Zwei „Post-it-Notiz“-Fixes

Die Autoren schlagen zwei Wege vor, um dies zu beheben, ohne die KI komplett neu trainieren zu müssen (was teuer und langsam wäre). Betrachten Sie dies als „Post-Processing“-Schritte, die Sie durchführen, nachdem die KI ihre Arbeit bereits erledigt hat.

Fix 1: Die „Gruppenumarmung“ (Test-Time Merging)

Da die KI eine große Idee in viele winzige Fragmente zerlegt hat, können wir diese einfach wieder zusammenkleben.

Wie es funktioniert: Wenn die KI 64 Pfade ausgibt, schauen wir uns diese an und sagen: „Hey, diese 10 Pfade versuchen alle, zum selben Ort zu führen.“ Wir führen sie zu einem einzigen, starken Pfad zusammen.
Das Ergebnis: Statt 10 schwacher Signale erhalten Sie ein einzelnes, starkes, klares Signal. Dies macht die endgültige Vorhersage viel genauer.

Fix 2: Der „Realitätscheck“ (One-Step EM Update)

Die KI ist schlecht darin, Wahrscheinlichkeiten zuzuweisen, weil sie darauf trainiert wurde, sich nur um den „Gewinner“ zu kümre. Dieser Fix gibt der KI einen schnellen „Realitätscheck“, kurz bevor sie ihre endgültige Entscheidung trifft.

Wie es funktioniert: Wir nehmen die 64 Pfade der KI und führen eine schnelle mathematische Berechnung (genannt Expectation-Maximization) durch, die fragt: „Wenn wir uns alle 64 Pfade gemeinsam ansehen, wie viel Wahrscheinlichkeitsmasse sollte jeder einzelne davon tatsächlich erhalten?“
Das Ergebnis: Es werden die „Stimmen“ neu verteilt. Wenn 10 Pfade alle versuchen, nach rechts abzubiegen, erkennt die Mathematik, dass sie alle Teil der Gruppe „Rechts abbiegen“ sind, und weist dieser Gruppe eine hohe Wahrscheinlichkeit zu, anstatt die Punktzahl dünn über 10 winzige Gruppen zu verteilen.

Das Fazit

Das Paper zeigt, dass wir durch diese zwei einfachen Tricks (das Zusammenführen ähnlicher Pfade oder das Durchführen eines schnellen Wahrscheinlichkeitschecks) selbstfahrende Autos viel besser darin machen können, zu verstehen, welche Zukunft am wahrscheinlichsten ist, ohne die komplexen KI-Modelle neu trainieren zu müssen.

Vorher: Die KI sieht 64 Pfade, ist verwirrt darüber, welcher der beste ist, und wählt möglicherweise einen falschen aus, weil ihre Wahrscheinlichkeitswerte chaotisch sind.
Nachher: Die KI sieht immer noch 64 Pfade, aber wir räumen das Chaos auf, gruppieren die ähnlichen Pfade und erhalten eine klare, genaue Rangfolge der wahrscheinlichsten Zukünfte.

Die Autoren haben dies mit realen Fahrdaten (NuScenes- und Waymo-Datensätze) getestet und festgestellt, dass diese einfachen Korrekturen die Genauigkeit der Vorhersagen signifikant verbessert haben.

Technische Zusammenfassung: Überdenken von Training und Inferenz für die Vorhersage

Problemstellung
Die Trajektorienvorhersage für das autonome Fahren hat sich signifikant weiterentwickelt, wobei viele State-of-the-Art-Modelle mehrere Kandidatentrajektorien generieren, um die multimodale Natur des zukünftigen Agentenverhaltens zu erfassen. Diese Modelle geben typischerweise einen Satz von $K$ Kandidaten (oft $K=64$ ) mit zugehörigen Wahrscheinlichkeiten aus, die dazu bestimmt sind, ein bedingtes Gaußsches Mischmodell (Gaussian Mixture Model, GMM) darzustellen. Es besteht jedoch ein kritischer Engpass: Die vorhergesagten Modus-Wahrscheinlichkeiten sind oft wenig aussagekräftig. Modelle weisen häufig geringe Likelihoods für korrekte, häufig vorkommende Verhaltensweisen zu oder zeigen instabile Wahrscheinlichkeiten unter ähnlichen Kandidaten. Dies führt zu einer ineffektiven Modus-Pruning-Strategie, bei der Standard-Selektionsmethoden (z. B. die gierige Auswahl der Top- $K$ -Wahrscheinlichkeiten) daran scheitern, die wahrscheinlichsten zukünftigen Trajektorien abzurufen, was potenziell zu übermäßig konservativen oder unsicheren Planungsverhalten führen kann.

Die Autoren identifizieren die Ursache als eine Modellierungs-Trainings-Diskrepanz. Obwohl diese Modelle darauf ausgelegt sind, GMMs darzustellen, werden sie unter Verwendung einer Winner-Take-All (WTA)-Loss-Funktion trainiert. Das WTA-Ziel weist jedes Ground-Truth-Sample seinem jeweils nächsten vorhergesagten Modus zu (Hard-Assignment), um Mode Collapse zu verhindern (bei dem alle Modi zu einer einzigen Vorhersage konvergieren). Die Autoren argumentieren, dass WTA zwar erfolgreich Diversität fördert, dieses Hard-Assignment jedoch das Lernziel grundlegend von einer probabilistischen GMM-Schätzung hin zu einem K-Means-Clustering-Ziel verschiebt. Dieser Wechsel verursacht zwei primäre Probleme:

Übersegmentierung: Ein einzlicher wahrer Verhaltensmodus (z. B. „rechts abbiegen“) wird in mehrere distinkte vorhergesagte Modi fragmentiert, von denen jeder einen Teil der Daten beansprucht.
Uninformative Posteriori-Verteilungen: Da die Wahrscheinlichkeitsmasse eines einzelnen wahren Verhaltens über viele fragmentierte Modi aufgeteilt wird, erscheinen die individuellen Modus-Wahrscheinlichkeiten gering, was sie für das Ranking oder die Selektion unzuverlässig macht.

Methodik
Das Paper schlägt eine vereinheitlichte Perspektive vor, die WTA-trainierte Forecaster durch die Linse des K-Means-Clusterings statt reiner GMMs betrachtet. Basierend auf dieser Erkenntnis führen die Autoren zwei leichtgewichtige Post-hoc-Behandlungen ein, die keine Neukalibrierung der Basisarchitektur erfordern:

Test-Zeit-Posteriori-Gewichtetes Merging:
In Anerkennung dessen, dass WTA zu Übersegmentierung führt, aggregiert diese Methode benachbarte Kandidatentrajektorien. Sie verwendet einen iterativen Prozess, der dem K-Means-Clustering ähnelt:
- Ordnen die initialen vorhergesagten Trajektorien den nächsten Clusterzentren zu (basierend auf der euklidischen Distanz der finalen Wegpunkte).
- Berechnen die Clusterzentren unter Verwendung einer gewichteten Mittelwertformel neu, wobei die Gewichte die vorhergesagten Mischwahrscheinlichkeiten sind.
- Wiederholen des Vorgangs bis zur Konvergenz.
  Dies führt effektiv fragmentierte Modi zu kohärenten Verhaltensclustern zusammen und stellt die wahren Verteilungskomponenten wieder her.
Ein-Schritt-Expectation-Maximization (EM) Update:
Um die uninformativen Wahrscheinlichkeiten direkt anzugehen, schlagen die Autoren vor, die während des Trainings verwendeten Hard-Labels durch Soft-Responsibilities zu ersetzen. Dies beinhaltet einen einzelnen EM-Schritt, der als Post-Processing oder Fine-Tuning angewendet wird:
- E-Schritt: Berechnen der Soft-Responsibilities ( $w_k$ ) für jeden Modus gegeben die Ground Truth und die aktuellen Modellparameter, was effektiv die Posterior-Wahrscheinlichkeit $p(k | \mathbf{y}^*)$ berechnet.
- M-Schritt: Aktualisierung der Mischgewichte ( $\hat{p}_k$ ), um die Likelihood unter diesen Soft-Assignments zu maximieren.
  Dieser Schritt teilt die Wahrscheinlichkeitsmasse über benachbarte Modi auf, korrigiert den „Hard“-Assignment-Bias und liefert zuverlässigere Modus-Rankings.

Wesentliche Beiträge

Theoretische Vereinheitlichung: Das Paper liefert eine fundierte Erklärung, die das WTA-Trainingsziel mit dem K-Means-Clustering verknüpft und klärt, warum WTA-trainierte Modelle trotz erfolgreicher Diversität eine Übersegmentierung und uninformative Wahrscheinlichkeiten aufweisen.
Praktische Korrekturen: Die Autoren führen zwei Post-hoc-Strategien (Merging und Ein-Schritt-EM) ein, die die probabilistischen Annahmen zur Inferenzzeit mit den Trainingszielen in Einklang bringen. Diese Methoden verbessern die Qualität der Modus-Posteriori-Verteilungen, ohne die zugrunde liegenden Deep-Learning-Architekturen neu trainieren zu müssen.
Empirische Validierung: Der Ansatz wird über drei repräsentative WTA-trainierte Modelle (Wayformer, MTR-e2e und EMP) auf den Datensätzen NuScenes und Waymo Open Motion (WOMD) validiert.

Ergebnisse
Experimente zeigen, dass die vorgeschlagenen Behandlungen die Forecasting-Leistung signifikant verbessern:

Merging: Clustering-basiertes Merging übertrifft die naive gierige Auswahl und Non-Maximum Suppression (NMS) bei Displacements-Metriken (minADE, minFDE) und Brier-minFDE. In einigen Fällen (z. B. MTR-e2e) übertrifft Merging sogar Modelle, die direkt darauf trainiert wurden, die endgültige Anzahl der Modi ( $M=5$ ) vorherzusagen.
Ein-Schritt-EM: Die Anwendung des EM-Updates verbessert die Genauigkeit von gieriger Auswahl und NMS. Auf NuScenes reduzierte das Fine-Tuning mit dem Ein-Schritt-EM den Brier-minFDE für Wayformer um bis zu 29 % und für MTR-e2e um 20 % im Vergleich zur ursprünglichen gierigen Auswahl.
Likelihood-Qualität: Die Negative Log-Likelihood (NLL) der Ground Truth verbessert sich nach dem EM-Schritt signifikant, was darauf hindeutet, dass die korrigierten Wahrscheinlichkeiten die wahre Verteilung der Daten besser widerspiegeln. Die Verteilung der minFDE-Fehler verschiebt sich hin zu genaueren Vorhersagen, und die Wahrscheinlichkeitsmasse konzentriert sich effektiver auf korrekte zukünftige Verhaltensweisen.

Bedeutung und Ansprüche
Das Paper behauptet, dass seine Analyse eine „fundierte, praktische Korrektur“ zu einem weit verbreiteten Problem in der Bewegungsvorhersage bietet. Durch die Umformulierung des WTA-Ziels als K-Means-Variante liefern die Autoren eine theoretische Begründung dafür, warum die Standard-Post-hoc-Selektion scheitert und wie man sie behebt. Die Bedeutung liegt darin, einen Weg aufzuzeigen, die Trainingsziele mit den probabilistischen Modellannahmen zur Inferenzzeit in Einklang zu bringen, ohne den Rechenaufwand eines vollständigen Retrainings oder die Komplexität eines iterativen EM-Trainings während der ursprünglichen Modellentwicklung zu tragen. Die Autoren legen nahe, dass Praktiker Clustering-basiertes Merging verwenden sollten, wenn Flexibilität in der Modus-Anzahl erforderlich ist, oder das Ein-Schritt-EM-Fine-Tuning anwenden sollten, wenn die Inferenzgeschwindigkeit Priorität hat, um so eine höhere Genauigkeit als mit Standard-Greedy-Selektionsmethoden zu erreichen.