🤖 machine learning

Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling

Das Papier stellt U2Diffine vor, ein einheitliches Diffusionsmodell, das gleichzeitig die Mehr-Agenten-Trajektorien-Vervollständigung und -Vorhersage durchführt und dabei zustandsabhängige heteroskedastische Unsicherheitsschätzungen sowie Fehlerwahrscheinlichkeits-Rankings für generierte Modi bereitstellt und dabei die fortschrittlichsten Methoden auf vier Sportdatensätzen übertrifft.

Ursprüngliche Autoren: Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten ein chaotisches Basketballspiel. Die Spieler sprinten, passen und weichen einander aus. Nun stellen Sie sich vor, Sie wären ein Trainer, der vorhersagen muss, wo sich alle in den nächsten paar Sekunden befinden werden. Oder stellen Sie sich vor, Sie wären ein Videoredakteur, der eine fehlerhafte Aufnahme reparieren muss, bei der die Kamera kurzzeitig einen Spieler aus dem Blick verloren hat, und Sie müssen die „fehlenden Frames" ergänzen, damit das Video wieder flüssig aussieht.

Dieser Artikel stellt ein neues Computerhirn (ein KI-Modell) namens U2Diffine (und seinen schnelleren Cousin U2Diff) vor, das genau dafür entwickelt wurde: die Bewegungsbahnen mehrerer Personen (oder Objekte) gleichzeitig vorherzusagen und zu reparieren.

Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Die Zukunft (und die Vergangenheit) erraten

Die meisten KI-Modelle, die Bewegungen vorhersagen, sind wie Wahrsager, die nur in die Vergangenheit schauen, um die Zukunft zu erraten. Sie sagen: „Basierend darauf, wo Sie waren, werden Sie wahrscheinlich hierhin gehen."

Der Fehler: Sie ignorieren oft die „Was-wäre-wenn"-Szenarien. In einem echten Spiel könnte ein Spieler stoppen, sich drehen oder blockiert werden. Die KI gibt normalerweise nur einen „besten Schätzwert" für den Pfad oder einige zufällige Schätzungen aus, ohne Ihnen zu sagen, wie sicher sie bei diesen Schätzungen ist.
Das fehlende Puzzleteil: Wenn die KI unsicher ist, sollte sie sagen: „Ich bin mir nicht sicher, der Pfad könnte überall in diesem großen Kreis liegen." Wenn sie sicher ist, sollte sie sagen: „Ich bin mir sehr sicher, der Pfad ist diese winzige Linie." Dieser Artikel nennt das „Unsicherheit".

2. Die Lösung: Das „Unsicherheitsbewusste" Diffusionsmodell

Die Autoren entwickelten ein System auf Basis von Diffusionsmodellen. Stellen Sie sich Diffusion wie einen Bildhauer vor, der mit Ton arbeitet.

Der Prozess: Stellen Sie sich vor, Sie haben eine perfekte Statue (den echten Bewegungspfad). Die KI verwandelt sie zunächst in einen Klumpen Rauschen (zufälliges statisches Rauschen). Dann lernt sie, dieses Rauschen schrittweise zurück in die Statue zu verwandeln.
Die Wendung: Normalerweise versucht der Bildhauer nur, die Statue richtig aussehen zu lassen. Die Autoren lehrten ihren Bildhauer, sich bei jedem Schritt eine mentale Notiz darüber zu machen, wie wackelig seine Hand ist.
- Wenn die Hand wackelig ist, zeichnet die KI eine große, verschwommene Wolke um den Pfad.
- Wenn die Hand ruhig ist, zeichnet sie eine straffe, präzise Linie.
Das Ergebnis: Die KI gibt Ihnen nicht nur einen Pfad; sie gibt Ihnen einen Pfad plus eine „Vertrauenskarte", die genau zeigt, wo die Vorhersage riskant ist und wo sie sicher ist.

3. Zwei Versionen: Der „Präzisionsbildhauer" gegen den „Speedster"

Die Autoren schufen zwei Versionen dieser KI, um unterschiedliche Bedürfnisse zu erfüllen:

U2Diffine (Der Präzisionsbildhauer): Diese Version ist sehr sorgfältig. Sie verwendet komplexe Mathematik (genannt „First-Order-Taylor-Näherung"), um genau zu berechnen, wie sich die Unsicherheit vom Rauschen zurück in die reale Welt ausbreitet. Es ist wie ein Meisterbildhauer, der jeden Millimeter misst. Sie ist die genaueste, dauert aber länger zum Ausführen.
U2Diff (Der Speedster): Diese Version verzichtet auf die komplexe Mathematik, um Zeit zu sparen. Sie macht eine intelligente Schätzung über die Unsicherheit, ohne alle schweren Berechnungen durchzuführen. Sie ist etwa 4-mal schneller als die Präzisionsversion und ist fast genauso gut darin, den Pfad vorherzusagen, wenn auch die „Vertrauenskarte" etwas weniger präzise ist.

4. Der „Ranglisten"-Assistent (RankNN)

Manchmal generiert die KI 20 verschiedene mögliche Zukünfte (20 verschiedene „Was-wäre-wenn"-Szenarien). Wie wissen Sie, welche am wahrscheinlichsten eintritt?

Der alte Weg: Sie wählen vielleicht einfach diejenige aus, die am „glattesten" aussieht.
Der neue Weg (RankNN): Die Autoren fügten einen speziellen „Richter" (ein neuronales Netz) hinzu, der alle 20 Szenarien betrachtet und jedem eine Bewertung dafür zuweist, „wie wahrscheinlich es ist, dass er falsch liegt".
Die Analogie: Stellen Sie sich einen Sportanalysten vor, der 20 verschiedene Spielwiederholungen betrachtet. Anstatt nur zu raten, betrachtet dieser Analyst die Bewegungen der Spieler und die „Wackeligkeit" der Vorhersage, um zu sagen: „Szenario #3 hat eine 90%ige Chance, richtig zu sein, während Szenario #15 wahrscheinlich falsch ist." Dies hilft, die beste Vorhersage automatisch auszuwählen.

5. Wo haben sie es getestet?

Sie haben dies nicht an medizinischen Daten oder selbstfahrenden Autos getestet (es sei denn, der Artikel sagt das, was er nicht tut). Sie testeten es strikt an Sportdaten:

Basketball: Verfolgung von 10 Spielern und einem Ball.
Football (Amerikanisch): Verfolgung von 22 Spielern und einem Ball.
Fußball: Verfolgung von 22 Spielern und einem Ball.

6. Der große Gewinn

Der Artikel behauptet, dass ihre Methode in zwei Hauptaspekten besser ist als die derzeit besten Methoden (State-of-the-Art):

Genauigkeit: Sie sagt voraus, wo Spieler sein werden, genauer, insbesondere beim Versuch, fehlende Teile eines Videos zu „reparieren" (Trajektorien-Vervollständigung).
Zuverlässigkeit: Sie ist viel besser darin zu wissen, wann sie unsicher ist. Wenn die KI sagt „Ich bin mir nicht sicher", bedeutet dies normalerweise, dass die Situation tatsächlich chaotisch oder schwer vorherzusagen ist. Dies macht das System für reale Anwendungen wie die Reparatur von Sportvideoaufnahmen viel vertrauenswürdiger.

Kurz gesagt: Sie entwickelten einen intelligenteren Weg für Computer, Sport zu beobachten, Spielerbewegungen vorherzusagen und kaputte Videoaufnahmen zu reparieren, und geben dabei ehrlich zu, wann sie raten und wann sie sicher sind.

Technische Zusammenfassung: Heteroskedastische Diffusion für die Modellierung von Trajektorien multipler Agenten

Problemstellung
Die Modellierung von Trajektorien multipler Agenten konzentrierte sich traditionell auf die Vorhersage zukünftiger Zustände und vernachlässigte dabei häufig umfassendere Aufgaben wie die Trajektorienvollendung (Rückgewinnung fehlender oder nicht beobachteter Abschnitte einer Trajektorie). Bestehende Methoden, einschließlich solcher, die auf GANs, CVAEs und standardmäßigen Diffusions-Wahrscheinlichkeitsmodellen (DDPMs) basieren, sagen typischerweise Agentenzustände voraus, ohne zustandsweise Maße für heteroskedastische Unsicherheit bereitzustellen. Darüber hinaus fehlen bei populären Methoden zur multimodalen Stichprobenziehung Fehlerwahrscheinlichkeitsschätzungen für jede generierte Szene unter denselben vorherigen Beobachtungen, was es schwierig macht, die Vorhersagezuverlässigkeit zum Inferenzzeitpunkt zu rangieren. Eine kritische Lücke besteht weiterhin in der Fähigkeit, die Wahrscheinlichkeit jedes vorhergesagten Zustands zu quantifizieren und mehrere generierte Modi basierend auf ihrer Nähe zum Ground Truth zu rangieren.

Methodik
Die Autoren stellen U2Diffine vor, ein einheitliches Diffusionsmodell, das darauf ausgelegt ist, Trajektorienvollendung durchzuführen und gleichzeitig zustandsweise heteroskedastische Unsicherheitsschätzungen anzubieten. Das Framework basiert auf folgenden Kernkomponenten:

Einheitliches Diffusions-Framework: Inspiriert von CSDI (Conditional Score-based Diffusion Imputation) verwendet das Modell ein bidirektionales MambaSSM zur zeitlichen Verarbeitung und einen Social Transformer für Agenteninteraktionen, wodurch traditionelle Transformer-Encoder ersetzt werden, um zeitliche Dynamiken besser zu handhaben, ohne feste Positions-Encodings.
Heteroskedastische Unsicherheitsschätzung: Im Gegensatz zu standardmäßigen Denoising-Verlusten, die einen einzelnen Rauschvektor vorhersagen, modelliert U2Diffine das reverse Rauschen als bivariate Gaußverteilung. Es lernt sowohl den mittleren Rauschzustand ( $\epsilon^\mu_\theta$ ) als auch eine $2 \times 2$ Kovarianzmatrix ( $\epsilon^\Sigma_\theta$ ) für jeden Agenten zu jedem Zeitschritt. Dies wird erreicht, indem der standardmäßige Denoising-Verlust um einen Term für die Negative Log-Likelihood (NLL) erweitert wird, was dem Modell ermöglicht, datenabhängige (aleatorische) Unsicherheit zu erfassen, einschließlich richtungsabhängiger Abhängigkeiten und rotierter Unsicherheitsellipsen.
Reverse Gaussian Sampling (U2Diffine): Um Unsicherheit im latenten Raum auf den realen Zustandsraum zu übertragen, leiten die Autoren eine Taylor-Approximation erster Ordnung ab. Diese Methode linearisiert das Score-Netzwerk um den aktuellen Mittelwert, um die Jacobi-Matrizen ( $J_s$ ) zu berechnen, die verwendet werden, um die Kovarianzmatrix während des reverse-Sampling-Prozesses zu aktualisieren. Dies liefert präzise, robuste und konsistente zustandsweise Unsicherheitsschätzungen, ohne auf kostspielige Monte-Carlo-Sampling-Verfahren zurückgreifen zu müssen.
Beschleunigte Baseline (U2Diff): Um die Rechenkosten der für die Jacobi-Matrix erforderlichen Gradientenberechnung zu adressieren, schlagen die Autoren U2Diff vor. Diese Variante geht von einem Null-Gradienten ( $J_s = 0$ ) aus und verwendet ein einfacheres univariates Unsicherheitsmodell. Um eine potenzielle Varianzvergrößerung zu mildern, setzt es eine „Varianzverzögerungs"-Strategie ein, die die Unsicherheitsübertragung erst nach einem intermediären Denoising-Schritt initiiert. Dieser Ansatz reduziert die Inferenzzeit um etwa das 4-Fache bei gleichzeitiger Beibehaltung konkurrenzfähiger Verschiebungsfehler.
Rank Neural Network (RankNN): Um die Herausforderung des Rangierens mehrerer generierter Modi zu adressieren, stellen die Autoren eine nachgeschaltete überwachte Architektur vor. RankNN nimmt die generierten Modi, ihre vorhergesagten Mittelwerte und Varianzen als Eingabe. Es verarbeitet diese durch einen Social-temporal Block und einen Multi-scene Transformer, um einen Fehlerwahrscheinlichkeits-Score für jeden Modus auszugeben. Das Modell wird trainiert, um die Spearman-Korrelation zwischen diesen vorhergesagten Scores und dem tatsächlichen Scene Average Displacement Error (SADE) zu maximieren.

Hauptbeiträge

Einheitliches Framework: Ein diffusionsbasiertes Ansatz für die Trajektorienvollendung multipler Agenten, der Vorhersage, Imputation und die Inferenz nicht beobachteter Agenten innerhalb eines einzigen Frameworks integriert, das an variable Anzahlen von Agenten und Zeitschritten anpassbar ist.
Zustandsweise Unsicherheit: Erweiterung des Diffusions-Frameworks um einen bivariaten Negative-Log-Likelihood-Verlust, um zustandsweise heteroskedastische Unsicherheitsschätzungen für jeden vorhergesagten latenten Zustand zu ermöglichen.
Analytische Unsicherheitsübertragung: Entwicklung einer Taylor-Approximation erster Ordnung für das Reverse Gaussian Sampling, um latente Unsicherheit auf den Ausgaberaum zu übertragen und präzise zustandsweise Schätzungen zu liefern.
Fehlerwahrscheinlichkeitsschätzung: Eine neuartige nachgeschaltete überwachte Architektur (RankNN), die Fehlerwahrscheinlichkeitsschätzungen für jeden generierten Modus bereitstellt und eine hohe Korrelation mit Ground-Truth-Fehlern aufweist.
Effizienz: Der Vorschlag von U2Diff, einer schnelleren Variante, die während des Sampling-Prozesses die Gradientenberechnung vermeidet und eine $\sim4\times$ schnellere Inferenz bei vergleichbarem Verschiebungsfehler bietet.

Experimentelle Ergebnisse
Die Methode wurde auf vier herausfordernden Sport-Datensätzen evaluiert: NBA, Basketball-U, Football-U und Soccer-U.

Trajektorienvollendung: U2Diffine und U2Diff übertrafen State-of-the-Art-Methoden (einschließlich UniTraj) auf allen drei Vollendungs-Datensätzen. Bemerkenswert ist, dass U2Diffine auf den Datensätzen Football-U und Soccer-U Verbesserungen von etwa 33 % bzw. 44 % bei minSADE20 erzielte.
Trajektorienvorhersage: Auf dem NBA-Datensatz erreichte der einheitliche Ansatz State-of-the-Art-Leistung bei szenenweiten Metriken (minSADE20/minSFDE20) und übertraf führende Methoden wie LED, MART und MoFlow um mehr als 3 %, trotz Verwendung einer einfachen i.i.d.-Stichprobenstrategie.
Unsicherheitsqualität: Die Modelle erzielten hohe Genauigkeitsraten (AccRate), wobei U2Diffine auf den Datensätzen Football-U und Soccer-U Werte von über 95 % erreichte. Die bivariate Modellierung ermöglichte die Vorhersage rotierter Unsicherheitsellipsen, die gut mit räumlichen Datenverteilungen übereinstimmten.
Rangierleistung: Das RankNN-Framework verbesserte die Korrelation zwischen vorhergesagter Unsicherheit und tatsächlichem Fehler signifikant. Während einfache Unsicherheitsmetriken (AvgUcty) eine moderate Korrelation zeigten (Spearman $\rho \approx 0,3$ ), erreichten die von RankNN vorhergesagten Fehlerwahrscheinlichkeiten hohe Korrelationen ( $\rho$ im Bereich von 0,58 bis 0,79). Dies ermöglichte eine effektive Rangierung generierter Modi und reduzierte den Top-1-Szenenfehler im Vergleich zu zufälliger oder varianzbasierter Auswahl erheblich.

Bedeutung
Die Arbeit behauptet, dass diese Forschung einen neuen Benchmark für Trajektorienvollendung und -vorhersage setzt, indem sie das kritische Fehlen einer Unsicherheitsquantifizierung in Umgebungen mit mehreren Agenten adressiert. Durch die Bereitstellung zustandsweiser heteroskedastischer Unsicherheit und eines Mechanismus zum Rangieren generierter Modi nach Fehlerwahrscheinlichkeit verbessert der Ansatz die Zuverlässigkeit generierter Trajektorien in komplexen interaktiven Umgebungen wie Sportarten. Die Autoren betonen, dass U2Diffine zwar durch rigorose analytische Übertragung eine überlegene Likelihood-Schätzung bietet, U2Diff jedoch eine praktische, hochgeschwindigkeitsfähige Alternative für Anwendungen darstellt, bei denen Inferenz-Latenz kritisch ist. Die Integration von RankNN schließt zudem die Lücke zwischen generativer Vielfalt und praktischem Nutzen, indem sie Benutzern ermöglicht, die zuverlässigsten Vorhersagen aus einer Menge generierter Modi auszuwählen.