🤖 machine learning

Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling

Het artikel introduceert U2Diffine, een unificerend diffusiemodel dat gelijktijdig trajectvoltooiing en -voorspelling voor multi-agent systemen uitvoert en tegelijkertijd toestandsspecifieke heteroscedastische onzekerheidsschattingen en foutkansrangschikkingen voor gegenereerde modi biedt, en dat presteert boven de state-of-the-art-methoden op vier sportdatasets.

Oorspronkelijke auteurs: Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chaotische basketbalwedstrijd bekijkt. Spelers sprinten, passen en ontwijken elkaar. Stel je nu voor dat je een coach bent die probeert te voorspellen waar iedereen de komende paar seconden zal zijn. Of stel je voor dat je een video-editor bent die een storing in een opname moet repareren, waarbij de camera kort een speler uit het oog verloor, en je de "ontbrekende frames" moet "invullen" zodat de video weer soepel oogt.

Dit artikel introduceert een nieuwe computerhersenen (een AI-model) genaamd U2Diffine (en zijn snellere neefje, U2Diff), ontworpen om precies dat te doen: de bewegingspaden van meerdere personen (of objecten) tegelijk voorspellen en repareren.

Hier is de uiteenzetting van wat ze deden, met behulp van eenvoudige analogieën:

1. Het Probleem: De Toekomst (en het Verleden) Raden

De meeste AI-modellen die beweging voorspellen, zijn als toekomstverkopers die alleen naar het verleden kijken om de toekomst te raden. Ze zeggen: "Op basis van waar je was, ga je waarschijnlijk hierheen."

De Tekortkoming: Ze negeren vaak de "wat als"-scenario's. In een echte wedstrijd kan een speler stoppen, draaien of geblokkeerd worden. De AI geeft meestal slechts één "beste gok"-pad, of een paar willekeurige goks, zonder je te vertellen hoe zeker ze is van die goks.
Het Ontbrekende Deel: Als de AI het niet zeker weet, zou ze moeten zeggen: "Ik weet het niet zeker, het pad kan overal in deze grote cirkel liggen." Als ze het zeker weet, zou ze moeten zeggen: "Ik weet het heel zeker, het pad is deze kleine lijn." Dit artikel noemt dat "onzekerheid".

2. De Oplossing: Het "Onzekerheidsbewuste" Diffusiemodel

De auteurs bouwden een systeem op basis van Diffusiemodellen. Denk aan diffusie als een beeldhouwer die met klei werkt.

Het Proces: Stel je voor dat je een perfect standbeeld hebt (het echte bewegingspad). De AI verandert dit eerst in een bult ruis (willekeurige statische storing). Vervolgens leert het hoe het die ruis stap voor stap langzaam terug in het standbeeld kan veranderen.
De Twist: Normaal gesproken probeert de beeldhouwer alleen het standbeeld er goed uit te laten zien. De auteurs leerden hun beeldhouwer ook om een mentale notitie te houden van hoe onstabiel zijn hand is bij elke stap.
- Als de hand onstabiel is, tekent de AI een grote, wazige wolk rond het pad.
- Als de hand stabiel is, tekent hij een strakke, precieze lijn.
Het Resultaat: De AI geeft je niet alleen een pad; ze geeft je een pad plus een "vertrouwenskarte" die precies aangeeft waar de voorspelling riskant is en waar hij veilig is.

3. Twee Versies: De "Precisie" versus de "Sprinter"

De auteurs creëerden twee versies van deze AI om te voldoen aan verschillende behoeften:

U2Diffine (De Precisie-beeldhouwer): Deze versie is zeer zorgvuldig. Ze gebruikt complexe wiskunde (een zogenaamde "eerste-orde Taylor-benadering") om exact te berekenen hoe de onzekerheid zich verspreidt van de ruis terug naar de echte wereld. Het is als een meester-beeldhouwer die elke millimeter meet. Het is het meest nauwkeurig, maar duurt langer om te draaien.
U2Diff (De Sprinter): Deze versie slaat de complexe wiskunde over om tijd te besparen. Ze doet een slimme gok over de onzekerheid zonder alle zware berekeningen te doen. Het is ongeveer 4 keer sneller dan de precisie-versie en bijna even goed in het voorspellen van het pad, hoewel iets minder precies op de "vertrouwenskarte".

4. De "Ranking"-assistent (RankNN)

Soms genereert de AI 20 verschillende mogelijke toekomstige scenario's (20 verschillende "wat als"-scenario's). Hoe weet je welke het meest waarschijnlijk is?

De Oude Manier: Je kiest misschien gewoon degene die het "soepelst" oogt.
De Nieuwe Manier (RankNN): De auteurs voegden een speciale "rechter" toe (een neurale netwerk) die alle 20 scenario's bekijkt en aan elk een score toekent van "hoe waarschijnlijk het is dat het fout is".
De Analogie: Stel je een sportanalist voor die 20 verschillende wedstrijdherhalingen bekijkt. In plaats van gewoon te raden, kijkt deze analist naar de bewegingen van de spelers en de "onstabielheid" van de voorspelling om te zeggen: "Scenario #3 heeft een 90% kans om juist te zijn, terwijl Scenario #15 waarschijnlijk fout is." Dit helpt automatisch de beste voorspelling te kiezen.

5. Waar Testten Ze Het?

Ze testten dit niet op medische gegevens of zelfrijdende auto's (tenzij het artikel dat zegt, wat het niet doet). Ze testten het strikt op sportgegevens:

Basketbal: Het volgen van 10 spelers en een bal.
American Football: Het volgen van 22 spelers en een bal.
Voetbal: Het volgen van 22 spelers en een bal.

6. De Grote Overwinning

Het artikel beweert dat hun methode beter is dan de huidige beste methoden (State-of-the-Art) op twee hoofdpunten:

Nauwkeurigheid: Het voorspelt waar spelers zullen zijn nauwkeuriger, vooral bij het proberen om ontbrekende delen van een video te "repareren" (trajectvoltooiing).
Betrouwbaarheid: Het is veel beter in het weten wanneer het het niet zeker weet. Als de AI zegt "Ik weet het niet zeker", betekent dit meestal dat de situatie daadwerkelijk chaotisch of moeilijk te voorspellen is. Dit maakt het systeem veel betrouwbaarder voor toepassingen in de echte wereld, zoals het repareren van sportvideo-opnames.

Kortom: Ze bouwden een slimmere manier voor computers om sport te bekijken, spierbewegingen te voorspellen en gebroken video-opnames te repareren, terwijl ze eerlijk toegeven wanneer ze gokken en wanneer ze zeker zijn.

Technische Samenvatting: Heteroscedastische Diffusie voor Multi-Agent Trajectmodellering

Probleemstelling
Multi-agent trajectmodellering heeft zich traditioneel gericht op het voorspellen van toekomstige toestanden, waarbij vaak bredere taken zoals trajectvoltooiing (het afleiden van ontbrekende of niet-geobserveerde delen van een traject) worden verwaarloosd. Bestaande methoden, waaronder die gebaseerd op GAN's, CVAE's en standaard Diffusion Probabilistic Models (DDPM's), voorspellen doorgaans agent-toestanden zonder state-wise maatstaven voor heteroscedastische onzekerheid te bieden. Bovendien ontbreken bij populaire multi-modale bemonsteringsmethoden foutkansschattingen voor elke gegenereerde scène onder dezelfde voorafgaande waarnemingen, wat het moeilijk maakt om de betrouwbaarheid van voorspellingen tijdens inferentie te rangschikken. Er blijft een kritieke kloof bestaan in het vermogen om de waarschijnlijkheid van elke voorspelde toestand te kwantificeren en meerdere gegenereerde modi te rangschikken op basis van hun nabijheid tot de ground truth.

Methodologie
De auteurs introduceren U2Diffine, een unificerend diffusiemodel dat is ontworpen om trajectvoltooiing uit te voeren terwijl het tegelijkertijd state-wise heteroscedastische onzekerheidsschattingen biedt. Het raamwerk is gebaseerd op de volgende kerncomponenten:

Unificerend Diffusieraamwerk: Geïnspireerd door CSDI (Conditional Score-based Diffusion Imputation), gebruikt het model een bidirectionele MambaSSM voor temporale verwerking en een Social Transformer voor agent-interacties, ter vervanging van traditionele Transformer-encoders om temporale dynamiek beter te hanteren zonder vaste positionele coderingen.
Heteroscedastische Onzekerheidsschatting: In tegenstelling tot standaard denoising-verliezen die een enkel ruisvector voorspellen, modelleert U2Diffine de omgekeerde ruis als een bivariate Gaussische verdeling. Het leert zowel de gemiddelde ruisstaat ( $\epsilon^\mu_\theta$ ) als een $2 \times 2$ covariantiematrix ( $\epsilon^\Sigma_\theta$ ) voor elke agent op elk tijdstip. Dit wordt bereikt door het standaard denoising-verlies te verrijken met een Negative Log-Likelihood (NLL)-term, waardoor het model data-afhankelijke (aleatorische) onzekerheid kan vastleggen, inclusief directionele afhankelijkheden en geroteerde onzekerheidselfsen.
Omgekeerde Gaussische Bemonstering (U2Diffine): Om onzekerheid in de latente ruimte door te geven aan de echte toestandsruimte, leiden de auteurs een eerste-orde Taylor-benadering af. Deze methode lineariseert het score-netwerk rond de huidige gemiddelde om de Jacobiaan-matrices ( $J_s$ ) te berekenen, die worden gebruikt om de covariantiematrix tijdens het omgekeerde bemonsteringsproces bij te werken. Dit levert nauwkeurige, robuuste en consistente state-wise onzekerheidsschattingen op zonder gebruik te maken van kostbare Monte Carlo-bemonstering.
Versnelde Baseline (U2Diff): Om de rekenkosten van de gradiëntberekening die nodig is voor de Jacobiaan aan te pakken, stellen de auteurs U2Diff voor. Deze variant veronderstelt een nul-gradiënt ( $J_s = 0$ ) en gebruikt een eenvoudigere univariate onzekerheidsmodel. Om potentiële variatie-inflatie te mitigeren, hanteert het een "variance delay"-strategie, waarbij onzekerheidsdoorgeving pas wordt gestart na een intermediaire denoising-stap. Deze aanpak vermindert de inferentietijd met ongeveer 4x terwijl een concurrerende verplaatsingsfout wordt behouden.
Rank Neural Network (RankNN): Om de uitdaging van het rangschikken van meerdere gegenereerde modi aan te pakken, introduceren de auteurs een supervised architectuur voor naschikking. RankNN neemt de gegenereerde modi, hun voorspelde gemiddelden en varianties als invoer. Het verwerkt deze via een Social-temporal Block en een Multi-scene Transformer om een foutkansscore voor elke modus te outputten. Het model is getraind om de Spearman-correlatie tussen deze voorspelde scores en de werkelijke Scene Average Displacement Error (SADE) te maximaliseren.

Belangrijkste Bijdragen

Unificerend Raamwerk: Een op diffusie gebaseerde aanpak voor multi-agent trajectvoltooiing die voorspelling, imputatie en het afleiden van niet-geobserveerde agenten integreert binnen één raamwerk dat aanpasbaar is aan variabele aantallen agenten en tijdstappen.
State-wise Onzekerheid: Verrijking van het diffusieraamwerk met een bivariate negative log-likelihood-verlies om heteroscedastische onzekerheidsschatting voor elke voorspelde latente toestand mogelijk te maken.
Analytische Onzekerheidsdoorgeving: Ontwikkeling van een eerste-orde Taylor-benadering voor Omgekeerde Gaussische Bemonstering, waarbij latente onzekerheid wordt doorgegeven aan de uitvoerruimte om nauwkeurige state-wise schattingen te leveren.
Foutkansschatting: Een nieuwe supervised architectuur voor naschikking (RankNN) die foutkansschattingen biedt voor elke gegenereerde modus, met een hoge correlatie met ground truth-fouten.
Efficiëntie: De voorstelling van U2Diff, een snellere variant die gradiëntberekening tijdens bemonstering vermijdt, en die een $\sim4\times$ snellere inferentie biedt met vergelijkbare verplaatsingsfout.

Experimentele Resultaten
De methode werd geëvalueerd op vier uitdagende sportdatasets: NBA, Basketball-U, Football-U en Soccer-U.

Trajectvoltooiing: U2Diffine en U2Diff presteerden beter dan state-of-the-art methoden (inclusief UniTraj) op alle drie de voltooiingsdatasets. Opmerkelijk is dat U2Diffine ongeveer 33% en 44% verbetering in minSADE20 bereikte op respectievelijk de Football-U en Soccer-U datasets.
Trajectvoorspelling: Op de NBA-dataset bereikte de unificerende aanpak state-of-the-art prestaties op sceneniveau-metrics (minSADE20/minSFDE20) en presteerde het beter dan toonaangevende methoden zoals LED, MART en MoFlow met meer dan 3%, ondanks het gebruik van een eenvoudige i.i.d.-bemonsteringsstrategie.
Kwaliteit van Onzekerheid: De modellen bereikten hoge Accuracy Rates (AccRate), waarbij U2Diffine meer dan 95% bereikte op de Football-U en Soccer-U datasets. De bivariate modellering maakte het mogelijk om geroteerde onzekerheidselfsen te voorspellen die goed overeenkwamen met ruimtelijke data-distributies.
Rangschikkingsprestaties: Het RankNN-raamwerk verbeterde de correlatie tussen voorspelde onzekerheid en werkelijke fout aanzienlijk. Hoewel eenvoudige onzekerheidsmetrieken (AvgUcty) een matige correlatie toonden (Spearman $\rho \approx 0,3$ ), bereikten de door RankNN voorspelde foutkansen hoge correlaties ( $\rho$ variërend van 0,58 tot 0,79). Dit maakte een effectieve rangschikking van gegenereerde modi mogelijk, waardoor de Top-1-scenefout aanzienlijk werd verminderd in vergelijking met willekeurige of variantie-gebaseerde selectie.

Betekenis
Het artikel beweert dat dit werk een nieuwe benchmark voor trajectvoltooiing en voorspelling vestigt door de kritieke gebrek aan onzekerheidskwantificering in multi-agent settings aan te pakken. Door state-wise heteroscedastische onzekerheid en een mechanisme te bieden om gegenereerde modi te rangschikken op basis van foutkans, verbetert de aanpak de betrouwbaarheid van gegenereerde trajecten in complexe interactieve omgevingen zoals sport. De auteurs benadrukken dat, hoewel U2Diffine superieure likelihood-schatting biedt door middel van rigoureuze analytische doorgeving, U2Diff een praktische, hoogwaardige alternatief biedt voor toepassingen waar inferentie-latentie kritiek is. De integratie van RankNN overbrugt verder de kloof tussen generatieve diversiteit en praktische bruikbaarheid door gebruikers in staat te stellen de meest betrouwbare voorspellingen te selecteren uit een set gegenereerde modi.