🤖 machine learning

Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling

L'article présente U2Diffine, un modèle de diffusion unifié qui effectue simultanément la complétion et la prévision de trajectoires multi-agents tout en fournissant des estimations d'incertitude hétéroscédastiques au niveau de l'état et des classements de probabilité d'erreur pour les modes générés, surpassant les méthodes de l'art sur quatre jeux de données sportifs.

Auteurs originaux : Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guillem Capellera, Antonio Rubio, Luis Ferraz, Antonio Agudo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un match de basket-ball chaotique. Les joueurs sprintent, se passent le ballon et esquivent les uns les autres. Maintenant, imaginez que vous êtes un entraîneur essayant de prédire où chacun se trouvera dans les quelques secondes à venir. Ou, imaginez que vous êtes un monteur vidéo tentant de corriger un enregistrement défectueux où la caméra a brièvement perdu un joueur de vue, et que vous devez « combler les images manquantes » pour que la vidéo redevienne fluide.

Ce papier présente un nouveau cerveau informatique (un modèle d'IA) appelé U2Diffine (et son cousin plus rapide, U2Diff) conçu pour faire exactement cela : prédire et réparer les trajectoires de mouvement de plusieurs personnes (ou objets) simultanément.

Voici le détail de ce qu'ils ont fait, en utilisant des analogies simples :

1. Le Problème : Deviner le Futur (et le Passé)

La plupart des modèles d'IA qui prédisent le mouvement sont comme des devins qui ne regardent que le passé pour deviner le futur. Ils disent : « En fonction de là où vous étiez, vous irez probablement ici. »

Le Défaut : Ils ignorent souvent les « et si ». Dans un vrai match, un joueur peut s'arrêter, tourner ou être bloqué. L'IA donne généralement un seul « meilleur pari » de trajectoire, ou quelques paris aléatoires, sans vous dire à quel point elle est confiante dans ces paris.
La Pièce Manquante : Si l'IA est incertaine, elle devrait dire : « Je ne suis pas sûre, la trajectoire pourrait être n'importe où dans ce grand cercle. » Si elle est sûre, elle devrait dire : « Je suis très sûre, la trajectoire est cette petite ligne. » Ce papier appelle cela « l'incertitude ».

2. La Solution : Le Modèle de Diffusion « Conscient de l'Incertitude »

Les auteurs ont construit un système basé sur les Modèles de Diffusion. Imaginez la diffusion comme un sculpteur travaillant l'argile.

Le Processus : Imaginez que vous avez une statue parfaite (la trajectoire de mouvement réelle). L'IA la transforme d'abord en un blob de bruit (du bruit aléatoire). Ensuite, elle apprend comment transformer lentement ce bruit en statue, étape par étape.
La Pincée : Habituellement, le sculpteur essaie simplement de faire en sorte que la statue ait l'air juste. Les auteurs ont enseigné à leur sculpteur de garder également une note mentale de la tremblote de sa main à chaque étape.
- Si la main tremble, l'IA dessine un grand nuage flou autour de la trajectoire.
- Si la main est stable, elle dessine une ligne serrée et précise.
Le Résultat : L'IA ne vous donne pas juste une trajectoire ; elle vous donne une trajectoire plus une « carte de confiance » montrant exactement où la prédiction est risquée et où elle est sûre.

3. Deux Versions : La « Précision » contre Le « Sprinter »

Les auteurs ont créé deux versions de cette IA pour répondre à des besoins différents :

U2Diffine (Le Sculpteur de Précision) : Cette version est très prudente. Elle utilise des mathématiques complexes (appelées « approximation de Taylor du premier ordre ») pour calculer exactement comment l'incertitude se propage du bruit vers le monde réel. C'est comme un maître sculpteur qui mesure chaque millimètre. C'est le plus précis mais il faut plus de temps pour l'exécuter.
U2Diff (Le Sprinter) : Cette version saute les mathématiques complexes pour gagner du temps. Elle fait une hypothèse intelligente sur l'incertitude sans effectuer tous les calculs lourds. Elle est environ 4 fois plus rapide que la version de précision et prédit presque aussi bien la trajectoire, bien que légèrement moins précise sur la « carte de confiance ».

4. L'Assistant de « Classement » (RankNN)

Parfois, l'IA génère 20 futurs possibles différents (20 scénarios « et si » différents). Comment savoir lequel est le plus susceptible de se produire ?

L'Ancienne Façon : Vous pourriez simplement choisir celui qui a l'air le plus « fluide ».
La Nouvelle Façon (RankNN) : Les auteurs ont ajouté un « juge » spécial (un réseau de neurones) qui examine les 20 scénarios et attribue à chacun un score de « probabilité d'erreur ».
L'Analogie : Imaginez un analyste sportif regardant 20 retransmissions de match différentes. Au lieu de simplement deviner, cet analyste examine les mouvements des joueurs et la « tremblote » de la prédiction pour dire : « Le scénario n°3 a 90 % de chances d'être juste, tandis que le scénario n°15 est probablement faux. » Cela aide à sélectionner automatiquement la meilleure prédiction.

5. Où l'Ont-ils Testé ?

Ils n'ont pas testé cela sur des données médicales ou des voitures autonomes (sauf si le papier le dit, ce qui n'est pas le cas). Ils l'ont testé strictement sur des données sportives :

Basket-ball : Suivi de 10 joueurs et d'un ballon.
Football Américain : Suivi de 22 joueurs et d'un ballon.
Football (Soccer) : Suivi de 22 joueurs et d'un ballon.

6. La Grande Victoire

Le papier affirme que leur méthode est supérieure aux meilleures méthodes actuelles (State-of-the-Art) de deux manières principales :

Précision : Elle prédit où les joueurs seront plus précisément, surtout lorsqu'il s'agit de « réparer » des parties manquantes d'une vidéo (complétion de trajectoire).
Fiabilité : Elle est beaucoup meilleure pour savoir quand elle est incertaine. Si l'IA dit « Je ne suis pas sûre », cela signifie généralement que la situation est effectivement chaotique ou difficile à prédire. Cela rend le système beaucoup plus digne de confiance pour des applications réelles comme la réparation d'images vidéo sportives.

En bref : Ils ont créé une manière plus intelligente pour les ordinateurs de regarder le sport, de prédire les mouvements des joueurs et de réparer des enregistrements vidéo défectueux, tout en admettant honnêtement quand ils devinent et quand ils sont sûrs.

Résumé technique : Diffusion hétéroscédastique pour la modélisation de trajectoires multi-agents

Énoncé du problème
La modélisation de trajectoires multi-agents s'est traditionnellement concentrée sur la prévision des états futurs, négligeant souvent des tâches plus larges telles que la complétion de trajectoires (inférer les portions manquantes ou non observées d'une trajectoire). Les méthodes existantes, y compris celles basées sur les GAN, les CVAE et les modèles de diffusion probabilistes standard (DDPM), prédisent généralement les états des agents sans fournir de mesures hétéroscédastiques d'incertitude au niveau de chaque état. De plus, les méthodes d'échantillonnage multi-modales populaires manquent d'estimations de probabilité d'erreur pour chaque scène générée sous les mêmes observations a priori, rendant difficile le classement de la fiabilité des prédictions au moment de l'inférence. Un écart critique subsiste dans la capacité à quantifier la probabilité de chaque état prédit et à classer plusieurs modes générés en fonction de leur proximité avec la vérité terrain.

Méthodologie
Les auteurs introduisent U2Diffine, un modèle de diffusion unifié conçu pour effectuer la complétion de trajectoires tout en offrant simultanément des estimations d'incertitude hétéroscédastique au niveau de chaque état. Le cadre repose sur les composants fondamentaux suivants :

Cadre de diffusion unifié : Inspiré par CSDI (Conditional Score-based Diffusion Imputation), le modèle utilise un MambaSSM bidirectionnel pour le traitement temporel et un Social Transformer pour les interactions entre agents, remplaçant les encodeurs Transformer traditionnels pour mieux gérer les dynamiques temporelles sans encodages positionnels fixes.
Estimation d'incertitude hétéroscédastique : Contrairement aux pertes de débruitage standard qui prédisent un seul vecteur de bruit, U2Diffine modélise le bruit inverse comme une distribution gaussienne bivariée. Il apprend à la fois l'état moyen du bruit ( $\epsilon^\mu_\theta$ ) et une matrice de covariance $2 \times 2$ ( $\epsilon^\Sigma_\theta$ ) pour chaque agent à chaque pas de temps. Cela est réalisé en augmentant la perte de débruitage standard par un terme de Vraisemblance Négative Logarithmique (NLL), permettant au modèle de capturer l'incertitude dépendante des données (aléatoire), y compris les dépendances directionnelles et les ellipses d'incertitude rotatives.
Échantillonnage gaussien inverse (U2Diffine) : Pour propager l'incertitude de l'espace latent vers l'espace d'état réel, les auteurs dérivent une approximation de Taylor du premier ordre. Cette méthode linéarise le réseau de score autour de la moyenne actuelle pour calculer les matrices jacobiennes ( $J_s$ ), qui sont utilisées pour mettre à jour la matrice de covariance lors du processus d'échantillonnage inverse. Cela fournit des estimations d'incertitude précises, robustes et cohérentes au niveau de chaque état, sans recourir à un échantillonnage de Monte Carlo coûteux.
Base accélérée (U2Diff) : Pour répondre au coût computationnel du calcul du gradient requis pour la jacobienne, les auteurs proposent U2Diff. Cette variante suppose un gradient nul ( $J_s = 0$ ) et utilise un modèle d'incertitude univarié plus simple. Pour atténuer une éventuelle inflation de la variance, elle emploie une stratégie de « délai de variance », n'initiant la propagation de l'incertitude qu'après une étape intermédiaire de débruitage. Cette approche réduit le temps d'inférence d'environ 4 fois tout en maintenant une erreur de déplacement compétitive.
Réseau neuronal de classement (RankNN) : Pour relever le défi du classement de plusieurs modes générés, les auteurs introduisent une architecture supervisée de post-traitement. RankNN prend en entrée les modes générés, leurs moyennes et variances prédites. Il les traite via un Bloc Social-Temporel et un Transformer Multi-scène pour produire un score de probabilité d'erreur pour chaque mode. Le modèle est entraîné pour maximiser la corrélation de Spearman entre ces scores prédits et l'erreur de déplacement moyenne de la scène (SADE) réelle.

Contributions clés

Cadre unifié : Une approche basée sur la diffusion pour la complétion de trajectoires multi-agents qui intègre la prévision, l'imputation et l'inférence d'agents non observés dans un seul cadre adaptable à des nombres variables d'agents et de pas de temps.
Incertitude au niveau de l'état : Augmentation du cadre de diffusion par une perte de vraisemblance négative logarithmique bivariée pour permettre l'estimation d'incertitude hétéroscédastique pour chaque état latent prédit.
Propagation analytique de l'incertitude : Développement d'une approximation de Taylor du premier ordre pour l'échantillonnage gaussien inverse, propageant l'incertitude latente vers l'espace de sortie pour produire des estimations précises au niveau de chaque état.
Estimation de probabilité d'erreur : Une nouvelle architecture supervisée de post-traitement (RankNN) qui fournit des estimations de probabilité d'erreur pour chaque mode généré, démontrant une forte corrélation avec les erreurs de vérité terrain.
Efficacité : La proposition de U2Diff, une variante plus rapide qui évite le calcul de gradient lors de l'échantillonnage, offrant une inférence environ 4 fois plus rapide avec une erreur de déplacement comparable.

Résultats expérimentaux
La méthode a été évaluée sur quatre ensembles de données sportifs difficiles : NBA, Basketball-U, Football-U et Soccer-U.

Complétion de trajectoire : U2Diffine et U2Diff ont surpassé les méthodes de l'état de l'art (y compris UniTraj) sur les trois ensembles de données de complétion. Notamment, U2Diffine a réalisé des améliorations d'environ 33 % et 44 % de minSADE20 sur les ensembles de données Football-U et Soccer-U, respectivement.
Prévision de trajectoire : Sur l'ensemble de données NBA, l'approche unifiée a atteint des performances de l'état de l'art sur les métriques au niveau de la scène (minSADE20/minSFDE20), surpassant des méthodes de premier plan comme LED, MART et MoFlow de plus de 3 %, malgré l'utilisation d'une stratégie d'échantillonnage i.i.d. simple.
Qualité de l'incertitude : Les modèles ont atteint des taux de précision (AccRate) élevés, U2Diffine atteignant plus de 95 % sur les ensembles de données Football-U et Soccer-U. La modélisation bivariée a permis la prédiction d'ellipses d'incertitude rotatives qui s'alignaient bien avec les distributions de données spatiales.
Performance de classement : Le cadre RankNN a considérablement amélioré la corrélation entre l'incertitude prédite et l'erreur réelle. Alors que les métriques d'incertitude simples (AvgUcty) montraient une corrélation modérée (Spearman $\rho \approx 0,3$ ), les probabilités d'erreur prédites par RankNN ont atteint des corrélations élevées ( $\rho$ variant de 0,58 à 0,79). Cela a permis un classement efficace des modes générés, réduisant significativement l'erreur de scène Top-1 par rapport à une sélection aléatoire ou basée sur la variance.

Signification
L'article affirme que ce travail établit une nouvelle référence pour la complétion et la prévision de trajectoires en abordant le manque critique de quantification de l'incertitude dans les contextes multi-agents. En fournissant une incertitude hétéroscédastique au niveau de chaque état et un mécanisme pour classer les modes générés par probabilité d'erreur, l'approche améliore la fiabilité des trajectoires générées dans des environnements interactifs complexes comme le sport. Les auteurs soulignent que, si U2Diffine offre une estimation de vraisemblance supérieure grâce à une propagation analytique rigoureuse, U2Diff fournit une alternative pratique et rapide pour les applications où la latence d'inférence est critique. L'intégration de RankNN comble davantage le fossé entre la diversité générative et l'utilité pratique en permettant aux utilisateurs de sélectionner les prédictions les plus fiables parmi un ensemble de modes générés.