🤖 AI

Rethinking Video Human-Object Interaction: Set Prediction over Time for Unified Detection and Anticipation

Ce papier présente DETAnt-HOI, un cadre unifié qui améliore la détection et l'anticipation des interactions humain-objet en vidéo en apprenant conjointement la localisation et la prédiction future, tout en introduisant un benchmark temporellement corrigé pour une évaluation plus fiable.

Auteurs originaux : Yuanhao Luo, Di Wen, Kunyu Peng, Ruiping Liu, Junwei Zheng, Yufan Chen, Jiale Wei, Rainer Stiefelhage

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuanhao Luo, Di Wen, Kunyu Peng, Ruiping Liu, Junwei Zheng, Yufan Chen, Jiale Wei, Rainer Stiefelhage

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une vidéo de quelqu'un qui joue avec un ballon.

Les anciennes méthodes fonctionnent comme un détective un peu lent et séparé :

D'abord, il identifie la personne et le ballon (Détection).
Ensuite, il essaie de deviner ce qui va se passer dans la prochaine seconde (Anticipation).
Le problème ? Il traite ces deux étapes comme des tâches complètement différentes. C'est comme si le détective notait "Voici la personne" sur un bout de papier, puis prenait un nouveau papier pour écrire "Il va lancer le ballon", sans vraiment relier les deux pensées. De plus, les "futurs" qu'il essaie de prédire sont souvent basés sur des indices flous ou espacés dans le temps, comme essayer de prédire la météo de demain en regardant seulement le ciel d'hier matin.

La nouvelle méthode (HOI-DA) proposée dans cet article change la donne. Voici comment on peut l'imaginer :

1. Le "Cercle de Confiance" (La prédiction unifiée)

Au lieu de séparer la détection de la prédiction, HOI-DA crée un cercle de confiance unique autour de la paire "Personne + Objet".

L'analogie : Imaginez que la personne et le ballon sont deux danseurs liés par un élastique invisible. La méthode ne regarde pas juste le danseur, ni juste le ballon, ni même juste leur mouvement actuel. Elle regarde l'élastique lui-même.
Elle se dit : "Je connais la position actuelle de l'élastique (la détection). Maintenant, je vais prédire comment cet élastique va se tendre ou se détendre dans le futur (l'anticipation)."
Cela permet au modèle de comprendre que si la personne tient le ballon maintenant, il est très probable qu'elle le tienne encore tout de suite après, et peut-être qu'elle va le lancer un peu plus tard. Tout est lié dans une seule pensée cohérente.

2. La "Différence" au lieu de la "Répétition" (Le concept de Résidu)

C'est le cœur de l'innovation.

L'ancienne façon : Pour prédire le futur, on essaie de recréer toute la scène depuis zéro. C'est lourd et ça crée des erreurs.
La nouvelle façon (HOI-DA) : Le modèle dit : "Je connais déjà la scène actuelle. Je ne vais pas prédire toute la scène future, je vais juste prédire ce qui va changer."
L'analogie : C'est comme regarder un film. Au lieu de redécrire chaque image du futur, vous ne notez que les changements par rapport à l'image précédente. "Le ballon a bougé de 10 cm vers la droite". C'est beaucoup plus précis et plus rapide. Le modèle apprend à voir le futur comme une petite modification de l'actuel, pas comme un nouveau monde.

3. Le "Nettoyage de la Vidéo" (Le nouveau benchmark DETAnt-HOI)

Les chercheurs ont aussi réalisé que les vidéos utilisées pour tester ces intelligences artificielles étaient un peu "sales". Souvent, les annotations (les étiquettes qui disent ce qui se passe) sautaient des secondes entières.

L'analogie : C'est comme essayer d'apprendre à conduire en regardant un film où les scènes de virage ont été coupées. Vous ne savez pas si la voiture a tourné à gauche ou à droite, vous avez juste un saut dans le temps.
Les chercheurs ont créé un nouveau jeu de données (DETAnt-HOI) où ils ont "réparé" ces vidéos. Ils ont rempli les trous avec des images intermédiaires pour s'assurer que le temps s'écoule de manière fluide. Cela permet de tester si l'IA comprend vraiment la logique du mouvement, et pas seulement si elle devine bien grâce à des indices cachés dans les coupures.

En résumé

Cette recherche nous dit que pour prédire l'avenir d'une interaction (comme un humain qui joue avec un objet), il ne faut pas séparer le "voir" du "deviner".

Il faut traiter l'interaction comme une histoire continue. Le futur n'est pas une chose magique qui arrive de nulle part ; c'est simplement la suite logique de ce qui se passe maintenant, avec quelques petits changements. En apprenant à l'IA à voir cette continuité et en lui donnant des vidéos plus propres pour s'entraîner, on obtient un système beaucoup plus fiable pour anticiper les actions humaines, que ce soit pour des robots assistants ou pour la sécurité.

1. Problématique et Contexte

La compréhension des interactions humain-objet (HOI) dans les vidéos nécessite non seulement de détecter les interactions en cours, mais aussi d'anticiper leur évolution future. Cependant, les méthodes existantes souffrent de deux limitations majeures :

Séparation de la détection et de l'anticipation : Les approches actuelles suivent généralement un pipeline à deux étapes. Elles détectent d'abord les humains et les objets (ou les suivent), puis classifient ou prévoient les interactions sur des paires pré-construites. Cette séparation fait de l'anticipation un problème de prédiction en aval, découplé de la représentation de la paire elle-même. Le modèle n'apprend pas fortement comment une interaction persiste, change ou se dissout dans le temps, car l'identité de la paire n'est pas traitée comme un objet de premier ordre au sein du modèle.
Problèmes d'évaluation et d'annotation : Les benchmarks actuels (comme VidHOI et Action Genome) reposent sur des annotations de trames clés espacées. Cela crée des discontinuités temporelles : les étiquettes « futures » peuvent être séparées de la vidéo observée par de larges intervalles sans interaction. Par conséquent, les performances d'anticipation rapportées peuvent refléter des artefacts d'annotation plutôt qu'une véritable capacité de raisonnement sur la dynamique continue des paires.

2. Méthodologie : HOI-DA

Les auteurs proposent HOI-DA, un cadre unifié centré sur la paire, qui traite l'anticipation non pas comme une tâche ajoutée, mais comme une contrainte structurelle sur l'apprentissage de la représentation vidéo au niveau de la paire.

Principes Fondamentaux

Représentation Unifiée : Au lieu de prédire les interactions futures indépendamment, HOI-DA modélise les états futurs comme des transitions résiduelles par rapport à l'état actuel de la paire.
Architecture :
- Décodeur centré sur la paire (Pair-Centric Decoder) : Le modèle utilise des requêtes d'instances apprises (slots de paires) qui maintiennent l'identité de la paire humain-objet à travers le temps, sans dépendre d'un suivi externe.
- Modules clés :
  1. Décodeur d'interaction présente : Ancre l'état de la paire à la fin de la fenêtre d'observation.
  2. Module de résumé temporel (Temporal Summary Module) : Conditionne l'anticipation sur l'historique complet de l'interaction observée, et non uniquement sur la dernière trame.
  3. Décodeur d'anticipation conditionné par l'horizon : Prédit les verbes futurs à différents horizons ( $h$ ) en utilisant des ancres spécifiques à l'horizon.
- Branches Sémantiques Guidées par le Langage : Un encodeur textuel (basé sur RoBERTa) injecte des structures sémantiques au niveau du vocabulaire pour améliorer la classification des verbes (souvent distribués selon une loi de puissance/longue traîne) et régulariser l'espace de représentation.

Régularisation par Orthogonalité Duale

Pour éviter que les prédictions futures ne s'effondrent vers l'état présent ou ne deviennent redondantes entre les différents horizons, les auteurs introduisent une régularisation d'orthogonalité duale :

Orthogonalité des tâches : Sépare l'ancrage de l'interaction présente des changements futurs (les résidus).
Orthogonalité des horizons : Assure que les directions de changement pour différents horizons futurs sont distinctes et non redondantes.

3. Contribution Majeure : Le Benchmark DETAnt-HOI

Pour évaluer l'anticipation dans des conditions temporelles significatives, les auteurs ont créé DETAnt-HOI, un benchmark corrigé dérivé de VidHOI et Action Genome.

Correction de la continuité temporelle : Contrairement aux protocoles précédents qui suppriment les trames non interactives, DETAnt-HOI conserve les intervalles courts non interactifs (en complétant les annotations de boîtes englobantes via VidOR) pour maintenir la continuité des trajectoires des instances.
Suppression des ruptures : Les longs intervalles inactifs sont supprimés et les vidéos sont scindées pour éviter des sauts temporels trop grands.
Objectif : Garantir que les étiquettes futures correspondent à une évolution dynamique continue et réelle, et non à des artefacts d'annotation.

4. Résultats Expérimentaux

Les expériences ont été menées sur les composants VidHOI et Action Genome de DETAnt-HOI.

Performance Supérieure : HOI-DA surpasse systématiquement les méthodes de l'état de l'art (comme ST-HOI, STTran, Gaze-Tran) sur toutes les métriques (mAP de détection et d'anticipation, Recall@k).
Gain croissant avec l'horizon : L'avantage de HOI-DA s'accentue à mesure que l'horizon de prédiction s'éloigne (par exemple, +8.59 mAP à $h=7$ sur VidHOI par rapport au meilleur baseline). Cela démontre que la formulation unifiée préserve mieux la persistance temporelle des représentations d'interaction.
Robustesse : Le modèle maintient une cohérence dans les prédictions même lors d'occlusions ou de mouvements de caméra, grâce à la persistance des slots de paires internes, contrairement aux pipelines à deux étapes qui perdent le suivi.
Études d'ablation : Elles confirment que la fusion naïve des tâches (un seul décodeur sans structure) est moins performante. Les gains proviennent spécifiquement de la structure résiduelle, du module de résumé temporel et de la régularisation d'orthogonalité.

5. Signification et Conclusion

Ce travail remet en question le paradigme dominant de l'HOI vidéo en démontrant que l'anticipation ne doit pas être traitée comme une tâche de prédiction en aval, mais comme une contrainte structurelle fondamentale qui façonne l'apprentissage de la représentation des paires.

Innovation Conceptuelle : Le passage d'une logique « Détection $\rightarrow$ Association $\rightarrow$ Anticipation » à une logique unifiée « Représentation de paire persistante $\rightarrow$ Évolution structurée ».
Impact sur l'Évaluation : La création de DETAnt-HOI établit un nouveau standard pour l'évaluation de l'anticipation, en éliminant les biais introduits par les discontinuités temporelles des annotations.
Applications : Cette approche est cruciale pour des applications nécessitant une interaction proactive et sûre, telles que la robotique collaborative, la surveillance de sécurité et les interfaces homme-machine anticipatives.

En résumé, HOI-DA démontre que pour prédire l'avenir d'une interaction, il est essentiel de modéliser l'identité et l'état de la paire humain-objet comme un objet continu et cohérent dans le temps, plutôt que comme une succession de détections disjointes.