Motion-aware Contrastive Learning for Temporal Panoptic Scene Graph Generation

1. Définition du problème

L'article aborde la Génération Temporelle de Graphes de Scène Panoptiques (TPSGG), une tâche visant à générer des graphes de scène dynamiques à partir d'entrées vidéo (incluant des vidéos naturelles, des données RGB-D et des nuages de points 4D).

• Objectif : Représenter les entités sous forme de nœuds et leurs relations spatio-temporelles sous forme d'arêtes, capturant à la fois les interactions statiques (par exemple, "debout sur") et dynamiques (par exemple, "frapper", "ouvrir").
• Limites des méthodes existantes : Les approches actuelles de l'état de l'art suivent généralement un pipeline en deux étapes :
  1. Segmentation et suivi : Génération de "tubes de masques" (séquences de masques de segmentation suivis dans le temps).
  2. Prédiction de relations : Encodage de ces tubes par un regroupement global (par exemple, moyenne pondérée) suivi d'un MLP pour classifier les relations.
• Le problème central : Les opérations de regroupement global aplatissent la dimension temporelle, éliminant efficacement les motifs de mouvement et l'ordre des images. Cela entraîne de mauvaises performances sur les relations dynamiques, car le modèle repose fortement sur la sémantique visuelle statique plutôt que sur l'évolution du mouvement. Les méthodes d'apprentissage contrastif existantes pour les vidéos se concentrent souvent sur la sémantique au niveau de l'image ou sur des clips entiers, échouant à isoler le mouvement spécifique aux tubes de masques d'entités.

2. Méthodologie

Les auteurs proposent un nouveau Cadre d'Apprentissage Contrastif Sensible au Mouvement conçu pour forcer le modèle à apprendre des représentations sensibles aux trajectoires de mouvement plutôt qu'à la simple apparence statique.

A. Vue d'ensemble du cadre

Le cadre s'intègre à une colonne vertébrale TPSGG standard (Segmentation Panoptique + Classification des Relations) mais introduit un objectif spécifique d'apprentissage contrastif pendant l'entraînement pour affiner les représentations des tubes de masques d'entités ($H_i$).

B. Stratégies d'apprentissage contrastif

L'objectif est de rapprocher les représentations de motifs de mouvement similaires et d'éloigner celles présentant des motifs distincts.

1. Échantillonnage positif :
   • Sélectionne des tubes de masques provenant de vidéos différentes partageant la même catégorie de triplet sujet-relation-objet (S-R-O) (par exemple, "personne frappant balle" de la Vidéo A et "personne frappant balle" de la Vidéo B).
   • Raison d'être : Puisque les sémantiques visuelles diffèrent entre les vidéos, le modèle est contraint de s'appuyer sur la trajectoire de mouvement partagée pour associer l'ancrage et les échantillons positifs.
2. Échantillonnage négatif (Deux stratégies) :
   • Basé sur le mélange (Shuffle-based) : Prend le tube d'ancrage et mélange temporellement les images ($\pi(H_a)$).
     • Défi : Les relations statiques (par exemple, "sur") ont peu de mouvement, rendant les versions mélangées identiques à l'original.
     • Solution : Les auteurs introduisent une Stratégie de Sélection de Mouvement Fort utilisant les bords du flux optique pour filtrer et sélectionner uniquement les tubes présentant une amplitude de mouvement significative pour le mélange.
   • Basé sur les triplets : Sélectionne des tubes négatifs provenant de la même vidéo mais avec des triplets S-R-O différents.
     • Stratégie : Utilise une distribution multinomiale pour échantillonner préférentiellement des triplets partageant des catégories visuelles (sujet/objet) avec l'ancrage mais ayant des relations différentes. Cela crée des "négatifs difficiles" qui forcent le modèle à distinguer les relations basées sur le mouvement plutôt que sur la similarité visuelle.

C. Transport Optimal pour la quantification des relations

Un défi critique consiste à mesurer la similarité entre deux tubes de masques de longueurs potentiellement différentes (durées d'événements différentes). Le regroupement standard échoue ici.

• Approche : Les auteurs traitent deux tubes de masques comme des distributions de probabilité discrètes ($\mu$ et $\nu$).
• Métrique : Ils utilisent la distance de Transport Optimal (OT) (spécifiquement en utilisant l'algorithme de Sinkhorn) pour trouver le coût minimum pour transporter une distribution vers l'autre.
• Avantage : Cela synchronise efficacement les états de mouvement de deux triplets, préservant l'évolution temporelle et la trajectoire des masques sans exiger qu'ils soient de longueur égale. Le score de similarité est dérivé comme $sim = \alpha - d_{OT}$.

3. Contributions clés

1. Cadre contrastif sensible au mouvement : Un nouveau paradigme d'apprentissage qui encourage explicitement le modèle à apprendre des représentations basées sur les motifs de mouvement en alignant des triplets S-R-O similaires à travers différentes vidéos et en les séparant de triplets mélangés temporellement ou visuellement similaires mais sémantiquement différents.
2. Transport Optimal pour l'alignement des tubes : L'introduction de la distance de Transport Optimal pour quantifier les relations entre des tubes de masques de longueurs variables, surmontant les limites du regroupement temporel dans la capture des dynamiques de mouvement.
3. Sélection de mouvement fort : Une stratégie heuristique utilisant le flux optique pour filtrer les relations statiques lors de l'échantillonnage négatif, garantissant que l'objectif contrastif reste efficace.
4. Performances de l'état de l'art : Démonstration d'améliorations significatives par rapport aux méthodes existantes sur les jeux de données de vidéos naturelles et 4D, en particulier dans la reconnaissance des relations dynamiques.

4. Résultats expérimentaux

La méthode a été évaluée sur OpenPVSG (vidéos naturelles) et PSG4D (vidéos 4D RGB-D et nuages de points).

• Jeux de données :
  • OpenPVSG : 400 vidéos (ViDOR, Epic-Kitchens, Ego4D).
  • PSG4D : Comprend PSG4D-GTA (troisième personne) et PSG4D-HOI (égocentrique).
• Métriques : Rappel à K (R@K) et rappel moyen à K (mR@K).
• Principales constatations :
  • Performance globale : La méthode proposée ("Ours") a surpassé de solides lignes de base (IPS+T-Convolution, IPS+T-Transformer, PSG4DFormer) sur toutes les métriques.
  • Relations dynamiques : Comme illustré dans la Figure 1, la méthode a considérablement amélioré les performances sur les prédicats dynamiques (par exemple, "frapper", "courir sur") par rapport aux lignes de base qui favorisaient les relations statiques (par exemple, "debout sur").
  • Données 4D : Des gains substantiels ont été obtenus sur les entrées de nuages de points et RGB-D, montrant une généralisabilité au-delà des vidéos 2D standard.
  • Études d'ablation :
    • Le retrait de la perte contrastive basée sur le mélange ou basée sur les triplets a dégradé les performances, celle basée sur les triplets étant légèrement plus fondamentale.
    • Le remplacement du Transport Optimal par un Regroupement standard + distance Cosine/L2 a entraîné une précision inférieure, confirmant la nécessité de préserver la structure temporelle.
    • Le seuil $\gamma$ pour la sélection des tubes de mouvement fort a montré un point optimal ; trop bas inclut du bruit statique, trop haut réduit le volume de données.

5. Signification

Ce travail comble le fossé entre la segmentation panoptique et le raisonnement temporel. En déplaçant l'accent des caractéristiques visuelles statiques vers des représentations sensibles au mouvement, l'article résout un goulot d'étranglement critique dans la génération de graphes de scène : l'incapacité à modéliser avec précision les interactions dynamiques.

• Impact technique : Il démontre que l'apprentissage contrastif, lorsqu'il est soigneusement conçu avec des contraintes spécifiques au domaine (tubes de masques, transport optimal), peut extraire efficacement les dynamiques temporelles que les couches de regroupement standard ignorent.
• Application : La capacité améliorée à comprendre les relations dynamiques est cruciale pour les agents autonomes, la robotique et les systèmes de surveillance intelligents qui doivent interagir avec ou prédire les actions humaines en temps réel.