💻 computer science

Revisiting Weakly-Supervised Video Scene Graph Generation via Pair Affinity Learning

Ce papier propose une méthode de génération de graphes de scènes vidéo faiblement supervisée qui améliore les performances en apprenant une affinité de paires pour filtrer les interactions non pertinentes et en utilisant un appariement conscient des relations pour affiner les étiquettes pseudo-générées.

Auteurs originaux : Minseok Kang, Minhyeok Lee, Minjung Kim, Jungho Lee, Donghyeong Kim, Sungmin Woo, Inseok Jeon, Sangyoun Lee

Publié 2026-03-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minseok Kang, Minhyeok Lee, Minjung Kim, Jungho Lee, Donghyeong Kim, Sungmin Woo, Inseok Jeon, Sangyoun Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : Le Chef d'Orchestre qui a perdu ses partitions

Imaginez que vous essayez d'enseigner à un robot à comprendre une vidéo. Votre objectif est de lui faire décrire ce qui se passe en utilisant des phrases simples comme : "Une personne tient une tasse" ou "Un chien court derrière une voiture".

En informatique, on appelle cela générer un graphe de scène vidéo.

Le problème, c'est que pour apprendre cela, on a besoin de milliers d'exemples où un humain a soigneusement dessiné des cadres autour de chaque objet et écrit exactement qui fait quoi. C'est comme demander à un chef d'orchestre de noter chaque note jouée par chaque musicien, à chaque seconde. C'est trop long, trop cher et trop fastidieux.

Les chercheurs ont donc essayé une méthode "faible" (Weakly-Supervised) : ils donnent au robot seulement le texte (ex: "une personne tient une tasse") sans les cadres dessinés. Le robot doit deviner lui-même où sont les objets.

🚨 Le Drame : Le Robot est submergé de bruit

Voici où ça coince :

Le robot utilise un détecteur "tout-venant" : Comme il n'a pas de cadres précis, il utilise un détecteur générique qui repère tout ce qui bouge ou ressemble à un objet.
La confusion : Dans une vidéo, il y a des centaines d'objets. Si le texte dit "personne tient une tasse", le détecteur va voir la personne, la tasse, mais aussi un autre verre sur la table, un vase, une chaise, etc.
Le résultat : Le robot essaie de créer des liens entre tous ces objets. Il va dire "La personne tient le vase" (faux) ou "La personne tient la chaise" (faux). C'est comme si un traducteur essayait de traduire une phrase en français, mais qu'il prenait en compte tous les mots du dictionnaire, pas seulement ceux de la phrase. Le résultat est un chaos de fausses relations.

💡 La Solution : L'approche "PALS" (Le Filtre Intelligent)

Les auteurs de ce papier (de l'Université Yonsei et LG) ont créé une nouvelle méthode pour trier le bon grain de l'ivraie. Ils utilisent trois astuces principales, que l'on peut comparer à un processus de recrutement très sélectif.

1. RAM : Le Recruteur qui lit entre les lignes (Relation-Aware Matching)

Avant même d'entraîner le robot, ils utilisent un outil très puissant (un modèle de vision-langage) pour faire le tri.

L'analogie : Imaginez que vous cherchez "la tasse que la personne tient". Un recruteur classique dirait : "Toutes les tasses dans la pièce sont candidates".
La méthode RAM : Le recruteur intelligent lit la phrase complète. Il regarde la vidéo et dit : "Attends, cette tasse est sur l'étagère, elle ne peut pas être tenue. Cette autre tasse est dans la main de la personne. C'est celle-là !"
Le résultat : Ils nettoient les données d'entraînement pour ne garder que les paires d'objets qui ont vraiment du sens ensemble, éliminant les fausses pistes dès le début.

2. PALS : Le "Feu Vert" de l'interaction (Pair Affinity Learning & Scoring)

C'est le cœur de leur invention. Ils apprennent au robot une nouvelle compétence : sentir si deux objets interagissent vraiment, même avant de savoir comment ils interagissent.

L'analogie : Imaginez une soirée où des gens discutent.
- Le robot classique regarde tout le monde et essaie de deviner qui parle à qui.
- Le robot avec PALS a un "sixième sens". Il regarde deux personnes et se demande : "Est-ce qu'ils sont en train d'interagir ?".
- S'il voit une personne et une tasse qui sont loin l'une de l'autre, le "score d'affinité" est bas (Feu Rouge). Le robot ignore cette paire.
- S'il voit une personne et une tasse dans sa main, le score est haut (Feu Vert).
L'astuce : À la fin, le robot ne classe pas les réponses par ordre de "confiance de détection", mais par "probabilité d'interaction". Il rejette automatiquement les objets qui sont là mais qui ne font rien.

3. PAM : Le Chef d'Orchestre qui coupe le micro (Pair Affinity Modulation)

Même si le robot a un bon sens de l'interaction, il écoute encore trop de "bruit" pendant qu'il réfléchit.

L'analogie : Imaginez que le robot est dans une pièce remplie de gens qui parlent (les objets). Pour comprendre une conversation, il doit écouter les autres. Mais si tout le monde parle en même temps, il ne comprend rien.
La méthode PAM : C'est comme si le robot avait un bouton pour couper le micro des gens qui ne sont pas impliqués dans la conversation. Si la "tasse" n'interagit pas avec la "personne", le robot baisse le volume de la "tasse" dans son cerveau. Cela permet au robot de se concentrer uniquement sur les relations importantes, comme si on isolait les musiciens qui jouent la mélodie principale et qu'on coupait le son des autres instruments.

🏆 Le Résultat : Un Robot plus intelligent et plus rapide

En combinant ces trois techniques :

Ils nettoient les données d'entraînement (RAM).
Ils apprennent au robot à rejeter les paires inutiles (PALS).
Ils empêchent le bruit de perturber la réflexion du robot (PAM).

Le résultat est un système qui, même sans avoir vu de cadres dessinés par des humains, comprend les vidéos presque aussi bien que les systèmes qui en ont vu des milliers. Ils ont réussi à combler l'écart entre l'apprentissage "faible" (peu de données) et l'apprentissage "fort" (beaucoup de données).

En résumé : C'est comme passer d'un détective qui note tout ce qu'il voit dans une pièce (et qui se trompe souvent) à un détective qui sait instinctivement qui est complice de qui, en ignorant les passants qui ne sont rien.

1. Problématique et Contexte

La génération de graphes de scènes vidéo (VSGG) vise à parser le contenu vidéo en triplets structurés de la forme <sujet, prédicat, objet> pour capturer les interactions spatiales et temporelles. Bien que la génération supervisée (FS-VSGG) soit performante, elle nécessite des annotations exhaustives (boîtes englobantes et triplets) pour chaque image, ce qui est coûteux et difficile à obtenir à grande échelle.

La génération faiblement supervisée (WS-VSGG) tente de réduire ce coût en n'utilisant que des triplets non localisés (classes uniquement) sur une seule image par vidéo, sans boîtes englobantes. Cependant, les méthodes existantes souffrent d'un décalage fondamental entre l'entraînement et l'inférence :

En FS-VSGG : Les détecteurs sont entraînés sur des données de graphes de scènes et filtrent naturellement les objets non interactifs.
En WS-VSGG : Les méthodes utilisent des détecteurs "hors de la boîte" (off-the-shelf) qui détectent tous les objets visibles, y compris ceux qui n'interagissent pas. Cela inonde le modèle de relations avec des paires d'objets bruyantes et non interactives.
Le problème central : Les modèles actuels sont entraînés uniquement sur les paires appariées (positives) et ignorent les paires non appariées (négatives) lors de l'entraînement. Pourtant, à l'inférence, ils doivent opérer sur un espace de détection dominé par des paires non interactives, créant un écart de distribution sévère et dégradant les performances.

2. Méthodologie Proposée

Les auteurs proposent un cadre unifié composé de trois composants principaux pour combler cet écart :

A. Appariement Conscient des Relations (Relation-Aware Matching - RAM)

Pour générer des étiquettes d'entraînement plus propres, les auteurs améliorent l'étape d'appariement entre les triplets annotés et les détections d'objets.

Problème : L'appariement par classe (class-level matching) attribue faussement une étiquette positive à tous les objets d'une même classe (ex: tous les "tasses"), même ceux qui ne sont pas tenus par la personne.
Solution : RAM utilise des modèles Vision-Langage (VL) comme GroundingDINO pour ancrer les descriptions relationnelles sur des instances spécifiques. Pour un triplet <personne, tenant, tasse>, le modèle génère une requête textuelle ("la tasse que la personne tient") et utilise les cartes d'attention croisée pour localiser l'instance spécifique.
Fiabilité : Un score de fiabilité est calculé basé sur la concentration spatiale de l'attention. Si l'attention est diffuse, le système revient à l'appariement par classe ; sinon, il sélectionne l'instance la plus cohérente. Cela réduit considérablement le bruit dans les pseudo-étiquettes.

B. Apprentissage et Notation de l'Affinité de Paire (Pair Affinity Learning and Scoring - PALS)

C'est le cœur de l'approche pour distinguer les interactions.

Architecture : Le modèle de prédiction de relations possède deux têtes d'embedding parallèles :
1. Une embedding de relation pour la classification du prédicat.
2. Une embedding d'affinité de paire pour estimer la probabilité qu'une paire sujet-objet participe à n'importe quelle interaction (binaire).
Entraînement : Contrairement aux pipelines classiques qui jettent les paires non appariées, PALS utilise toutes les paires détectées :
- Les paires appariées (via RAM) servent de supervision positive pour l'affinité.
- Les paires non appariées servent de supervision négative.
Inférence : Le score d'affinité ($PA$) est intégré dans le score final de classement des triplets :
$Score(s, p, o) = conf_s \cdot conf_o \cdot PC_p \cdot PA_{(s,o)}$
Cela permet de supprimer les paires non interactives même si elles ont une haute confiance de détection.

C. Modulation de l'Affinité de Paire (Pair Affinity Modulation - PAM)

Même avec un bon classement en sortie, les paires non interactives peuvent corrompre le raisonnement contextuel interne du modèle (via les mécanismes d'attention).

Fonctionnement : PAM utilise les embeddings d'affinité pour créer une matrice d'affinité par paire ( $G_i$ ). Cette matrice sert de "masque" (gating) sur les logits d'attention spatiale et temporelle.
Effet : Les paires à faible affinité (non interactives) voient leur flux d'information vers les autres paires réduit, tandis que les paires interactives peuvent mieux se concentrer les unes sur les autres. Cela améliore la prédiction des prédicats en réduisant le bruit contextuel.

3. Contributions Clés

Identification du décalage de distribution : Mise en évidence du fait que les détecteurs génériques en WS-VSGG introduisent un bruit massif de paires non interactives, négligé par les travaux précédents.
Apprentissage binaire d'affinité : Introduction d'un module d'apprentissage explicite pour distinguer les paires interactives des non-interactives, en utilisant les paires non appariées comme supervision négative.
Amélioration des pseudo-étiquettes (RAM) : Utilisation de modèles Vision-Langage pour résoudre l'ambiguïté de classe lors de la génération de données d'entraînement, fournissant un signal d'apprentissage plus propre.
Modulation contextuelle (PAM) : Un module plug-and-play qui filtre le bruit contextuel au niveau des mécanismes d'attention, améliorant la robustesse du raisonnement temporel et spatial.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Action Genome (AG) avec le protocole SGDet (détection de scène graphique).

Performance : La méthode atteint des performances State-of-the-Art (SOTA) en WS-VSGG.
- Sur la configuration "With Constraint" (R@10), l'approche améliore les baselines existantes (PLA, TRKT) de manière significative (gain moyen de +5.47 points).
- La meilleure configuration atteint 88,3 % de la performance des modèles entièrement supervisés (Upper Bound) en R@10, réduisant considérablement l'écart entre supervision faible et forte.
Études d'ablation :
- RAM seul apporte un gain modeste, mais il est crucial pour améliorer la qualité de l'apprentissage de l'affinité (PALS).
- PALS apporte le gain individuel le plus important, confirmant que la capacité à filtrer les paires non interactives est le goulot d'étranglement principal.
- PAM améliore encore les résultats, particulièrement pour les métriques strictes (R@10), en purifiant le contexte d'attention.
Efficacité : L'ajout de PALS et PAM n'augmente les paramètres que de ~1,27 % et a un impact négligeable sur la latence d'inférence. RAM est une étape de prétraitement qui n'affecte pas l'inférence.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la génération de graphes de scènes faiblement supervisés. Au lieu de simplement adapter des architectures existantes, les auteurs réexaminent la distribution des données d'entrée et proposent de modéliser explicitement l'interactivité des objets.

Généralité : Le cadre est agnostique au modèle de relation (fonctionne avec STTran, DSG-DETR) et au type de supervision faible (efficace même avec des légendes vidéo au lieu de triplets).
Perspective future : La démonstration que l'apprentissage d'une "affinité d'interaction" est crucial ouvre la voie à des applications plus larges en apprentissage faiblement supervisé pour la compréhension vidéo, où la distinction entre objets présents et objets pertinents pour une action est souvent floue.

En résumé, cette paper résout le problème de bruit inhérent aux détecteurs génériques en WS-VSGG en introduisant un mécanisme d'apprentissage et de modulation basé sur l'affinité des paires, permettant d'atteindre des performances proches de la supervision complète avec un coût d'annotation minimal.