💻 computer science

SceneGraphVLM: Dynamic Scene Graph Generation from Video with Vision-Language Models

SceneGraphVLM est un modèle vision-langage compact, entraîné en deux étapes, qui génère des graphes de scène de haute précision à partir d'images et de vidéos avec une latence d'environ une seconde en utilisant un format de sérialisation TOON économe en tokens et un apprentissage par renforcement conscient des hallucinations.

Auteurs originaux : Vladislav Makarov, Mark Gizetdinov, Dmitry Yudin

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vladislav Makarov, Mark Gizetdinov, Dmitry Yudin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous observez une scène de rue animée. Un système de vision par ordinateur traditionnel pourrait essayer de lister chaque chose qu'il voit : « voiture, voiture, voiture, arbre, arbre, personne, personne... » puis tenter de deviner comment elles sont connectées. Souvent, cela aboutit à une liste désordonnée et accablante, pleine d'erreurs, comme dire qu'un nuage « touche » une voiture simplement parce qu'ils sont proches sur l'image.

SceneGraphVLM est une nouvelle méthode conçue pour nettoyer ce désordre. Imaginez-le comme un narrateur intelligent et efficace qui observe une image ou une vidéo et rédige instantanément une courte histoire structurée sur ce qui se passe, en se concentrant uniquement sur ce qui est réellement présent.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Conteur « Trop Enthousiaste »

Les modèles d'IA précédents qui tentaient de faire cela étaient comme un guide touristique trop enthousiaste. Ils vous disaient tout, y compris des choses qui n'étaient pas là (hallucinations) ou répétaient les mêmes faits encore et encore. Ils étaient également lents et produisaient un texte très long et désordonné, difficile à lire pour d'autres ordinateurs.

2. La Solution : Un Style « Télégraphique » (Format TOON)

Les auteurs ont réalisé que la manière dont l'IA rédige son histoire compte. Au lieu d'utiliser un format lourd comme JSON (qui équivaut à écrire une lettre avec beaucoup de mots superflus comme « L'objet est... », « La relation est... »), ils ont inventé un format TOON.

L'Analogie : Imaginez envoyer un message par télégramme où vous payez au mot. Vous n'écririez pas « Le chat est assis sur le tapis. » Vous écririez « Chat, assis, tapis. »
Le Résultat : SceneGraphVLM utilise ce style « télégraphique ». Il élimine tout le superflu, rendant la sortie beaucoup plus courte, plus rapide à générer et plus facile à comprendre pour les ordinateurs. Cela économise environ 15 à 20 % de l'« espace » nécessaire pour décrire la même scène.

3. L'Entraînement : Apprendre en Faisant (et en étant Corrigé)

Le modèle est entraîné en deux étapes distinctes, comme un étudiant apprenant une nouvelle compétence :

Étape 1 : Affinement Supervisé (SFT) – La Phase « Copieur » :
L'IA est exposée à des milliers d'images et de leurs descriptions parfaites. Elle apprend à imiter ce style. Elle apprend les règles : « Si je vois un chien, je dois écrire « chien » et son emplacement. »
Étape 2 : Apprentissage par Renforcement (RL) – La Phase « Coach Strict » :
C'est l'ingrédient secret. Dans la première étape, l'IA pourrait encore inventer des choses qui ne sont pas là (hallucinations) juste pour être prudente. Dans cette deuxième étape, un « coach » (un système de récompense) observe l'IA.
- La Règle : Si l'IA invente une relation qui n'existe pas (par exemple, dire qu'une personne « tient » un nuage), le coach lui inflige une pénalité.
- L'Objectif : L'IA apprend qu'il vaut mieux être précise et ne dire que ce qu'elle voit, plutôt que de tout deviner. Elle trouve un équilibre entre exhaustivité et exactitude.

4. Le Superpouvoir Vidéo : « Mémoire » sans Suivi

Lors de la lecture d'une vidéo, les choses changent d'une image à l'autre. L'IA vidéo traditionnelle a besoin d'un « suiveur » complexe pour suivre une personne d'une seconde à l'autre, comme un garde de sécurité suivant un suspect.

SceneGraphVLM procède différemment. Il traite la vidéo comme une conversation.

L'Analogie : Imaginez que vous décrivez une scène de film à un ami. Vous ne repartez pas de zéro chaque seconde. Vous dites : « D'accord, le gars est toujours là, mais maintenant il marche vers la gauche. »
Comment ça marche : L'IA observe l'image actuelle et se souvient brièvement de l'« histoire » qu'elle vient de raconter sur l'image précédente. Elle utilise cette mémoire pour rester cohérente sans avoir besoin d'un système de suivi lourd. Cela maintient la description vidéo fluide et rapide.

5. Les Résultats : Rapide et Précis

L'article a testé cela sur trois grands ensembles de données (PSG, PVSG et Action Genome).

Vitesse : Il peut générer une description complète d'une scène en environ une seconde. C'est assez rapide pour des applications quasi temps réel.
Qualité : Il est bien meilleur pour ne rien inventer par rapport aux anciennes méthodes. Alors que d'autres modèles pourraient générer un réseau désordonné de 20 connexions (dont beaucoup sont fausses), SceneGraphVLM génère un réseau serré et propre de 5 à 6 connexions qui sont réellement vraies.
Efficacité : Il fonctionne bien même sur des puces informatiques plus petites et moins chères (en utilisant un petit modèle appelé Qwen3.5-0.8B), prouvant que vous n'avez pas besoin d'un superordinateur massif pour obtenir de bons résultats si vous utilisez le bon format « télégraphique » et la bonne méthode d'entraînement.

Résumé

SceneGraphVLM est une IA légère et rapide qui transforme les images et les vidéos en histoires propres et structurées. Elle utilise un langage abrégé pour gagner du temps, apprend d'un « coach strict » pour arrêter d'inventer des choses, et se souvient du moment précédent pour maintenir la cohérence des descriptions vidéo, le tout sans avoir besoin de systèmes de suivi lourds et complexes.

Résumé Technique : SceneGraphVLM

Énoncé du Problème

La génération de graphes de scène (SGG) vise à représenter les scènes visuelles sous forme de graphes structurés et compacts, où les nœuds désignent des objets et les arêtes encodent les relations. Bien qu'essentielle pour des tâches en aval telles que la robotique et l'analyse vidéo, la génération de graphes de scène précis, structurellement valides et compacts reste un défi. Les pipelines multi-étapes traditionnels souffrent de la propagation des erreurs et de leur fragilité. Les approches récentes basées sur les modèles vision-langage (VLM) offrent une génération de bout en bout, mais produisent souvent des sorties longues et inefficaces en termes de tokens, contenant des objets non pertinents et des relations hallucinées. De plus, les méthodes existantes basées sur les VLM privilégient fréquemment le rappel, conduisant à des graphes excessivement complets qui diluent l'information utile et réduisent la fiabilité pour la prise de décision. Étendre ces défis à la vidéo, maintenir la cohérence temporelle sans suivi complexe ni post-traitement, reste un problème ouvert.

Méthodologie

Les auteurs proposent SceneGraphVLM, une méthode compacte de bout en bout pour la génération de graphes de scène sur images et vidéos, utilisant de petits modèles vision-langage. La méthodologie repose sur trois piliers fondamentaux :

1. Sérialisation Efficace en Tokens (Format TOON)

Pour répondre aux coûts de décodage élevés et à la longueur des représentations JSON standard, les auteurs sérialisent les graphes de scène dans un format TOON. Ce schéma stocke les objets sous forme de lignes sous un en-tête partagé et les relations dans des blocs compacts, supprimant les clés répétées et la boilerplate imbriquée. Cela réduit la longueur des annotations d'environ 1,17× à 1,24× sur les ensembles de données (PSG, PVSG, Action Genome) tout en préservant toutes les informations relatives aux objets, aux boîtes englobantes et aux relations, accélérant ainsi la génération et réduisant la latence.

2. Pipeline d'Entraînement en Deux Étapes

Le modèle subit un processus d'optimisation en deux étapes :

Affinement Supervisé (SFT) : Le VLM de base (spécifiquement Qwen3.5-0.8B) est entraîné pour mapper les entrées visuelles vers le schéma TOON cible. Cette étape apprend au modèle à suivre le format requis, à utiliser les vocabulaires spécifiques aux ensembles de données et à produire des sorties structurées parsables.
Apprentissage par Renforcement (RL) avec GRPO : Pour optimiser la qualité au niveau du graphe au-delà de la supervision au niveau des tokens, les auteurs utilisent l'optimisation de politique relative par groupe (GRPO). Crucialement, ils introduisent des récompenses conscientes des hallucinations qui équilibrent la couverture des relations avec la précision. La fonction de récompense totale ( $R_{total}$ $R_{t o t a l}$ ) combine :
- Récompenses de Base du Graphe : Validité du format, classification des objets et localisation des objets (via l'appariement hongrois et l'IoU).
- Récompenses d'Équilibre des Relations : Termes basés sur la précision et le F1 pour empêcher le modèle de sur-générer des relations afin de maximiser le rappel.
- Pénalités d'Hallucination : Pénalités explicites pour les objets et relations non appariés (non étayés), décourageant la génération d'entités non ancrées.

3. Inférence Vidéo avec Contexte Temporel

Pour les séquences vidéo, SceneGraphVLM traite les images séquentiellement. Il peut conditionner la génération du graphe de l'image courante sur le graphe généré pour l'image précédente. Cela fournit un contexte temporel à court terme léger sans nécessiter de modules de suivi séparés. Les auteurs évaluent deux protocoles :

GT-prompt : Utilisation de graphes précédents de vérité terrain (réglage oracle).
Generated-prompt : Utilisation des prédictions précédentes du modèle lui-même (réglage de déploiement réaliste), testant la robustesse face à la propagation des erreurs.

Contributions Clés

Architecture SceneGraphVLM : Une méthode compacte de bout en bout utilisant de petits VLM (par exemple Qwen3.5-0.8B) et la représentation TOON efficace en tokens, atteignant de forts compromis qualité-vitesse.
Entraînement Conscient des Hallucinations : L'introduction d'un entraînement basé sur GRPO avec des récompenses orientées graphe pénalisant explicitement les objets et relations non étayés, équilibrant le rappel avec la précision pour produire des graphes compacts et ancrés.
SGG Vidéo Efficace : Une approche légère pour la génération de graphes de scène vidéo exploitant les graphes d'images précédentes pour le contexte temporel sans post-traitement complexe, atteignant une inférence quasi temps réel.

Résultats Expérimentaux

La méthode a été évaluée sur PSG (Panoptic Scene Graph), PVSG (Panoptic Video Scene Graph) et Action Genome.

Performance vs. Baselines : Sur PSG, SceneGraphVLM atteint un score SGG de 0,442 (Strict) et 0,460 (Souple), surpassant les VLM commerciaux zero-shot (par exemple Gemini-3-flash à 0,318) et les modèles open-source plus grands. Il améliore significativement les métriques orientées précision par rapport aux baselines lourdes en rappel comme R1-SGG.
Performance Vidéo : Sur PVSG, le modèle démontre une robustesse dans le réglage Generated-prompt. L'étape RL améliore le score SGG Strict de 19 % (de 0,306 à 0,365) par rapport au checkpoint SFT uniquement, surpassant toutes les baselines commerciales et open-source.
Efficacité : En exploitant le format TOON et le décodage accéléré par vLLM, SceneGraphVLM génère des graphes de scène complets en environ 0,64 seconde pour les images et 1,07 seconde pour les vidéos sur une seule GPU A100.
Action Genome : Le modèle atteint une Précision@50 de 38,74 et un F1@50 de 30,75, surpassant largement la baseline OED (P@50=8,02, F1@50=13,37) en précision, démontrant sa capacité à éviter les relations hallucinées.

Signification et Revendications

L'article revendique que SceneGraphVLM établit un nouveau compromis qualité-vitesse pour la génération de graphes de scène génératifs. En combinant une représentation efficace en tokens avec un apprentissage par renforcement conscient de la précision, la méthode permet aux petits VLM de produire des graphes de scène fiables, compacts et visuellement ancrés, adaptés à des applications quasi temps réel. Les auteurs soulignent que leur approche adresse le mode de défaillance courant des SGG basés sur les VLM — la sur-génération et l'hallucination — en pénalisant explicitement le contenu non étayé pendant l'entraînement. La capacité à maintenir la cohérence temporelle dans les vidéos en utilisant uniquement le graphe généré précédemment, sans suivi externe, est mise en avant comme une étape significative vers un déploiement pratique en robotique et en analyse vidéo.

Les auteurs notent des limitations, notamment la dépendance à des ensembles de données à vocabulaire fermé, une accumulation potentielle d'erreurs dans les séquences vidéo et le besoin de ressources GPU spécifiques pour l'inférence temps réel, mais affirment que la méthode fournit une base pratique pour les SGG basés sur les VLM dans les tâches en aval.