💻 computer science

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

Cet article présente SCLARO, un ensemble de données à grande échelle comprenant 615 805 images annotées avec des informations ancrées sur les objets, les relations et les actions à travers divers scénarios, et propose ScenarioCLIP, un modèle d'évaluation à trois niveaux qui surpasse les méthodes existantes en matière de compréhension conjointe de scènes et de généralisation hors domaine.

Auteurs originaux : Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Publié 2026-07-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre une photographie.

La plupart des robots actuels sont comme des touristes munis d'un appareil photo : ils peuvent vous dire : « C'est l'image d'une femme mangeant du brocoli. » Ils saisissent bien l'image globale. Mais ils peinent avec les détails. Ils pourraient ne pas réaliser quelle femme tient la cuillère, ou que le brocoli est en réalité dans un bol, ou que le bol est posé sur une cuisinière. Ils voient la scène comme un flou d'objets plutôt que comme une histoire connectée.

Ce document présente une solution à ce problème, composée de deux parties principales : un nouveau manuel scolaire massif (le jeu de données) et un nouvel élève (le modèle d'IA) conçu pour apprendre à partir de celui-ci.

1. Le Manuel : SCLARO

Les auteurs ont créé une immense bibliothèque appelée SCLARO (Scene-Contextual Localisation of Actions, Relations & Objects). Considérez cela comme une collection de plus de 615 000 photos de la vie quotidienne — cuisines, rues, parcs et scènes de conduite.

Ce qui rend ce manuel spécial, c'est la façon dont il est annoté (étiqueté). Au lieu de simplement écrire une phrase au bas de la page, les auteurs ont décomposé chaque image en trois couches spécifiques de compréhension :

La Grande Histoire (Action Globale) : « Une femme mange du brocoli. »
La Distribution des Personnages (Objets) : « Femme », « Brocoli », « Bol », « Cuillère », « Cuisinière ».
Les Connexions (Relations) : C'est la recette secrète. Le livre ne se contente pas de lister les articles ; il dessine de petites boîtes de « projecteur » autour d'interactions spécifiques.
- Il met en évidence exactement où la femme tient la cuillère.
- Il met en évidence où le brocoli repose dans le bol.
- Il met en évidence où le bol est sur la cuisinière.

Les auteurs ont utilisé une équipe d'assistants IA pour lire les images, identifier les objets, puis dessiner ces boîtes de « projecteur » pour montrer exactement où l'action se déroule. Ils ont combiné des données provenant de cinq sources publiques différentes pour construire cette immense bibliothèque.

2. L'Élève : ScenarioCLIP

Pour prouver l'utilité de ce manuel, les auteurs ont conçu un nouveau modèle d'IA appelé ScenarioCLIP.

Imaginez un élève passant un examen.

Les Anciens Élèves (comme PyramidCLIP) : Ces modèles essaient d'apprendre toute l'image, les objets et les relations en même temps en utilisant un seul « cerveau ». C'est comme essayer d'écouter simultanément une symphonie, un solo de violon et un solo de batterie avec une seule oreille. Ils saisissent l'ambiance générale, mais ratent les notes spécifiques.
Le Nouvel Élève (ScenarioCLIP) : Ce modèle possède trois oreilles spécialisées (encodeurs) :
1. Une oreille écoute la scène entière (la grande histoire).
2. Une oreille se concentre uniquement sur les objets individuels (la distribution).
3. Une oreille se concentre uniquement sur les interactions (les connexions).

Pour s'assurer que ces trois oreilles ne se confondent pas ou ne se contredisent pas, le modèle utilise un système de « professeur » (appelé Distillation de Connaissances). Imaginez un professeur sage qui guide lentement l'élève, en disant : « Hé, le détail que tu vois dans la cuillère doit correspondre à l'histoire que tu racontes sur la femme. » Cela permet de maintenir la compréhension de l'élève cohérente à tous les niveaux.

3. Les Résultats : L'Élève a-t-il Réussi ?

Les auteurs ont testé ce nouvel élève par rapport aux anciens en utilisant une variété de défis :

Trouver la Bonne Image (Récupération Zero-Shot) : Si vous demandez à l'IA : « Montre-moi une image d'une femme tenant une cuillère », ScenarioCLIP est bien meilleur pour trouver la correspondance exacte que les anciens modèles. Il s'est considérablement amélioré dans l'identification d'objets et de relations spécifiques.
Repérer les Détails (Détection d'Objets) : Lorsqu'on lui demande de dessiner des boîtes autour des objets, le nouveau modèle est légèrement plus précis.
Comprendre l'Histoire (Classification de Graphe de Scène) : Lorsqu'on lui demande de décrire les relations (par exemple, « Que fait le brocoli ? »), le nouveau modèle est meilleur pour relier les points.
Le Test du « Monde Réel » (Généralisation) : Les auteurs ont testé le modèle sur des images qu'il n'avait jamais vues auparavant (provenant de différents jeux de données comme MS-COCO). Même s'il a été entraîné sur le manuel SCLARO, il n'a pas oublié comment gérer les images générales. En fait, il a obtenu de meilleurs résultats que les anciens modèles, prou

Résumé Technique : SCLARO et ScenarioCLIP

Problématique

Les paradigmes actuels de compréhension de scènes en vision par ordinateur font face à une lacune critique en matière de raisonnement ancré et multi-niveaux. Bien que les jeux de données de pré-entraînement vision-langage (VLP) à grande échelle fournissent des paires image-texte globales, ils manquent de la structure relationnelle et de l'ancrage nécessaires pour raisonner sur la composition fine d'une scène (c'est-à-dire les objets spécifiques, leurs relations entre objets et les actions accomplies). À l'inverse, les jeux de données de graphes de scènes existants (par exemple, Visual Genome, OpenPSG) offrent une structure relationnelle mais manquent de l'échelle et de la diversité d'annotation requises pour un pré-entraînement VLP efficace.

Par conséquent, les modèles comme CLIP peinent à distinguer des scénarios sémantiquement similaires mais contextuellement distincts (par exemple, « une personne tenant un sac » vs « une personne tenant un parapluie ») car ils manquent de supervision relationnelle ancrée pendant l'entraînement. De plus, les modèles hiérarchiques comme PyramidCLIP, qui alignent les caractéristiques globales et au niveau de l'objet, ne parviennent pas à modéliser explicitement les relations entre objets, laissant inquantifiée l'efficacité de la supervision contextuelle ancrée.

Méthodologie

1. Le jeu de données SCLARO

Pour combler ce fossé de données, les auteurs introduisent SCLARO (Scene-Contextual Localisation of Actions, Relations & Objects), un corpus de 615 805 images couvrant des scénarios intérieurs, extérieurs et de conduite. Le jeu de données est construit à partir de cinq sources publiques : CC3M, OpenPSG, Panoptic Video Scene Graph (PVSG), Multi-Moments in Time et KITTI2015.

Le jeu de données est unique par sa structure d'annotation à trois niveaux, générée via un pipeline automatisé en trois étapes :

Étape 1 (Annotation structurée de la scène) : Un modèle de vision-langage en poids ouverts (Ovis-Gemma 9B) génère une légende d'action globale, une liste d'instances d'objets et un ensemble de triplets de relations (objet1, relation, objet2).
Étape 2 (Localisation d'objets) : GroundingDINO prédit les boîtes englobantes (bounding boxes) pour tous les objets identifiés.
Étape 3 (Construction de régions focalisées) : En utilisant SAM (Segment Anything Model) et une pondération par fonction de base radiale (RBF), le pipeline construit des régions focalisées sur les relations. Ce sont des recadrages d'images spécifiques qui mettent en évidence le contexte spatial où une interaction particulière se produit (par exemple, la région où une « femme » « tient » un « bol »), fournissant un ancrage visuel explicite pour la supervision au niveau de la relation.

Le jeu de données final comprend 740 classes d'actions, 4 812 classes d'objets et 225 609 triplets de relations uniques.

2. Le modèle ScenarioCLIP

Pour évaluer SCLARO, les auteurs proposent ScenarioCLIP, un modèle vision-langage hiérarchique à trois niveaux conçu pour encoder conjointement le contexte global, les objets et les relations.

Architecture : Contrairement à PyramidCLIP, qui utilise un encodeur partagé pour tous les niveaux, ScenarioCLIP emploit des encodeurs désengagés :
- Trois encodeurs visuels distincts ( $f_{V,G}, f_{V,O}, f_{V,R}$ ) pour les images globales, les recadrages d'objets et les régions focalisées sur les relations, respectivement.
- Trois encodeurs textuels distincts ( $f_{T,G}, f_{T,O}, f_{T,R}$ ) pour les légendes d'action, les noms d'objets et les triplets de relations.
Objectifs d'entraînement :
- Alignement contrastif ( $L_{CA}$ ) : Aligne les plongements (embeddings) visuels et textuels à chaque niveau de manière indépendante (Global-Global, Objet-Objet, Relation-Relation) en utilisant une perte de contraste image-texte symétrique.
- Distillation de connaissances ( $L_{KD}$ ) : Un mécanisme enseignant-élève par moyenne mobile exponentielle (EMA) impose une cohérence sémantique à travers les niveaux hiérarchiques.
  - Modalité Visuelle : L'enseignant visuel global régularise les plongements locaux d'objets et de relations (contexte global $\to$ local).
  - Modalité Textuelle : La direction est inversée ; les plongements textuels d'objets et de relations plus fins régularisent le plongement textuel global (détails locaux $\to$ global), car les descriptions spécifiques fournissent un contenu plus précis que les légendes d'action générales.

Contributions clés

Jeu de données SCLARO : Un jeu de données ancré à grande échelle fournissant des légendes d'action, des boîtes englobantes d'objets et des régions focalisées sur les relations à travers divers domaines visuels, comblant le fossé entre l'échelle du VLP et la structure des graphes de scènes.
ScenarioCLIP : Un modèle à trois niveaux avec des encodeurs désengagés et une distillation de connaissances intra-modale asymétrique, démontrant qu'une supervision explicite au niveau des relations améliore la qualité des représentations.
Évaluation exhaustive : Un protocole d'évaluation couvrant la recherche zero-shot, le sondage linéaire (linear probing), la détection d'objets, la classification de prédicats et la classification de graphes de scènes, ainsi que la généralisation hors domaine, établissant SCLARO comme un standard pour la compréhension au niveau des scénarios.

Résultats expérimentaux

Les auteurs évaluent ScenarioCLIP par rapport à PyramidCLIP et à diverses lignes de base zero-shot (CLIP, SLIP, TripletCLIP, FineCLIP) à travers plusieurs tâches :

Recherche Zero-Shot : ScenarioCLIP surpasse substantiellement PyramidCLIP et les lignes de base. Des gains notables sont observés dans la recherche d'Objets (Top-1 : +14,19 % par rapport à PyramidCLIP) et de Relations (Top-1 : +3,13 %). Les résultats indiquent que les encodeurs désengagés apprennent de meilleures représentations que les encodeurs partagés pour les tâches fines.
Sondage Linéaire (Linear Probe) : ScenarioCLIP atteint une précision Top-1 plus élevée pour les Actions, les Objets et les Relations par rapport à PyramidCLIP.
Classification de Prédicats et de Graphes de Scènes : ScenarioCLIP améliore le rappel moyen à K (mR@K) tant pour la classification de prédicats (PredCls) que pour la classification de graphes de scènes (SGCls), confirmant une meilleure capacité de raisonnement relationnel.
Détection d'Objets : En utilisant des têtes Faster R-CNN, ScenarioCLIP montre des gains constants en précision moyenne (AP) par rapport à PyramidCLIP, suggérant que les représentations d'objets désengagées servent de meilleur fondement (backbone).
Généralisation Hors-Domaine : Sur des benchmarks externes (MS-COCO et Visual Genome), ScenarioCLIP égale ou dépasse le vanilla CLIP et surpasse significativement PyramidCLIP. Cela indique que le pré-entraînement SCLARO ne provoque pas d'oubli catastrophique et que le pré-entraînement focalisé sur les relations se transfère efficacement à des domaines non vus.

Signification et Revendications

L'article affirme que SCLARO et ScenarioCLIP démontrent la valeur d'une supervision ancrée au niveau des relations dans le pré-entraînement vision-langage. Les auteurs soutiennent que :

Les modèles antérieurs manquant de modélisation relationnelle explicite (comme PyramidCLIP) sont limités dans leur capacité à raisonner sur les structures de scènes compositionnelles.
Le jeu de données SCLARO comble un vide critique en fournissant des données à l'échelle du pré-entraînement qui associent des textes spécifiques aux relations avec des régions spatialement ancrées.
L'architecture désengagée de ScenarioCLIP, combinée à la distillation de connaissances asymétrique, produit une performance supérieure dans la compréhension des objets et des relations sans sacrifier les capacités générales.

Les auteurs positionnent ce travail comme une fondation pour les recherches futures sur la compréhension de scènes ancrée et compositionnelle, incluant la génération de graphes de scènes et le raisonnement relationnel. Ils reconnaissent modestement certaines limites, notant que le jeu de données repose sur un pipeline automatisé (pouvant conserver certaines hallucinations) et que le vocabulaire des relations est naturellement à longue traîne.