💻 computer science

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

Dit artikel introduceert SCLARO, een grootschalige dataset met 615.805 afbeeldingen geannoteerd met gegronde object-, relatie- en actie-informatie over diverse scenario's, en stelt ScenarioCLIP voor, een drielaags benchmarkmodel dat bestaande methoden overtreft in gezamenlijk scènebegrip en out-of-domain generalisatie.

Oorspronkelijke auteurs: Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een foto moet begrijpen.

De meeste huidige robots zijn als toeristen met een camera: ze kunnen je vertellen: "Dit is een foto van een vrouw die broccoli eet." Ze krijgen het grote plaatje goed. Maar ze worstelen met de details. Ze merken misschien niet dat het welke vrouw de lepel vasthoudt, of dat de broccoli eigenlijk in een kom zit, of dat de kom op een fornuis staat. Ze zien de scène als een waas van objecten in plaats van een verbonden verhaal.

Dit artikel introduceert een oplossing voor dat probleem, bestaande uit twee hoofdonderdelen: een enorme nieuwe leerstof (de dataset) en een nieuwe student (het AI-model) die ontworpen is om ervan te leren.

1. De leerstof: SCLARO

De auteurs hebben een gigantische bibliotheek gemaakt genaamd SCLARO (Scene-Contextualisation of Actions, Relations & Objects). Denk aan een collectie van meer dan 615.000 foto's uit het dagelijs leven — keukens, straten, parken en rijsituaties.

Wat deze leerstof bijzonder maakt, is hoe deze geannoteerd (gelabeld) is. In plaats van alleen een zin onderaan de pagina te schrijven, hebben de auteurs elke afbeelding onderverdeeld in drie specifieke lagen van begrip:

Het Grote Verhaal (Global Action): "Een vrouw eet broccoli."
De Cast van Personages (Objects): "Vrouw," "Broccoli," "Kom," "Lepel," "Fornuis."
De Verbindingen (Relations): Dit is het geheime ingrediënt. Het boek somt niet alleen de items op; het tekent kleine "spotlight"-kaders rond specifieke interacties.
- Het markeert precies waar de vrouw de lepel vasthoudt.
- Het markeert waar de broccoli in de kom ligt.
- Het markeert waar de kom op het fornuis staat.

De auteurs gebruikten een team van AI-assistenten om de afbeeldingen te lezen, de objecten te identificeren en vervolgens deze "spotlight"-kaders te tekenen om precies aan te geven waar de actie plaatsvindt. Ze combineerden gegevens van vijf verschillende publieke bronnen om deze enorme bibliotheek op te bouwen.

2. De Student: ScenarioCLIP

Om te bewijzen dat deze leerstof nuttig is, hebben de auteurs een nieuw AI-model gebouwd genaamd ScenarioCLIP.

Stel je een student voor die een toets maakt.

Oude Studenten (zoals PyramidCLIP): Deze modellen proberen het hele plaatje, de objecten en de relaties allemaal tegelijk te leren met één enkele "hersenen". Het is alsof je tegelijkertijd naar een symfonie, een vioolsolo en een drumsolo luistert met één oor. Ze krijgen de algemene sfeer mee, maar missen de specifien noten.
De Nieuwe Student (ScenarioCLIP): Dit model heeft drie gespecialiseerde oren (encoders):
1. Eén oor luistert naar de hele scène (het grote verhaal).
2. Eén oor focust alleen op individuele objecten (de cast).
3. Eén oor focust alleen op de interacties (de verbindingen).

Om ervoor te zorgen dat deze drie oren niet in de war raken of elkaar tegenspreken, gebruikt het model een "leraar"-systeem (genaamd Knowledge Distillation). Stel je een wijze leraar voor die de student langzaam begeleidt door te zeggen: "Hé, het detail dat je ziet bij de lepel moet overeenkomen met het verhaal dat je vertelt over de vrouw." Dit houdt het begrip van de student consistent op alle niveaus.

3. De Resultaten: Is de student geslaagd?

De auteurs hebben deze nieuwe student getest tegen de oude modellen met een verscheidenheid aan uitdagingen:

De juiste foto vinden (Zero-Shot Retrieval): Als je de AI vraagt: "Laat me een foto zien van een vrouw die een lepel vasthoudt," is ScenarioCLIP veel beter in het vinden van de exacte match dan de oude modellen. Het verbeterde aanzienlijk in het identificeren van specifieke objecten en relaties.
Details spotten (Object Detection): Wanneer de AI gevraagd werd om kaders rond objecten te tekenen, was het nieuwe model iets nauwkeuriger.
Het verhaal begrijpen (Scene Graph Classification): Wanneer er gevraagd werd om de relaties te beschrijven (bijv. "Wat doet de broccoli?"), was het nieuwe model beter in het leggen van de verbanden.
De "Real World" Test (Generalization): De auteurs testten het model op foto's die het nog nooit eerder had gezien (van andere datasets zoals MS-COCO). Ondanks dat het getraind was op de SCLARO-leerstof, vergat het niet hoe het algemene afbeeldingen moet afhandelen. Sterker nog, het presteerde beter dan de oude modellen, wat bewees dat het leren van specifieke relaties het begrip van de wereld juist verbetert, in plaats van verslechtert.

De Kernboodschap

Dit artikel betoogt dat een AI om een scène echt te begrijpen, moet stoppen met alleen naar het "gehele plaatje" te kijken en moet beginnen met het letten op de specifieke verbindingen tussen dingen.

Door een enorme dataset te creëren die deze verbindingen benadrukt (SCLARO) en een model te bouwen dat deze apart maar tegelijkertijd leert (ScenarioCLIP), hebben de auteurs aangetoond dat AI kan evolueren van simpelweg herkennen "wat er aanwezig is" naar het begrijpen van "hoe dingen met elkaar samenhangen".

Noot over beperkingen: De auteurs geven toe dat omdat ze robots hebben gebruikt om de leerstof te creëren, er enkele fouten kunnen zijn (zoals een robot die denkt dat een wolk een hoed is). Ook zijn sommige zeldzame relaties moeilijk te vinden omdat ze niet vaak voorkomen in de foto's. Maar over het algemeen werkt het systeem beter dan wat eraan voorafging.

Technische Samenvatting: SCLARO en ScenarioCLIP

Probleemstelling

Huidige computervisie-paradigma's voor scène-begrip kampen met een kritieke kloof in gegronde, meerlagige redenering. Terwijl grootschalige Vision-Language Pretraining (VLP) datasets globale beeld-tekstparen bieden, missen zij de gestructureerde, relationele gronding die nodig is om te redeneren over fijnmazige scène-compositie (d.w.z. specifieke objecten, hun onderlinge relaties en de uitgevoerde acties). Daartegenover bieden bestaande scene graph-datasets (bijv. Visual Genome, OpenPSG) weliswaar relationele structuur, maar missen zij de schaal en annotatie-diversiteit die vereist zijn voor effectieve VLP-pretraining.

Als gevolg hiervan hebben modellen zoals CLIP moeite met het onderscheiden van semantisch gelijkaardige maar contextueel verschillende scenario's (bijv. "persoon die een tas vasthoudt" versus "persoon die een paraplu vasthoudt"), omdat zij tijdens de training een tekort aan gegronde relationele supervisie hebben. Bovendien falen hiërarchische modellen zoals PyramidCLIP, die globale en object-niveau kenmerken uitlijnen, in het expliciet modelleren van inter-object relaties, waardoor de effectiviteit van contextuele gegronde supervisie ongekwantificeerd blijft.

Methodologie

1. De SCLARO Dataset

Om de datakloof te dichten, introduceren de auteurs SCLARO (Scene-Contextual Localisation of Actions, Relations & Objects), een corpus van 615.805 afbeeldingen verspreid over indoor, outdoor en rij-scenario's. De dataset is samengesteld uit vijf publieke bronnen: CC3M, OpenPSG, Panoptic Video Scene Graph (PVSG), Multi-Moments in Time en KITTI2015.

De dataset is uniek door zijn drieledige annotatiestructuur, gegenereerd via een driefasige geautomatiseerde pipeline:

Fase 1 (Gestructureerde Scène-annotatie): Een open-weight Vision-Language Model (Ovis-Gemma 9B) genereert een globale actie-caption, een lijst met objectinstanties en een reeks relatie-triplets (object1, relatie, object2).
Fase 2 (Objectlokalisatie): GroundingDINO voorspelt bounding boxes voor alle geïdentificeerde objecten.
Fase 3 (Constructie van Gefocuste Regio's): Met behulp van SAM (Segment Anything Model) en Radial Basis Function (RBF) wegingsfactoren, construeert de pipeline relatie-gefocusde regio's. Dit zijn specifieke afbeelding-crops die de ruimtelijke context benadrukken waar een specifieke interactie plaatsvindt (bijv. de regio waar een "vrouw" een "kom" "vasthoudt"), wat zorgt voor expliciete visuele gronding voor relatie-niveau supervisie.

De uiteindelijke dataset bevat 740 actieklassen, 4.812 objectklassen en 225.209 unieke relatie-triplets.

2. Het ScenarioCLIP Model

Om SCLARO te benchmarken, stellen de auteurs ScenarioCLIP voor, een hiërarchisch drielagig Vision-Language Model dat ontworpen is om globale context, objecten en relaties gezamenlijk te coderen.

Architectuur: In tegenstelling tot PyramidCLIP, dat een gedeelde encoder gebruikt voor alle niveaus, hanteert ScenarioCLIP ontkoppelde encoders:
- Drie verschillende visuele encoders ( $f_{V,G}, f_{V,O}, f_{V,R}$ ) voor globale afbeeldingen, object-crops en relatie-gefocusde regio's, respectievelijk.
- Drie verschillende tekst-encoders ( $f_{T,G}, f_{T,O}, f_{T,R}$ ) voor actie-captions, objectnamen en relatie-triplets.
Trainingsdoelstellingen:
- Contrastieve Uitlijning ( $L_{CA}$ ): Stemt visuele en tekstuele embeddings op elk niveau onafhankelijk van elkaar af (Globaal-Globaal, Object-Object, Relatie-Relatie) met behulp van een symmetrische image-text contrastieve loss.
- Kennisdistillatie ( $L_{KD}$ ): Een EMA (Exponential Moving Average) teacher-student mechanisme dwingt semantische consistentie af over hiërarchische niveaus.
  - Visuele Modaliteit: De globale visuele teacher regulariseert de lokale object- en relatie-embeddings (globale context $\to$ lokaal).
  - Tekstuele Modaliteit: De richting is omgekeerd; fijnmazige object/relatie tekst-embeddings regulariseren de globale tekst-embedding (lokale details $\to$ globaal), aangezien specifieke beschrijvingen preciezere inhoud bieden dan brede actie-captions.

Belangrijkste Bijdragen

SCLARO Dataset: Een grootschalige, gegronde dataset die actie-captions, object bounding boxes en relatie-gefocusde regio's biedt over diverse visuele domeinen, waarmee de kloof tussen VLP-schaal en scene graph-structuur wordt overbrugd.
ScenarioCLIP: Een drielagig model met ontkoppelde encoders en asymmetrische intra-modale kennisdistillatie, dat aantoont dat expliciete relatie-niveau supervisie de representatiekwaliteit verbetert.
Uitgebreide Benchmarking: Een evaluatieprotocol dat zero-shot retrieval, linear probing, objectdetectie, predicaatclassificatie, scene graph classificatie en out-of-domain generalisatie dekt, waarmee SCLARO wordt gevestigd als een standaard voor scenario-niveau begrip.

Experimentele Resultaten

De auteurs evalueren ScenarioCLIP tegenover PyramidCLIP en diverse zero-shot baselines (CLIP, SLIP, TripletCLIP, FineCLIP) over meerdere taken:

Zero-Shot Retrieval: ScenarioCLIP presteert aanzienlijk beter dan PyramidCLIP en de baselines. Opvallende winst wordt waargenomen bij Object retrieval (Top-1: +14,19% t.o.v. PyramidCLIP) en Relatie retrieval (Top-1: +3,13%). De resultaten wijzen erop dat ontkoppelde encoders betere representaties leren dan gedeelde encoders voor fijnmazige taken.
Linear Probe: ScenarioCLIP behaalt een hogere Top-1 nauwkeurigheid voor Acties, Objecten en Relaties vergeleken met PyramidCLIP.
Predicaat- & Scene Graph Classificatie: ScenarioCLIP verbetert de gemiddelde Recall@K (mR@K) voor zowel Predicaat Classificatie (PredCls) als Scene Graph Classificatie (SGCls), wat de verbeterde relationele redeneerkracht bevestigt.
Objectdetectie: Met behulp van Faster R-CNN koppen laat ScenarioCLIP consistente winst zien in Average Precision (AP) ten opzichte van PyramidCLIP, wat suggereert dat ontkoppelde object-representaties een superieur backbone dienen.
Out-of-Domain Generalisatie: Op externe benchmarks (MS-COCO en Visual Genome) evenaart of overtreft ScenarioCLIP vanilla CLIP en presteert het significant beter dan PyramidCLIP. Dit geeft aan dat SCLARO-pretraining niet leidt tot catastrofale vergetelheid en dat de relatie-gefocusde pretraining effectief overdraagt naar onbekende domeinen.

Betekenis en Claims

Het artikel claimt dat SCLARO en ScenarioCLIP de waarde aantonen van gegronde, relatie-niveau supervisie in vision-language pretraining. De auteurs stellen dat:

Voorgaande modellen die expliciete relatiemodellering missen (zoals PyramidCLIP), beperkt zijn in hun vermogen om over compositionele scène-structuren te redeneren.
De SCLARO-dataset een kritiek gat vult door pretraining-schaal data te leveren die relatie-specifieke tekst koppelt aan ruimtelijk gegronde regio's.
De ontkoppelde architectuur van ScenarioCLIP, gecombineerd met asymmetrische kennisdistillatie, superieure prestaties oplevert voor object- en relatie-begrip zonder algemene capaciteiten op te offeren.

De auteurs positioneren dit werk als een fundament voor toekomstig onderzoek in gegronde, compositionele scène-begrip, inclus\u{f} de scene graph generatie en relationeel redeneren. Zij erkennen bescheiden de beperkingen, waarbij zij opmerken dat de dataset afhankelijk is van een geautomatiseerde pipeline (wat potentieel tot hallucinaties kan leiden) en dat de relatie-vocabulaire van nature een 'long-tail' distributie heeft.