Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos

Dit paper introduceert Synthetic Visual Genome 2 (SVG2), een grootschalig panoptisch videoscène-graafdataset gegenereerd via een geautomatiseerde pipeline, en presenteert TRaSER, een model dat deze data gebruikt om de prestaties op object-, attribuut- en relatiedetectie aanzienlijk te verbeteren en video-VQA-taken te ondersteunen.

De kern

Stel je voor dat je een video bekijkt, bijvoorbeeld een clip van een drukke markt. Een gewone computer kijkt er naar en ziet misschien alleen maar "een man", "een fiets" en "een appel". Maar een mens ziet veel meer: "Die man rijdt op de fiets, hij houdt de appel vast, en de fiets rijdt voorbij de kraam."

Deze paper introduceert een nieuwe manier om computers te leren precies dat te zien en te begrijpen. Ze noemen dit Synthetic Visual Genome 2 (SVG2).

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Stille" Video

Vroeger waren computers heel goed in het herkennen van objecten op een foto. Maar video's zijn lastiger. In een video bewegen dingen, komen nieuwe dingen in beeld en verdwijnen andere.

• De analogie: Stel je voor dat je een boek leest, maar je mag alleen de titels van de hoofdstukken zien, niet de zinnen ertussen. Je weet dat er een verhaal is, maar je mist de actie, de dialogen en hoe de personages met elkaar omgaan.
• Het probleem: Bestaande datasets (verzamelingen van gelabelde video's) zijn te klein en te saai. Ze missen de "dynamiek". Computers die hierop getraind zijn, worden verward als ze iets nieuws zien.

2. De Oplossing: De "Automatische Regisseur" (SVG2)

De auteurs hebben een systeem bedacht dat een enorme bibliotheek aan video-gegevens heeft gemaakt, maar dan op een slimme manier. Ze hebben niet duizenden mensen ingehuurd om handmatig alles te labelen (dat zou te lang duren en te duur zijn). In plaats daarvan hebben ze een volledig geautomatiseerde fabriek gebouwd.

• Hoe werkt het?

  1. De Camera (SAM2): Een slimme AI kijkt naar elke frame van de video en tekent een masker om elk object (zoals een persoon of een auto).
  2. De Regisseur (Traject-tracking): De AI volgt deze objecten door de tijd heen. Als er een nieuw hondje de scène in loopt, ziet de AI dit en geeft het het hondje een eigen "naam" en ID, zodat het niet verward wordt met de vorige hond.
  3. De Verteller (DAM & GPT-5): De AI beschrijft het object ("een bruine hond") en bedenkt dan wat het doet ("hij rent naar de bal").
  4. De Resultaten: Ze hebben zo 636.000 video's verwerkt met 6,6 miljoen objecten en 6,7 miljoen relaties. Dat is een enorme sprong in grootte vergeleken met alles wat er voorheen was.

• De Vergelijking: Het is alsof je eerder slechts 100 foto's van een stad had, en nu ineens een complete, levendige 3D-wereld hebt waarin je elke auto, elke boom en elke interactie kunt volgen.

3. De Nieuwe Motor: TraSeR

Met deze enorme dataset hebben ze een nieuw model getraind, genaamd TraSeR. Dit model is de "hersenen" die de video begrijpt.

• Het probleem met oude modellen: Oude modellen kijken naar video's als een lange, rommelige stroom van pixels. Het is alsof ze proberen een boek te lezen door naar alle letters tegelijk te kijken zonder te weten waar de zinnen beginnen en eindigen.

• De oplossing van TraSeR: TraSeR gebruikt twee slimme trucjes:

  1. De "Object-Tracker": Hij groepeert alle pixels die bij één object horen (bijvoorbeeld de fiets) en behandelt ze als één blok. Zo weet hij: "Dit is de fiets, en dit is wat er de hele video mee gebeurt."
  2. De "Tijd-Scanner": Hij kijkt ook naar korte momenten in de tijd om te zien hoe dingen bewegen.

• De Vergelijking: Stel je voor dat je een orkest hebt. Oude modellen horen alleen een luid rumoer. TraSeR is als een dirigent die elk instrument (elk object) apart hoort en precies weet wanneer het in en uitvalt, en hoe het samen speelt met de anderen.

4. Waarom is dit belangrijk?

Dit is niet alleen een technisch spelletje. Het maakt computers veel slimmer in het begrijpen van de wereld.

• Voorbeeld: Als je vraagt aan een computer: "Wie heeft de bal gegooid?", kan een oud model vergeten kijken wie de bal vasthield voordat hij werd gegooid. TraSeR onthoudt die hele keten van gebeurtenissen.
• De Test: Toen ze TraSeR gebruikten om vragen over video's te beantwoorden, deed het het veel beter dan de beste modellen die er nu zijn (zelfs beter dan de zeer dure modellen van grote tech-bedrijven).

Samenvatting in één zin

De auteurs hebben een automatische fabriek gebouwd die miljoenen video's heeft omgezet in gedetailleerde "verhaallijnen" van objecten en hun interacties, en een nieuwe slimme motor (TraSeR) getraind om deze verhaallijnen te lezen, waardoor computers eindelijk video's kunnen begrijpen zoals mensen dat doen: niet alleen wat ze zien, maar ook wat er gebeurt en hoe alles met elkaar samenhangt.

Technische samenvatting

Titel: Synthetic Visual Genome 2 (SVG2): Het extraheren van grootschalige spatio-temporele scenes graphs uit video's

1. Het Probleem

Hoewel scenes graphs (gestructureerde representaties van objecten, attributen en relaties) succesvol zijn toegepast op statische afbeeldingen, blijft de toepassing op video's een groot uitdaging. Bestaande datasets voor spatio-temporele scenes graphs (zoals VidOR, PVSG) hebben ernstige beperkingen:

• Schaal en Dichtheid: Ze zijn klein en bevatten vaak slechts bemonsterde frames, wat leidt tot onvolledige annotaties van nieuwe objecten die verschijnen of verdwijnen.
• Kwaliteit en Consistentie: Handmatige annotatie op frame-niveau is extreem duur en tijdrovend, wat resulteert in datasets met ruis, inconsistente labels en een gebrek aan temporele coherentie.
• Generalisatie: Modellen getraind op deze beperkte datasets overfitten vaak op specifieke dataset-distributies en kunnen niet goed generaliseren naar open-vocabulaire scenario's met nieuwe objecten, attributen of relaties.

Er is een dringende behoefte aan een grootschalige, dichte en temporeel consistente dataset om video-interpretatie en redenering te verbeteren.

2. Methodologie

De auteurs introduceren een tweeledige aanpak: het creëren van een synthetische dataset (SVG2) en het trainen van een nieuw model (TraSeR) om deze data te verwerken.

A. Synthetic Visual Genome 2 (SVG2) – De Dataset
SVG2 is een volledig geautomatiseerd gegenereerde dataset die bestaat uit meer dan 636.000 video's met 6,6 miljoen objecten, 52 miljoen attributen en 6,7 miljoen relaties. De generatiepijplijn omvat drie fasen:

1. Panoptische Trajectiegeneratie:
   • Gebruik van SAM2 (Segment Anything Model 2) voor frame-voor-frame panoptische segmentatie.
   • Een online-offline tracking-mechanisme: De online fase detecteert nieuwe objecten dynamisch en bewaakt ongedekte gebieden. De offline fase herhaalt de video om volledige trajecten te reconstrueren vanaf het moment van eerste verschijning, wat identiteitsconsistentie garandeert.
2. Objectbeschrijving en Semantische Parsing:
   • DAM (Describe Anything Model) genereert gedetailleerde tekstuele beschrijvingen voor elk objecttraject.
   • GPT-4.1-nano parseert deze beschrijvingen naar gestructureerde objectnamen en attributen.
   • Een verificatiestap met SAM3 zorgt voor de filtering van onbetrouwbare labels.
3. Relatie-extractie:
   • GPT-5 wordt ingezet om spatio-temporele relaties af te leiden tussen objecten.
   • Relaties worden onderverdeeld in zeven categorieën: ruimtelijk, functioneel, toestandsgebonden, beweging, sociaal, attentie en event-niveau.
   • Om bias te voorkomen, worden ruimtelijke en niet-ruimtelijke relaties in aparte passes geëxtraheerd.

B. TraSeR – Het Model
TraSeR is een Video Scene Graph (VSG) generatiemodel dat Vision-Language Models (VLMs) uitbreidt met specifieke modules om raw video en trajecten in één doorloop om te zetten naar een gestructureerde scene graph.

• Traject-gealigneerde Token Ordening: In plaats van losse patches, worden visuele tokens direct gekoppeld aan objecttrajecten. Dit behoudt de identiteit van objecten over tijd.
• Dual Resampler Module:
  • Object-Traject Resampler: Aggregeert tokens over het volledige traject van een object om globale semantiek en context te vangen.
  • Temporaal-Fenster Resampler: Breekt trajecten op in korte segmenten om lokale beweging en temporele dynamiek (zoals snel veranderende relaties) te behouden.
• Training: Het model wordt getraind op een combinatie van SVG2 en bestaande menselijk geannoteerde benchmarks (VidOR, PVSG, VIPSeg), waarbij de ViT-backbone gefrozen blijft en alleen de projectoren en resamplers worden aangepast.

3. Belangrijkste Bijdragen

1. SVG2 Dataset: Een schaalvergroting van een orde van grootte ten opzichte van eerdere datasets, met dichte, temporeel gebonden annotaties voor objecten, attributen en relaties.
2. Volledig Geautomatiseerde Pijplijn: Een robuust framework dat SAM2, DAM en GPT-5 combineert om menselijke annotatie te vervangen door schaalbare synthese, met een verificatie-accuraatheid van >85% voor relaties.
3. TraSeR Architectuur: Een nieuw model dat de uitdagingen van lange tokenreeksen en temporele variabiliteit oplost via traject-gebaseerde token-ordening en dubbele resampling.
4. Verbeterde Video QA: Het aantonen dat expliciete scene graphs als tussenliggende representatie de prestaties van Video Question Answering (VQA) systemen significant verbeteren.

4. Resultaten

TraSeR werd geëvalueerd op PVSG, VIPSeg, VidOR en de nieuwe SVG2test benchmark:

• Prestaties: TraSeR verbetert de relatie-detectie met +15% tot +20% en objectvoorspelling met +30% tot +40% ten opzichte van de sterkste open-source baselines.
• Vergelijking met Propriëtaire Modellen: Het model presteert beter dan GPT-5 (+13% verbetering in objectvoorspelling) en Qwen2.5-VL, ondanks dat het een lichter model is.
• Video Question Answering: Wanneer de gegenereerde scene graphs van TraSeR worden gebruikt als input voor een VLM (GPT-4.1) voor VQA, resulteert dit in een absolute nauwkeurigheidsstijging van +1,5% tot +4,6% ten opzichte van het gebruik van alleen video of video aangevuld met scene graphs van concurrenten.
• Validatie: Menselijke verificatie bevestigt de datasetkwaliteit: 93,8% nauwkeurigheid voor objecten, 88,3% voor attributen en 85,4% voor relaties.

5. Betekenis en Impact

Dit werk is baanbrekend omdat het de beperkingen van handmatige annotatie doorbreekt en een schaalbare route biedt naar grootschalige, temporeel rijke video-datasets.

• Fundamenteel Onderzoek: Het biedt een nieuwe standaard voor het evalueren van video-interpretatie en redenering, met name voor open-vocabulaire taken.
• Toepassingen: De gegenereerde scene graphs fungeren als een krachtige tussenlaag die VLMs helpt om complexe causale en temporele relaties in video's te begrijpen, wat essentieel is voor robotica, video-inhoudsmoderatie en geavanceerde zoekfuncties.
• Toekomstperspectief: Het paper suggereert dat het integreren van dergelijke gestructureerde data in de training van algemene VLMs de basis kan leggen voor dieper compositional en temporeel begrip in AI-systemen.

Kortom, SVG2 en TraSeR stellen een nieuwe benchmark neer voor video scene graph generatie, waarbij schaal, dichtheid en temporele consistentie worden gecombineerd met state-of-the-art prestaties.