💻 computer science

SceneGraphVLM: Dynamic Scene Graph Generation from Video with Vision-Language Models

SceneGraphVLM is een compact, in twee fasen getraind visueel-taalmodel dat met ongeveer één seconde latentie hoogprecieze sceneschema's genereert uit afbeeldingen en video's door gebruik te maken van een token-efficiënt TOON-serialisatieformaat en hallucinatiebewuste versterkte leer.

Oorspronkelijke auteurs: Vladislav Makarov, Mark Gizetdinov, Dmitry Yudin

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vladislav Makarov, Mark Gizetdinov, Dmitry Yudin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een drukke straatscène kijkt. Een traditioneel computerzichtsysteem zou proberen om elk ding dat het ziet op te sommen: "auto, auto, auto, boom, boom, persoon, persoon..." en vervolgens proberen te raden hoe ze met elkaar verbonden zijn. Dit resulteert vaak in een rommelige, overweldigende lijst vol fouten, zoals het zeggen dat een wolk een auto "raakt" alleen maar omdat ze dicht bij elkaar in beeld staan.

SceneGraphVLM is een nieuwe methode die deze rommel oplost. Denk eraan als een slimme, efficiënte verteller die naar een afbeelding of video kijkt en direct een kort, gestructureerd verhaal schrijft over wat er gebeurt, met alleen de focus op wat er echt is.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "te enthousiaste" Verhaler

Vorige AI-modellen die dit probeerden, waren als een te enthousiaste rondleidinggids. Ze vertelden je alles, inclusief dingen die er niet waren (hallucinaties) of herhaalden dezelfde feiten keer op keer. Ze waren ook traag en produceerden zeer lange, rommelige teksten die moeilijk te lezen waren voor andere computers.

2. De Oplossing: Een "Telegraaf"-Stijl (TOON-formaat)

De auteurs beseften dat de manier waarop de AI zijn verhaal schrijft, uitmaakt. In plaats van een omvangrijk formaat zoals JSON te gebruiken (wat vergelijkbaar is met het schrijven van een brief met veel extra woorden zoals "Het object is...", "De relatie is..."), hebben ze een TOON-formaat uitgevonden.

De Analogie: Stel je voor dat je een bericht verstuurt via de telegraaf waarbij je per woord betaalt. Je zou niet schrijven "De kat zit op het tapijt." Je zou schrijven "Kat, zitten, tapijt."
Het Resultaat: SceneGraphVLM gebruikt deze "telegraaf"-stijl. Het verwijdert alle extra ballast, waardoor de output veel korter is, sneller te genereren is en makkelijker te begrijpen voor computers. Het bespaart ongeveer 15–20% van de "ruimte" die nodig is om dezelfde scène te beschrijven.

3. De Training: Leren door te Doen (en Gecorrigeerd te Worden)

Het model wordt getraind in twee distincte fasen, zoals een student die een nieuwe vaardigheid leert:

Fase 1: Supervised Fine-Tuning (SFT) – De "Kopieer"-Fase:
De AI ziet duizenden afbeeldingen en hun perfecte beschrijvingen. Het leert deze stijl na te bootsen. Het leert de regels: "Als ik een hond zie, moet ik 'hond' en zijn locatie schrijven."
Fase 2: Reinforcement Learning (RL) – De "Strenge Coach"-Fase:
Dit is het geheim. In de eerste fase maakt de AI misschien nog steeds dingen op die er niet zijn (hallucinaties) om op safe te spelen. In deze tweede fase kijkt een "coach" (een beloningssysteem) naar de AI.
- De Regel: Als de AI een relatie verzonnen die niet bestaat (bijvoorbeeld zeggen dat een persoon een wolk "vasthoudt"), geeft de coach een straf.
- Het Doel: De AI leert dat het beter is om precies te zijn en alleen te zeggen wat het ziet, in plaats van alles te raden. Het vindt een balans tussen grondig zijn en accuraat zijn.

4. De Video-Superkracht: "Geheugen" Zonder Tracking

Bij het bekijken van een video veranderen dingen van frame tot frame. Traditionele video-AI heeft een complexe "tracker" nodig om een persoon van de ene seconde naar de volgende te volgen, zoals een bewakingsagent die een verdachte volgt.

SceneGraphVLM doet dit anders. Het behandelt de video als een gesprek.

De Analogie: Stel je voor dat je een filmscène beschrijft aan een vriend. Je begint niet elke seconde opnieuw. Je zegt: "Oké, die vent is er nog steeds, maar nu loopt hij naar links."
Hoe het werkt: De AI kijkt naar het huidige frame en herinnert zich kort het "verhaal" dat het net vertelde over het vorige frame. Het gebruikt dat geheugen om consistent te blijven zonder een zware tracking-systeem nodig te hebben. Dit houdt de videobeschrijving soepel en snel.

5. De Resultaten: Snel en Accuraat

Het papier testte dit op drie grote datasets (PSG, PVSG en Action Genome).

Snelheid: Het kan een volledige beschrijving van een scène genereren in ongeveer één seconde. Dat is snel genoeg voor bijna-real-time toepassingen.
Kwaliteit: Het is veel beter in het niet verzinnen van dingen in vergelijking met oudere methoden. Waar andere modellen misschien een rommelig web van 20 connecties genereren (waarvan veel fout zijn), genereert SceneGraphVLM een strak, schoon web van 5–6 connecties die echt waar zijn.
Efficiëntie: Het werkt goed zelfs op kleinere, goedkopere computerchips (met behulp van een klein model genaamd Qwen3.5-0.8B), wat bewijst dat je geen enorme supercomputer nodig hebt om goede resultaten te behalen als je het juiste "telegraaf"-formaat en de juiste trainingsmethode gebruikt.

Samenvatting

SceneGraphVLM is een lichtgewicht, snelle AI die afbeeldingen en video's omzet in schone, gestructureerde verhalen. Het gebruikt een afkortingstaal om tijd te besparen, leert van een "strenge coach" om te stoppen met dingen verzinnen, en onthoudt het vorige moment om videobeschrijvingen consistent te houden – allemaal zonder zware, complexe tracking-systemen nodig te hebben.

Technische Samenvatting: SceneGraphVLM

Probleemstelling

Scene Graph Generation (SGG) heeft als doel visuele scènes weer te geven als compacte, gestructureerde grafen waarbij knopen objecten aanduiden en randen relaties coderen. Hoewel dit essentieel is voor downstreamtaken zoals robotica en videoanalyse, blijft het genereren van accurate, structureel valide en compacte scene graphs een uitdaging. Traditionele meerstapspijplijnen lijden onder foutpropagatie en broosheid. Recentere Vision-Language Model (VLM)-benaderingen bieden end-to-end-generatie, maar produceren vaak lange, token-inefficiënte outputs met irrelevante objecten en gehallucineerde relaties. Bovendien prioriteren bestaande op VLM gebaseerde methoden vaak recall, wat leidt tot overmatig complete grafen die bruikbare informatie verdunnen en de betrouwbaarheid voor besluitvorming verminderen. Het uitbreiden van deze uitdagingen naar video, waarbij temporale consistentie behouden blijft zonder complexe tracking of nabewerking, blijft een open probleem.

Methodologie

De auteurs stellen SceneGraphVLM voor, een compacte end-to-end-methode voor scene graph-generatie in afbeeldingen en video's met behulp van kleine visueel-taalmodellen. De methodologie rust op drie kernpilaren:

1. Token-efficiënte serialisatie (TOON-formaat)

Om de hoge decoderingskosten en lengte van standaard JSON-representaties aan te pakken, serialiseren de auteurs scene graphs naar een TOON-formaat. Dit schema slaat objecten op als rijen onder een gedeelde header en relaties in compacte blokken, waarbij herhaalde sleutels en geneste boilerplate worden verwijderd. Dit vermindert de annotatielengte met ongeveer 1,17× tot 1,24× over verschillende datasets (PSG, PVSG, Action Genome) terwijl alle object-, bounding box- en relatie-informatie behouden blijft, waardoor generatie wordt versneld en latentie wordt verminderd.

2. Tweestaps trainingspijplijn

Het model ondergaat een optimalisatieproces in twee fasen:

Supervised Fine-Tuning (SFT): Het basis-VLM (specifiek Qwen3.5-0.8B) wordt getraind om visuele invoer af te beelden op het gewenste TOON-schema. Deze fase leert het model het vereiste formaat te volgen, datasetspecifieke vocabulaires te gebruiken en parseerbare gestructureerde outputs te produceren.
Versterkingsleer (RL) met GRPO: Om de kwaliteit op graf-niveau te optimaliseren boven token-niveau supervisie, maken de auteurs gebruik van Group Relative Policy Optimization (GRPO). Cruciaal introduceren ze hallucinatiebewuste beloningen die relatie-coverage balanceren met precisie. De totale beloningsfunctie ( $R_{total}$ $R_{t o t a l}$ ) combineert:
- Basisgraf-beloningen: Formaatvaliditeit, objectclassificatie en objectlokalisatie (via Hongaarse matching en IoU).
- Relatie-balansbeloningen: Precisie- en F1-gebaseerde termen om te voorkomen dat het model te veel relaties genereert om recall te maximaliseren.
- Hallucinatieboetes: Expliciete boetes voor niet-overeenkomende (niet-ondersteunde) objecten en relaties, waardoor het genereren van ongegronde entiteiten wordt ontmoedigd.

3. Video-inferentie met temporale context

Voor videosequenties verwerkt SceneGraphVLM frames sequentieel. Het kan de generatie van de graaf van het huidige frame conditioneren op de graaf die voor het vorige frame is gegenereerd. Dit biedt lichtgewicht korte-termijn temporale context zonder dat aparte trackingmodules nodig zijn. De auteurs evalueren twee protocollen:

GT-prompt: Het gebruik van ground-truth vorige grafen (oracle-instelling).
Generated-prompt: Het gebruik van de eigen eerdere voorspellingen van het model (realistische implementatie-instelling), wat robuustheid tegen foutpropagatie test.

Belangrijkste bijdragen

SceneGraphVLM-architectuur: Een compacte end-to-end-methode die gebruikmaakt van kleine VLM's (bijv. Qwen3.5-0.8B) en de token-efficiënte TOON-representatie, met sterke kwaliteit-snelheidstrade-offs.
Hallucinatiebewuste training: De introductie van GRPO-gebaseerde training met graf-gerichte beloningen die niet-ondersteunde objecten en relaties expliciet bestraffen, waardoor recall en precisie in evenwicht worden gebracht om gegronde, compacte grafen te produceren.
Efficiënte video-SGG: Een lichtgewicht aanpak voor scene graph-generatie in video's die gebruikmaakt van grafen van vorige frames voor temporale context zonder complexe nabewerking, met inferentie die bijna real-time verloopt.

Experimentele resultaten

De methode is geëvalueerd op PSG (Panoptic Scene Graph), PVSG (Panoptic Video Scene Graph) en Action Genome.

Prestaties versus baselines: Op PSG bereikt SceneGraphVLM een SGG-score van 0,442 (Strict) en 0,460 (Soft), waarmee het zero-shot commerciële VLM's (bijv. Gemini-3-flash met 0,318) en grotere open-source modellen overtreft. Het verbetert significant precisie-gerichte metrieken in vergelijking met recall-zware baselines zoals R1-SGG.
Videoprestaties: Op PVSG toont het model robuustheid in de Generated-prompt-instelling. De RL-fase verbetert de Strict SGG-score met 19% (van 0,306 naar 0,365) ten opzichte van de checkpoint met alleen SFT, en presteert beter dan alle commerciële en open-source baselines.
Efficiëntie: Door gebruik te maken van het TOON-formaat en vLLM-versnelde decodering, genereert SceneGraphVLM volledige scene graphs in ongeveer 0,64 seconden voor afbeeldingen en 1,07 seconden voor video's op een enkele A100 GPU.
Action Genome: Het model bereikt een Precision@50 van 38,74 en F1@50 van 30,75, wat aanzienlijk beter is dan de OED-baseline (P@50=8,02, F1@50=13,37) in precisie, wat de capaciteit aantoont om gehallucineerde relaties te vermijden.

Betekenis en claims

Het artikel claimt dat SceneGraphVLM een nieuwe kwaliteit-snelheidstrade-off vestigt voor generatieve scene graph-generatie. Door een token-efficiënte representatie te combineren met precisie-bewuste versterkingsleer, stelt de methode kleine VLM's in staat betrouwbare, compacte en visueel gegronde scene graphs te produceren die geschikt zijn voor bijna real-time toepassingen. De auteurs benadrukken dat hun aanpak de veelvoorkomende faalmodus van op VLM gebaseerde SGG – overgeneratie en hallucinatie – aanpakt door niet-ondersteunde inhoud tijdens de training expliciet te bestraffen. Het vermogen om temporale consistentie in video's te behouden met alleen de vorige gegenereerde graaf, zonder externe tracking, wordt gepresenteerd als een belangrijke stap naar praktische implementatie in robotica en videoanalyse.

De auteurs wijzen op beperkingen, waaronder afhankelijkheid van gesloten-vocabulaire datasets, potentiële foutaccumulatie in videosequenties en de behoefte aan specifieke GPU-resources voor real-time inferentie, maar stellen dat de methode een praktische basis biedt voor op VLM gebaseerde SGG in downstreamtaken.