💻 computer science

A Closer Look at Dynamic Scene Graph Generation In the Era of Multimodal Large Language Models

Dit artikel adresseert de beperkingen van de huidige Dynamic Scene Graph Generation door een uitgebreid evaluatiekader met vijf nieuwe metrieken te introduceren en een sterk MLLM-gebaseerd baseline voor te stellen dat een top-down reason-then-locate strategie, Temporal Relation Set voorspelling en Importance-Aware Finetuning hanteert om state-of-the-art prestaties te behalen.

Oorspronkelijke auteurs: Xuanming Cui, Jaiminkumar Ashokbhai Bhoi, Chionh Wei Peng, Adriel Kuek, Ser Nam Lim

Gepubliceerd 2026-07-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuanming Cui, Jaiminkumar Ashokbhai Bhoi, Chionh Wei Peng, Adriel Kuek, Ser Nam Lim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt, maar in plaats van alleen de actie te zien, wil je dat een robot het verhaal begrijpt zodat hij vragen kan beantwoorden zoals: "Waarom rende het personage?" of "Wat houdt de persoon vast?". Om dit te doen, hebben computers een manier nodig om een video af te breken in een gestructureerde lijst met feiten: wie doet wat met wie, en hoe dat in de loop van de tijd verandert. Dit wordt Dynamic Scene Graph Generation genoemd. Denk erbij als een computer die probeert een "cast en crew"-lijst te schrijven voor elke seconde van een video, waarbij niet alleen wordt genoteerd dat er een "persoon" en een "hond" zijn, maar ook dat de "persoon de hond uitlaat" en later, "de hond slaapt".

Lange tijd zijn computers beter geworden in dit werk, maar ze worstelen vaak met het vinden van een balans tussen nauwkeurigheid en bruikbaarheid. Ze kunnen honderden feiten opsommen, maar veel daarvan zijn saai of fout, zoals zeggen dat "de vloer onder de persoon is" terwijl het echte verhaal gaat over een persoon die een maaltijd kookt. Ondertussen is er een nieuwe generatie superintelligente AI-modellen gearriveerd, genaamd Multimodal Large Language Models (MLLMs). Dit zijn de AI-systemen die een plaatje kunnen bekijken en een gedicht kunnen schrijven, of een video kunnen bekijken en de plot kunnen uitleggen. Ze zijn ongelooflijk goed in het begrijpen van het "grotere plaatje" en het verhaal, maar tot nu toe had niemand bedacht hoe je deze specifieke, gestructureerde lijsten met feiten voor video's met hen kon bouwen. Dit artikel vraat: Kunnen we deze verhalenvertellende AI-reuzen gebruiken om betere video-feitenlijsten te bouwen, en zo ja, hoe voorkomen we dat ze alleen maar saaie, overbodige feiten opsommen?

De auteurs van dit artikel zeggen dat de oude manier van doen kapot is. Ze beweren dat eerdere methoden lijken op een student die probeert een goed cijfer te halen door zoveel mogelijk zinnen te schrijven, in de hoop dat er een paar kloppen, zelfs als de meeste onzin zijn. Dit creëert een puinhoop waarbij de computer veel feiten "roept", maar er heel weinig goed heeft. Om dit op te lossen, besloten de onderzoekers de oude, logge regels los te laten en in plaats daarvan de nieuwe, krachtige MLLM's direct te gebruiken.

Eerst veranderden ze het spel door nieuwe manieren te introduceren om succes te meten. In plaats van alleen te tellen hoeveel feiten de AI goed had (wat gefaket kan worden door wild te gokken), voegden ze tests toe die vragen: "Zijn deze feiten daadwerkelijk nuttig?" Ze creëerden een "rechter"-AI om te controleren of een feit logisch is, een test waarbij de AI vragen moet beantwoorden op basis van de gegenereerde feiten, en een test om te zien of de feiten kunnen helpen bij het vinden van de juiste video in een database. Ze ontdekten dat de oude methoden geweldig waren in het raden van veel dingen, maar verschrikkelijk in het raden van de belangrijke dingen.

Vervolgens ontwierpen ze de werking van de AI opnieuw. De oude manier was "bottom-up": de computer zou eerst elk object vinden (zoals een persoon, een beker, een tafel) en vervolgens proberen te raden hoe ze met elkaar verbonden waren. De auteurs zeggen dat dit is alsof je een grap probeert te begrijpen door eerst elk woord in de zin op te sommen voordat je de clou begrijpt. In plaats daarvan gebruikten ze een "top-down" benadering. Ze lieten de MLLM de video bekijken en eerst het verhaal en de belangrijkste acties uitzoeken (het "redeneren"), en daarna precies aanwijzen waar die dingen gebeuren (het "lokaliseren"). Dit lijkt veel meer op hoe mensen een film kijken; wij begrijpen eerst de plot, en merken dan pas de details op.

Ze losten ook een groot efficiëntieprobleem op. De oude methoden zouden de relatie tussen een persoon en een beker beschrijven voor elk enkel frame van de video, zelfs als er tien seconden lang niets veranderde. Dit was alsof je duizend keer achter elkaar schreef: "de persoon houdt de beker vast". De auteurs veranderden dit naar een "Temporal Relation Set", wat zoiets is als zeggen: "De persoon hield de beker vast van seconde 5 tot seconde 15". Dit bespaarde een enorme hoeveelheid tijd en maakte de AI veel sneller.

Ten slotte leerden ze de AI om te geven wat ertoe doet. Ze gebruikten een speciale trainingsmethode genaamd "Importance-Aware Finetuning". Dit is als het vertellen van de student: "Schrijf niet gewoon elk feit op dat je weet; schrijf eerst de meest interessante feiten op." Dit voorkwam dat de AI haar lijst vulde met saaie, herhalende feiten zoals "de vloer is onder de persoon" en dwong de AI om zich te concentreren op de interessante zaken, zoals "de persoon schenkt koffie in".

De resultaten waren indrukwekkend. Toen ze hun nieuwe methode op drie verschillende video-datasets testten, deden ze het niet alleen beter in het vinden van feiten; ze deden het beter in het vinden van de juiste feiten. Het was veel nauwkeuriger en veel sneller dan de vorige beste methoden. De nieuwe aanpak genereerde scene graphs die niet alleen preciezer waren, maar ook veel nuttiger voor taken in de echte wereld, zoals het beantwoorden van vragen over de video of het vinden van specifieke momenten in een bibliotheek met beelden. Het artikel suggereert dat door deze krachtige taalmodellen de leiding te geven, we computers eindelijk de videoverhalen kunnen laten begrijpen zoals mensen dat doen, zonder dat ze verdwalen in een zee van nutteloze details.

Technische Samenvatting: Een nadere blik op Dynamic Scene Graph Generation in het tijdperk van Multimodale Large Language Models

1. Probleemdefinitie en Motivatie

Dynamic Scene Graph Generation (DSGG) beoogt objecten en hun evoluerende relaties binnen videosequenties vast te leggen, waarbij visuele inhoud wordt gerepresenteerd als een sequentie van gestructureerde grafen. Hoewel het vakgebied gestage vooruitgang heeft geboekt, stellen de auteurs dat de praktische kwaliteit en bruikbaarheid van gegenereerde scene graphs beperkt blijven in vergelijking met de snelle ontwikkelingen in Multimodale Large Language Models (MLLMs).

Het artikel identificeert twee fundamentele problemen die de vooruitgang van DSGG belemmeren:

Beperkingen in de Taakopstelling: Huidige evaluatieprotocollen vertrouwen bijna uitsluitend op recall-gebaseerde metrieken. Dit creëert een ernstige precisie–recall-trade-off waarbij modellen de recall opblazen door talrijke ruisgevoelige of onjuiste relaties te genereren. Bovendien produceren bestaande methoden vaak oninformatieve en redundante relaties (bijv. triviale ruimtelijke relaties zoals "vloer onder persoon") omdat ze DSGG behandelen als een ongeordend retrieval-probleem, waarbij de relatieve belangrijkheid en diversiteit van relaties worden genegeerd.
Beperkingen in het Modelontwerp: Traditionele DSGG-benaderingen volgen een bottom-up pijplijn overgenomen van beeldgebaseerde SGG: eerst worden objecten gedetecteerd, en vervolgens worden relaties afgeleid. Dit ontwerp wordt beperkt door objectdetectoren, leunt op handmatig ontworpen ruimtelijk-temporele modules die moeilijk te generaliseren zijn, en verwerpt contextuele informatie door te opereren op bijgesneden regio's.

De kernvraag die wordt geadresseerd is: Waarom loopt DSGG achter op de bredere vooruitgang in multimodale video-begrip? De auteurs stellen voor om DSGG te heroverwegen vanuit het perspectief van MLLMs om deze kloof te overbruggen.

2. Methodologie

De voorgestelde aanpak behelst het heroverwegen van zowel het evaluatiekader als de modelarchitectuur, waarbij gebruik wordt gemaakt van MLLMs voor directe video scene graph generatie.

2.1 Het Taaksetup Heroverwegen: Nieuwe Evaluatiemetrieken

Om de praktische bruikbaarheid van gegenereerde scene graphs beter te beoordelen, introduceren de auteurs vijf complementaire metrieken naast de standaard recall:

Precisie met MLLM-als-Judge: Omdat grondwaarheid-annotaties vaak incompleet zijn, wordt een krachtiger MLLM gebruikt om de geldigheid van voorspelde relaties te verifiëren die niet aanwezig zijn in de grondwaarheid.
Scene Graph Retrieval (SGRet): Meet hoe effectief voorspelde grafen video-retrieval ondersteunen door grafen om te zetten naar natuurlijke taal en gebruik te maken van tekst-naar-video retrieval-modellen.
Scene Graph QA (SGQA): Een gecureerde dataset van 1.000 meerkeuzevragen afgeleid van Action Genome-video's. Het evalueert redeneervermogen (objectidentificatie, ruimtelijk/temporeel begrip, event-begrip, multi-hop redeneren) met de gegenereerde scene graph als de enige context.
Belang-bewuste Ranking: Evalueert DSGG als een rankingtaak met behulp van Normalized Discounted Cumulative Gain (nDCG). Dit incorporeert Informativiteit (geschat via MLLM-prompting) en Diversiteit (gemeten via tekst-embedding gelijkenis) om betekenisvolle relaties prioriteit te geven.
SGCls+: Een aangepaste taakinstelling waarbij modellen scene graphs voorspellen met behulp van hun eigen voorspelde bounding boxes in plaats van grondwaarheid-boxes, wat een realistischere beoordeling biedt van relatievoorspelling bij afwezigheid van perfecte detectie.

2.2 Het Modelontwerp Heroverwegen: MLLM-gebaseerde DSGG

De auteurs stellen een top-down paradigma voor dat afwijkt van traditionele bottom-up pijlijnen, gebruikmakend van drie belangrijke ontwerpwijzigingen:

Reason-then-Locate Strategie: In plaats van eerst objecten te detecten, voert de MLLM holistisch redeneren uit over de gehele video om interacties en activiteiten af te leiden, en grond deze pas daarna in objecten. Dit bootst de menselijke visuele interpretatie na.
Temporal Relation Set (TRS) Predictie: In plaats van frame-wijze grafen te genereren (wat leidt tot redundante voorspellingen voor persistente relaties), wordt DSGG geherformuleerd als het voorspellen van een set temporeel gegronde 5-aire tupels: $\langle \text{sub}, \text{rel}, \text{obj}, t_{\text{start}}, t_{\text{end}} \rangle$ . Dit elimineert frame-niveau redundantie, wat de trainings-/inferentie-efficiëntie en temporele coherentie verbetert.
Belang-bewuste Finetuning (IAF): Om het probleem van oninformatieve relaties aan te pakken, wordt het model gefinetuned met scene graph triplets gerangschikt op basis van hun belangrijkheidsscores. Dit stimuleert het autoregressieve generatieproces om relevante en diverse relaties vroeg in de sequentie prioriteit te geven.

Het systeem maakt gebruik van off-the-shelf open-vocabulary detectoren (bijv. SAM 3) voor de uiteindelijke grounding-fase, waarbij gebruik wordt gemaakt van de semantische redeneerkracht van de MLLM.

3. Belangrijkste Bijdragen

Heroverwegen van de DSGG Taakopstelling: Het artikel identificeert de beperkingen van recall-only evaluatie en introduceert een uitgebreid pakket aan metrieken (Precisie, SGRet, SGQA, nDCG-gebaseerde ranking en SGCls+) die de praktische bruikbaarheid beter weerspiegelen.
Heroverwegen van het DSGG Modelontwerp: De auteurs formaliseren het "Reason-then-Locate" paradigma voor DSGG. Ze stellen TRS voor om efficiëntie en temporele coherentie te verbeteren, en IAF om de generatie van informatieve en diverse relaties te sturen.
Een Sterke MLLM-gebaseerde Baseline: Dit werk biedt de eerste systematische studie naar het adopteren van MLLMs voor directe video scene graph generatie, waarbij een sterke baseline wordt gevestigd die bestaande state-of-the-art (SOTA) methoden verslaat op meerdere datasets en metrieken.

4. Experimentele Resultaten

De aanpak werd geëvalueerd op de Action Genome (AG), VidVRD, en PVSG datasets.

Prestaties: De MLLM-gebaseerde aanpak (gebruikmakend van InternVL3.5 en Qwen3-VL) behaalde consistent state-of-the-art prestaties. Op Action Genome overtrof het de vorige SOTA (UNO) met aanzienlijke marges in Recall@50 (bijv. +8,4% in SGDet) en demonstreerde superieure Precisie (bijv. P@10 verbeterde van 27,2 naar 48,4).
Precisie-Recall Trade-off: In tegen tegenstelling tot bestaande methoden die lijden onder ernstige precisie-degradatie naarmate de recall toeneemt, behoudt de voorgestelde methode een hoge precisie, zelfs bij hogere recall-niveaus, wat wijst op minder redundante en ruisgevoelige relaties.
Downstream Bruikbaarheid: De methode vertoonde substantiële verbeteringen in downstream taken. In SGQA bereikte de nauwkeurigheid 48,9% vergeleken met 36,2% voor de vorige beste (OED), wat suggereert dat de gegenereerde grafen de belangrijkste semantiek beter vastleggen. In SGRet behield de methode een robuuste prestatie over variërende aantallen top-k triplets, terwijl traditionele methoden significant verslechterden met een grotere $k$ .
Efficiëntie: De TRS-formulering verbeterde de efficiëntie drastisch, waardoor de trainingstijd met 2,3 $\times$ werd verminderd en de inferentielatentie met wel 8,6 $\times$ vergeleken met frame-wijze baselines.
Long-Tail Handling: De MLLM-gebaseerde aanpak demonstreerde een meer gebalanceerde prestatie over zeldzame relatiecategorieën (bijv. "afvegen", "schrijven op") vergeleken met methoden die specifiek zijn ontworig voor long-tail mitigatie, waarschijnlijk dankzij de brede visueel-semantische kennis uit pretraining.

5. Betekenis en Claims

Het artikel beweert dat de achterstand in DSGG-vooruitgang te wijten is aan verouderde taakopstellingen en modelontwerpen die de mogelijkheden van moderne MLLMs niet benutten. Door te verschuiven van een bottom-up, retrieval-georiënteerde aanpak naar een top-down, reasoning-georiënteerde paradigma, demonstreren de auteurs dat MLLMs scene grafen kunnen genereren die niet alleen nauwkeuriger zijn, maar ook praktischer bruikbaar voor downstream toepassingen zoals video QA en retrieval.

De auteurs benadrukken dat hun werk niet louter de recall-cijfers verbetert, maar fundamenteel de kwaliteit, informativiteit en diversiteit van de gegenereerde scene graphs verbetert. Zij stellen dat de voorgestelde evaluatiemetrieken (SGQA, SGRet, nDCG) noodzakelijk zijn om de bruikbaarheid van DSGG-systemen in real-world scenario's echt te beoordelen, voorbij de beperkingen van traditionele recall-gebaseerde benchmarks. De studie suggereert dat MLLMs, wanneer ze worden aangepast met specifieke architecturale wijzigingen (TRS, IAF), een veelbelovende basis vormen voor de volgende generatie dynamisch scène-begrip.