SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

Dit paper introduceert SGG-R³, een gestructureerd redeneringskader dat chain-of-thought-gestuurde supervisie en versterkende leer met een groepssequenti-beleid optimalisatie combineert om onbevooroordeelde en complete scene graph generation te realiseren door de uitdagingen van relationele sparsiteit en lange-staartverdelingen aan te pakken.

De kern

Stel je voor dat je een foto bekijkt en die niet alleen moet beschrijven, maar ook moet uitleggen hoe alles met elkaar samenhangt. Wie zit waar? Wat draagt die persoon? Waar staat de auto? In de kunstmatige intelligentie noemen we dit het maken van een Scène Graph (een "scènetekening"). Het is als een visueel stroomschema van een foto.

Het probleem met de oude methoden is dat ze vaak "blind" waren. Ze zagen veel objecten, maar misten de rare of zeldzame verbanden (bijvoorbeeld: "de man leunt tegen de muur" in plaats van alleen "de man staat bij de muur"). Ze waren ook vaak te voor de hand liggend en gaven te vaak dezelfde saaie antwoorden.

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd SGG-R3. Ze gebruiken een slimme AI (een Multimodaal Groot Taalmodel) en trainen deze alsof ze een jonge student opleiden tot een detective. Hier is hoe het werkt, vertaald in alledaags taal:

1. De Drie Stappen van de Detective (De "Chain of Thought")

In plaats van dat de AI direct een antwoord schreeuwt ("Er is een hond en een bal!"), dwingen de onderzoekers de AI om eerst nadenken in drie duidelijke stappen. Dit is als een detective die een dossier opbouwt:

• Stap 1: De Lijst van Verdachten (Categorie Detectie).
  De AI kijkt eerst naar de foto en maakt een lijstje: "Oké, ik zie een mens, een auto en een boom." Ze zoeken nog niet naar details, ze tellen alleen de soorten.
• Stap 2: De Identificatie (Instance Grounding).
  Nu wijst de AI precies aan waar die dingen zitten. "Dat is Mens 1, die staat links. Dat is Mens 2, die staat rechts." Ze geven elk object een uniek nummer, zodat ze ze niet verwarren.
• Stap 3: Het Verhaal (Relatie Extractie).
  Pas nu, als ze weten wie wie is en waar ze staan, vertellen ze het verhaal: "Mens 1 houdt Mens 2 vast" of "De auto staat op de weg."

Door deze stappen strikt te scheiden, raakt de AI niet in de war en maakt minder fouten.

2. Het Opvullen van de Gaten (Relatie Augmentatie)

Een groot probleem bij het leren van AI is dat ze vaak alleen leren van de "populaire" dingen. Als in 90% van de foto's een hond zit, leert de AI dat honden altijd zitten. Ze vergeten dat honden ook kunnen springen of slapen. Dit noemen ze het "lange staart"-probleem (zeldzame dingen worden genegeerd).

Om dit op te lossen, gebruiken de onderzoekers een slimme truc:

• Ze laten een super-slimme AI (Qwen2.5-VL) de foto bekijken en zelf nieuwe, logische verbanden bedenken die misschien niet in de originele foto stonden.
• Ze filteren deze nieuwe ideeën met een "semantische scanner" (een soort taal-thermometer). Als de AI bedenkt: "De hond vliegt in de lucht", wordt dit weggegooid omdat dat onlogisch is. Maar als ze bedenkt: "De hond slaapt op het tapijt" (wat zeldzaam was in de data), wordt dit bewaard.
• Zo krijgen ze een veel rijker leerboek voor de AI, vol met zeldzame maar waardevolle verbanden.

3. De Slimme Trainer (Reinforcement Learning met Dubbele Beloning)

Tenslotte trainen ze de AI met een systeem van beloningen, zoals een trainer die een hond traint. Maar deze trainer is heel specifiek:

• De "Fijne" Beloning: De AI krijgt punten als ze de exacte juiste woorden gebruikt (bijv. "springen" in plaats van "bewegen").
• De "Grove" Beloning: Dit is de creatieve twist. De AI krijgt ook punten als ze een verband ziet dat soortgelijk is aan het juiste antwoord, zelfs als het niet 100% hetzelfde woord is.
  • Voorbeeld: Als de echte relatie "de man leunt tegen de muur" is, en de AI zegt "de man staat bij de muur", krijgt ze toch een deel van de punten.
  • Dit helpt de AI om niet bang te zijn voor zeldzame situaties en zorgt ervoor dat ze meer variatie leert, in plaats van alleen de meest voor de hand liggende antwoorden te herhalen.

Het Resultaat

Door deze drie stappen te combineren (nadenken in stappen, het boek vullen met meer voorbeelden, en een slimme trainer die zowel precisie als creativiteit beloont), wordt de AI veel beter in het begrijpen van complexe foto's.

Kort samengevat:
SGG-R3 is als het opleiden van een jonge detective die eerst een lijst maakt, dan de mensen identificeert, en pas daarna het verhaal vertelt. Ze krijgen extra oefenmateriaal om zeldzame situaties te leren, en een trainer die ze beloont voor het zien van de "geest" van de situatie, niet alleen voor het raden van het juiste woord. Het resultaat is een AI die foto's niet alleen ziet, maar echt begrijpt.

Technische samenvatting

1. Het Probleem

Scene Graph Generation (SGG) heeft als doel visuele scènes te structureren als grafen van objecten en hun onderlinge relaties. Hoewel Multimodale Grootte Taalmodellen (MLLMs) de weg hebben vrijgemaakt voor end-to-end SGG, kampen bestaande methoden met twee fundamentele beperkingen:

• Gebrek aan gestructureerd redeneren: Bestaande MLLM-methoden missen een taak-specifiek "Chain-of-Thought" (CoT) proces. Dit leidt tot een te grote zoekruimte, hallucinaties en een lage recall, omdat het model niet systematisch door de taak wordt geleid.
• Data-schaarste en lange staart-distributie: Relatiegegevens in datasets zijn vaak schaars en vertonen een sterke "lange staart" (long-tail) verdeling, waarbij zeldzame relaties ondervertegenwoordigd zijn. Dit resulteert in modellen die vooringenomen zijn naar frequente relaties en onvolledige scene graphs genereren.

2. Methodologie: SGG-R3 Framework

De auteurs introduceren SGG-R3, een gestructureerd redeneringsframework dat Next-Token Prediction combineert met end-to-end onbevooroordeelde SGG via een twee-fasen trainingspipeline: Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL).

A. Drie-staps Gestructureerd Redeneren (Chain-of-Thought)

In plaats van direct een antwoord te genereren, wordt het generatieproces opgesplitst in drie sequentiële stadia, elk gemarkeerd met specifieke tags en JSON-formaat:

1. Object Categorie Detectie: Het model identificeert eerst welke objectcategorieën aanwezig zijn om de zoekruimte te beperken.
2. Object Instance Grounding: Het model lokaliseert vervolgens alle instances van de geïdentificeerde categorieën sequentieel (met bounding boxes).
3. Multi-type Relatie Extractie: Het model extraheert relaties (subject-predicate-object) gebaseerd op de gelokaliseerde instances, verdeeld in drie semantische typen (bijv. ruimtelijk, bezittelijk, interactief).

B. Type-bewuste Relatie Augmentatie (voor SFT)

Om het probleem van data-schaarste aan te pakken, gebruiken de auteurs een Relation Augmentation strategie:

• Ze genereren extra relatie-triplets met behulp van een krachtig MLLM (Qwen2.5-VL-32B) op basis van de ground-truth objecten.
• Deze gegenereerde relaties worden gefilterd via Sentence-BERT embedding-similariteit met de originele dataset. Alleen relaties met een hoge semantische consistentie worden behouden.
• Dit creëert een verrijkte dataset die de "koude start" voor SFT verbetert en de dekking van zeldzame relaties vergroot.

C. Dual-Granulariteit Beloningsschema (voor RL)

Tijdens de Reinforcement Learning-fase (met Group Sequence Policy Optimization - GSPO) wordt een nieuw beloningssysteem ingevoerd om de lange staart-problematiek aan te pakken:

• Fijnkorrelige Beloning (Fine-grained): Gebruikt adaptieve weging op basis van de frequentie van predicates. Zeldzame relaties krijgen een hogere beloning om de vooringenomenheid te verminderen.
• Grofkorrelige Beloning (Coarse-grained): Gebruikt semantische clustering (DBSCAN) om relaties te groeperen. Het model wordt beloond voor het genereren van relaties die semantisch dicht bij de ground-truth clusters liggen, zelfs als de exacte subject/object-match niet perfect is. Dit verbetert de generalisatie en de dekking van zeldzame concepten.

3. Belangrijkste Bijdragen

1. Gestructureerd Framework: Een systematisch framework dat end-to-end SGG decomposeert in drie sequentiële stadia (Categorie -> Instance -> Relatie), wat de controleerbaarheid en logische coherentie verhoogt.
2. Innovatieve Trainingsstrategie: Een combinatie van relatie-augmentatie voor SFT en een dual-granulariteit beloningsschema voor RL, die gezamenlijk de lange staart-distributie van relaties aanpakken en onbevooroordeelde generatie bevorderen.
3. Superieure Prestaties: Uitgebreide experimenten tonen aan dat SGG-R3 state-of-the-art prestaties bereikt, met name in Recall, mean Recall en Zero-Shot Recall, wat de effectiviteit van het framework bewijst.

4. Resultaten

Het model is getest op twee benchmarks: VG150 en PSG (Panoptic Scene Graph).

• Prestaties: SGG-R3 (gebaseerd op Qwen2.5-VL-3B) overtreft bestaande methoden, zowel traditionele niet-VLM-methoden als andere VLM-baselines.
  • Op VG150 bereikt het de hoogste mean Recall (mRecall) onder VLM-methoden en een zeer hoge Zero-Shot Recall.
  • Op PSG overtreft het alle multimodale methoden en presteert het marginaal beter dan de beste niet-VLM-methoden in Recall en mRecall.
• Ablatie-studies:
  • Relatie Augmentatie (RA): Verhoogt de prestaties aanzienlijk, vooral voor "Body" en "Tail" (zeldzame) relaties. Zonder RA faalt het model vaak om enige Zero-Shot Recall op PSG te behalen.
  • Dual-Granulariteit Reward (DGR): Verbetert de balans tussen het detecteren van frequente en zeldzame relaties en verhoogt de generalisatievermogen.
• Kwalitatieve Analyse: Het model produceert minder hallucinaties, detecteert meer objecten (inclusief niet-gelabelde instances) en genereert dikkere, semantisch rijkere scene graphs vergeleken met baselines zoals R1-SGG.

5. Betekenis en Impact

SGG-R3 markeert een belangrijke stap in de evolutie van Scene Graph Generation door:

• Het bewijzen dat gestructureerd redeneren (CoT) essentieel is voor complexe visuele taken zoals SGG, in plaats van puur next-token predictie.
• Het bieden van een effectieve oplossing voor het lange staart-probleem in visuele datasets door middel van slimme data-augmentatie en semantisch georiënteerde beloningen.
• Het mogelijk maken van onbevooroordeelde en complete scene graphs, wat cruciaal is voor downstream toepassingen zoals visuele vraagbeantwoording (VQA), beeldretrieval en robotnavigatie.

De auteurs erkennen wel beperkingen, zoals inferentielatentie door het gebruik van grote modellen en de afhankelijkheid van de kwaliteit van de gegenereerde augmentatie-data, maar wijzen op de potentie voor uitbreiding naar open-vocabulary settings in de toekomst.