SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

Die Arbeit stellt SGG-R³ vor, ein Framework, das durch eine Kombination aus chain-of-thought-gesteuertem Fine-Tuning mit Relationen-Augmentierung und einem neuartigen dualgranularen Belohnungsmechanismus im Reinforcement Learning eine end-to-end unvoreingenommene Szenengraph-Generierung mit verbesserter Abdeckung seltener Relationen ermöglicht.

Das Wesentliche

Stell dir vor, du schaust auf ein Foto und versuchst, es nicht nur zu beschreiben, sondern die Beziehungen zwischen allem, was du siehst, zu verstehen. Ein Bild zeigt vielleicht einen Mann, eine Brille und eine Straße. Ein einfaches Bilderkennungssystem sagt dir nur: „Mann, Brille, Straße".

Ein Scene Graph Generator (ein Werkzeug zur Bildanalyse) geht aber einen Schritt weiter. Es baut eine Art Landkarte der Beziehungen: „Der Mann trägt die Brille" und „Der Mann steht auf der Straße". Das Ziel ist es, aus einem Bild eine vollständige, logische Geschichte zu machen.

Das Problem ist: Bisherige KI-Modelle sind oft wie ein Schüler, der auswendig gelernt hat, aber nicht wirklich versteht. Sie erkennen nur die häufigsten Dinge („Mann auf Stuhl") und übersehen seltene oder komplexe Zusammenhänge („Mann hält eine Tasse, die auf einem Tisch steht, der neben einem Fenster ist"). Außerdem machen sie viele Fehler, weil sie versuchen, alles auf einmal zu erraten, ohne einen Plan.

Die Forscher in diesem Papier haben eine neue Methode namens SGG-R3 entwickelt. Sie nennen es „R3", weil es auf drei Säulen (R) basiert. Hier ist die Erklärung mit einfachen Analogien:

1. Der Plan: Nicht raten, sondern denken (Chain-of-Thought)

Stell dir vor, du musst einen komplexen Kuchen backen.

• Die alten Methoden warfen einfach alle Zutaten in den Mixer und hofften auf einen Kuchen. Das Ergebnis war oft ein Matsch.
• SGG-R3 zwingt die KI, wie ein professioneller Koch vorzugehen. Die KI muss den Prozess in drei klare Schritte unterteilen:
  1. Was ist da? (Welche Zutaten/Objekte sehe ich? Nur eine Liste, keine Details.)
  2. Wo ist es? (Wo genau steht der Zucker? Wo ist das Ei? Ich markiere jeden einzelnen Gegenstand.)
  3. Wie hängen sie zusammen? (Wer trägt wen? Was steht auf was?)

Indem die KI diesen strengen Plan befolgt, macht sie weniger Fehler und „halluziniert" weniger Dinge, die gar nicht da sind.

2. Der Trainer: Mehr Übungsmaterial (Relation Augmentation)

Das größte Problem bei diesen Bildern ist, dass es im Trainingsmaterial sehr wenige Beispiele für seltene Dinge gibt. Es gibt tausende Bilder von „Mann auf Stuhl", aber nur wenige von „Mann, der eine Eidechse auf der Schulter trägt". Die KI lernt also nur das Häufige und ignoriert das Seltene.

• Die Lösung: Die Forscher nutzen eine sehr starke KI (Qwen2.5-VL), um neue, plausible Übungsaufgaben zu erfinden.
• Die Analogie: Stell dir vor, du lernst eine Sprache, aber dein Lehrbuch hat nur 10 Sätze. Deine KI-Lern-Assistentin schreibt dir nun 100 neue, sinnvolle Sätze dazu, die aber streng geprüft werden, damit sie grammatikalisch korrekt und logisch sind.
• Der Filter: Bevor diese neuen Sätze in das Lehrbuch kommen, prüft ein „Grammatik-Filter" (ein mathematischer Vergleich), ob sie wirklich zum Original passen. So wird die KI auf eine viel breitere Palette von Situationen vorbereitet, ohne dass man manuell tausende neue Fotos machen muss.

3. Der Belohnungssystem: Gerecht und clever (Dual-Granularity Reward)

Wenn die KI trainiert wird, bekommt sie Punkte für richtige Antworten. Das Problem: Wenn die KI nur die häufigen Antworten gibt, bekommt sie immer Punkte. Seltene Antworten werden ignoriert, weil die KI Angst hat, sie falsch zu machen.

• Die Lösung: Das neue Belohnungssystem ist wie ein fairer Lehrer, der zwei Dinge belohnt:
  1. Präzision (Fein): Wenn die KI genau das sagt, was im Bild ist (z. B. „Hund sitzt auf Sofa"), gibt es Punkte.
  2. Abdeckung (Grob): Wenn die KI etwas sagt, das nicht exakt dem Wortlaut entspricht, aber die Bedeutung trifft (z. B. statt „sitzt" sagt sie „ist auf"), gibt es trotzdem Punkte.
• Der Clou: Das System gibt mehr Punkte für seltene Antworten. Wenn die KI einen seltenen Zusammenhang erkennt (wie „Eidechse auf Schulter"), wird sie dafür besonders belohnt, damit sie lernt, dass diese Dinge wichtig sind. Das verhindert, dass die KI nur das „Langweilige" und Häufige ausspuckt.

Das Ergebnis

Durch diese drei Schritte – klarer Plan, mehr Übungsmaterial und faires Belohnungssystem – wird die KI viel besser darin, komplexe Bilder zu verstehen. Sie erkennt nicht nur die offensichtlichen Dinge, sondern auch die feinen Details und seltenen Beziehungen.

Zusammenfassend:
SGG-R3 verwandelt die KI von einem blinden Rater, der nur das Häufige kennt, in einen strukturierten Detektiv, der Schritt für Schritt das Bild analysiert, auch die seltenen Hinweise beachtet und am Ende eine vollständige, faire und genaue Geschichte über das Bild erzählt.

Technische Zusammenfassung

1. Problemstellung

Die Szene-Graph-Generierung (Scene Graph Generation, SGG) zielt darauf ab, visuelle Szenen in strukturierte Graphen zu zerlegen, die Objekte und ihre Beziehungen darstellen. Während Multimodale Large Language Models (MLLMs) vielversprechende Ansätze für eine End-to-End-Generierung bieten, leiden aktuelle Methoden unter zwei Hauptproblemen:

• Fehlende strukturierte Reasoning-Pipeline: MLLMs neigen dazu, ohne klare Anleitung in einem zu großen Suchraum zu operieren, was zu Halluzinationen und einer geringen Recall-Rate führt.
• Daten-Sparsamkeit und Long-Tail-Verteilung: Relationen in Datensätzen sind oft extrem spärlich annotiert und folgen einer Long-Tail-Verteilung (viele seltene, wenige häufige Relationen). Dies führt zu verzerrten Vorhersagen, bei denen das Modell nur häufige Relationen erkennt und seltene ignoriert.

Herkömmliche Zwei-Stufen-Methoden (Objekterkennung gefolgt von Relationen-Vorhersage) leiden unter Fehlerfortpflanzung, während reine End-to-End-MLLM-Ansätze oft keine ausreichende Kontrolle über die logische Abfolge der Generierung haben.

2. Methodik: Das SGG-R3-Framework

Das Paper stellt SGG-R3 vor, ein Framework für strukturiertes Reasoning, das Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) integriert, um eine verzerrungsfreie End-to-End-Generierung zu erreichen. Der Prozess gliedert sich in drei Hauptphasen:

A. Drei-Stufen-Strukturiertes Reasoning (Chain-of-Thought)

Anstatt Relationen direkt vorherzusagen, wird die Generierung in drei sequenzielle Stufen unterteilt, die durch spezielle Tags (<CATEGORY>, <OBJECT>, <RELATION>) und JSON-Formatierung erzwungen werden:

1. Objekt-Kategorien-Erkennung: Identifikation aller im Bild vorhandenen Objektkategorien (Eingrenzung des Suchraums).
2. Objekt-Instanz-Verankerung (Grounding): Lokalisierung aller Instanzen der erkannten Kategorien mit Bounding Boxes.
3. Multi-Typ-Relationsextraktion: Extraktion von (Subjekt-Prädikat-Objekt)-Tripeln, unterteilt in drei semantische Typen (z. B. räumlich, possessiv, interaktiv), wobei die Reihenfolge strikt an die Instanzfolge aus Stufe 2 gebunden ist.

B. Relation-Augmentierung (für SFT)

Um das Problem der Sparsamkeit zu lösen, wird eine relationale Augmentierungsstrategie eingesetzt:

• Ein großes MLLM (Qwen2.5-VL-32B) generiert zusätzliche plausible Relationen basierend auf Ground-Truth-Objekten.
• Diese generierten Tripel werden mittels Sentence-BERT-Embeddings und kosinusbasierter Ähnlichkeitsfilterung gegen die Originaldaten validiert, um semantische Konsistenz zu gewährleisten und Halluzinationen zu filtern.
• Das Modell wird dann auf diesen angereicherten, CoT-formatierten Daten feinabgestimmt.

C. Reinforcement Learning mit Group Sequence Policy Optimization (GSPO)

Im RL-Phase wird ein neuartiges Dual-Granularitäts-Belohnungsschema (Dual-Granularity Reward) eingeführt, um die Long-Tail-Problematik zu adressieren:

• Feingranulare Belohnung (Fine-grained): Nutzt eine frequenzbasierte adaptive Gewichtung der Prädikate. Seltene (Long-Tail) Relationen erhalten höhere Gewichte, um die Verzerrung zu korrigieren.
• Grobgranulare Belohnung (Coarse-grained): Nutzt semantisches Clustering (DBSCAN) von Relationen-Embeddings. Das Modell wird belohnt, wenn es Relationen generiert, die semantisch nahe an Ground-Truth-Clustern liegen, auch wenn die exakten Subjekt/Objekt-Paare nicht identisch sind. Dies fördert die Generalisierung.
• Der Algorithmus nutzt GSPO, um die Instabilität des Token-level Importance Sampling zu vermeiden und die Optimierung für lange, strukturierte JSON-Ausgaben zu stabilisieren.

3. Wichtige Beiträge

1. Strukturiertes Reasoning-Framework: Eine systematische Zerlegung der SGG-Aufgabe in drei sequenzielle Stufen, die die logische Kohärenz und Kontrollierbarkeit der Generierung erhöht.
2. Neue Trainingsstrategien:
   • Eine Relation-Augmentierungsmethode für SFT, die die Datenknappheit überwindet.
   • Ein Dual-Granularitäts-Reward für RL, der sowohl die Abdeckung seltener Relationen als auch die semantische Generalisierung verbessert.
3. Überlegene Leistung: Das Framework demonstriert, dass ein kleineres Modell (3B Parameter) durch gezieltes Post-Training (SFT + RL) größere Baseline-Modelle (bis zu 72B) in Bezug auf Genauigkeit und Verzerrungsfreiheit übertreffen kann.

4. Ergebnisse

Die Methode wurde auf den Benchmarks VG150 und PSG evaluiert:

• Leistung: SGG-R3 erreicht auf beiden Datensätzen die besten Ergebnisse bei mRecall (mean Recall) und zsRecall (Zero-Shot Recall) unter allen VLM-basierten Methoden und übertrifft viele traditionelle nicht-VLM-Methoden.
• Vergleich mit Baselines: Auf dem VG150-Datensatz erreicht das 3B-Modell nach RL-Optimierung ein Recall von 36,0% und ein mRecall von 14,8%, was signifikant besser ist als reine SFT-Modelle oder andere VLM-Ansätze.
• Verzerrungsreduktion: Durch die adaptive Gewichtung und das semantische Clustering wird die Vorhersageverzerrung zugunsten häufiger Relationen deutlich reduziert, was zu einer besseren Erkennung seltener Relationen (Tail-Klassen) führt.
• Qualitative Analyse: Das Modell zeigt weniger Halluzinationen, eine vollständigere Objekterkennung und eine tiefere semantische Tiefe in den generierten Relationen im Vergleich zu Baselines wie R1-SGG.

5. Bedeutung und Ausblick

SGG-R3 beweist, dass die Kombination aus Chain-of-Thought-Prompts, datengetriebener Augmentierung und strukturiertem Reinforcement Learning effektiv ist, um die Grenzen aktueller MLLMs in der visuellen Reasoning-Aufgabe zu überwinden.

• Wissenschaftlicher Impact: Es bietet einen neuen Paradigmenwechsel weg von reinen Next-Token-Vorhersagen hin zu kontrollierten, mehrstufigen Reasoning-Prozessen für komplexe visuelle Aufgaben.
• Anwendbarkeit: Die Fähigkeit, verzerrungsfreie und vollständige Szenengraphen zu generieren, ist entscheidend für downstream-Anwendungen wie visuelles Fragenbeantworten (VQA), Bildsuche und robotergesteuerte Navigation.
• Limitationen: Die Inferenzzeit ist aufgrund der mehrstufigen Reasoning-Pipeline höher als bei direkten Klassifikationsmethoden, und die Qualität der augmentierten Daten setzt eine Obergrenze für die Leistung. Zukünftige Arbeiten zielen auf Open-Vocabulary-Szenarien ab.

Zusammenfassend stellt SGG-R3 einen robusten Ansatz dar, der die Lücke zwischen der generativen Kraft von MLLMs und den strukturellen Anforderungen der Szenen-Graph-Generierung schließt.