Graph-of-Mark: Promote Spatial Reasoning in Multimodal Language Models with Graph-Based Visual Prompting

Die Arbeit stellt Graph-of-Mark (GoM) vor, eine neuartige pixelbasierte visuelle Prompting-Technik, die durch das Überlagern von Szenengraphen auf Eingabebilder die räumliche Schlussfolgerung multimodaler Sprachmodelle signifikant verbessert und dabei die Genauigkeit bei Null-Shot-Aufgaben um bis zu 11 Prozentpunkte steigert.

Das Wesentliche

Graph-of-Mark: Wie man KI hilft, Bilder nicht nur zu sehen, sondern zu verstehen

Stell dir vor, du gibst einer künstlichen Intelligenz (KI) ein Foto und fragst: „Ist die Pflanze links oder rechts vom Herd?"

Das Problem ist: Viele moderne KI-Modelle sind wie jemand, der ein Foto nur als eine Tasche voller loser Gegenstände betrachtet. Sie erkennen: „Da ist ein Herd. Da ist eine Pflanze. Da ist ein Toaster." Aber sie verstehen oft nicht, wie diese Dinge zueinander stehen. Sie wissen nicht, dass die Pflanze auf dem Kühlschrank steht und der Herd daneben ist. Für die KI sind es nur isolierte Objekte, die zufällig auf dem Bild liegen.

Die Forscher von der Universität Bologna haben eine Lösung namens Graph-of-Mark (GoM) entwickelt. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar Bildern aus dem Alltag:

1. Das Problem: Die „Blinde" KI

Bisherige Methoden (wie „Set-of-Mark") haben versucht, der KI zu helfen, indem sie die Objekte auf dem Bild mit Nummern oder Buchstaben markiert haben.

• Die Analogie: Stell dir vor, du legst auf jedes Objekt im Bild ein kleines Schild mit einer Nummer (1, 2, 3...).
• Das Problem: Die KI sieht zwar die Nummern, aber sie weiß immer noch nicht, wie die Nummern zusammenhängen. Es ist wie eine Liste von Namen ohne Telefonnummern. Die KI kann die Pflanze (Nummer 3) finden, aber sie weiß nicht, dass sie neben dem Herd (Nummer 1) steht.

2. Die Lösung: Der unsichtbare Kleber (Der Graph)

GoM macht einen entscheidenden Schritt weiter. Es fügt nicht nur Nummern hinzu, sondern zeichnet unsichtbare Linien zwischen den Objekten, die ihre Beziehung beschreiben.

• Die Analogie: Stell dir vor, du hast ein Foto von einer Party.
  • Alte Methode: Jeder Gast bekommt ein Namensschild.
  • GoM-Methode: Neben den Namensschildern ziehst du mit einem roten Stift Linien zwischen den Gästen und schreibst dazu: „steht hinter", „hält Händchen mit" oder „ist links von".
  • Du verwanst das Bild in eine Landkarte der Beziehungen.

Die KI sieht jetzt nicht nur die Objekte, sondern sieht sofort die Struktur: „Aha! Die Pflanze (Nummer 3) ist durch einen Pfeil mit dem Herd (Nummer 1) verbunden, und der Pfeil sagt: 'Links von'."

3. Wie funktioniert das technisch? (Ohne Mathe-Formeln)

Das Geniale an GoM ist, dass man die KI nicht neu programmieren oder „lernen" lassen muss (kein „Fine-Tuning"). Es ist wie ein Plug-and-Play-Modul:

1. Objekte finden: Das System scannt das Bild und findet alle wichtigen Dinge (Herd, Pflanze, Teller).
2. Beziehungen berechnen: Ein kleiner Helfer-Algorithmus schaut sich an, wo die Dinge stehen. Ist das eine links? Ist das andere dahinter? (Dafür nutzt das System sogar eine Art „Tiefen-Sensor", um zu wissen, was vorne und was hinten ist).
3. Das Bild malen: Das System zeichnet diese Informationen direkt auf das Bild:
   • Es färbt die Objekte ein.
   • Es schreibt Nummern oder Namen daneben.
   • Das Wichtigste: Es zeichnet Pfeile zwischen den Objekten und beschriftet sie (z. B. „links von", „über", „berührt").
4. Die Frage stellen: Wenn du nun die KI fragst, sieht sie dieses „angemalte" Bild mit den Pfeilen und kann die Antwort viel leichter finden.

4. Warum ist das so toll?

Die Forscher haben das an verschiedenen KI-Modellen getestet. Das Ergebnis war beeindruckend:

• Bessere Orientierung: Die KI wurde bis zu 11 % besser darin, Fragen zu beantworten, die räumliches Denken erfordern (z. B. „Was ist unter dem Tisch?").
• Für alle geeignet: Es funktioniert auch mit kleineren, kostenlosen KI-Modellen, nicht nur mit den riesigen, teuren Super-Computern.
• Schnell: Es dauert nur eine Sekunde pro Bild, um diese „Pfeile" zu zeichnen.

Zusammenfassung in einem Satz

Graph-of-Mark verwandelt ein einfaches Foto in eine bebilderte Anleitung, indem es unsichtbare Verbindungen und Pfeile zwischen den Dingen zeichnet, damit die KI endlich versteht, wie die Welt auf dem Bild zusammenhängt – ganz ohne dass man die KI selbst umbauen muss.

Es ist, als würde man einer Person, die eine fremde Sprache spricht, plötzlich eine Landkarte mit Pfeilen und Beschriftungen geben, statt nur eine Liste von Wörtern. Plötzlich versteht sie den Weg!

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Graph-of-Mark: Promote Spatial Reasoning in Multimodal Language Models with Graph-Based Visual Prompting" auf Deutsch.

1. Problemstellung

Multimodale Sprachmodelle (MLMs) haben zwar beeindruckende Fortschritte gemacht, scheitern jedoch oft an räumlichem Schlussfolgern (Spatial Reasoning). Aktuelle State-of-the-Art-Modelle neigen dazu, Bilder als reine „Taschen von Objekten" (bags of objects) zu betrachten, wobei sie die räumlichen Beziehungen und die Anordnung der Objekte im Raum übersehen.

Bestehende Visual-Prompting-Methoden (wie Set-of-Mark / SoM) verbessern zwar die Grounding-Fähigkeiten, indem sie Objekte mit nummerierten Markierungen versehen, behandeln diese Objekte jedoch als isolierte Einheiten. Sie erfassen nicht die Beziehungen (z. B. „links von", „hinter", „über") zwischen den Objekten, die für das Verständnis komplexer Szenen entscheidend sind. Herkömmliche Ansätze, um dieses Problem zu lösen, erfordern oft ein teures Fine-Tuning der Modelle, was unflexibel und rechenintensiv ist.

2. Methodik: Graph-of-Mark (GoM)

Die Autoren stellen Graph-of-Mark (GoM) vor, eine trainingsfreie, pixelbasierte Visual-Prompting-Technik, die Szene-Graphen (Scene Graphs) direkt auf das Eingabebild überlagert, um räumliches Schlussfolgern zu ermöglichen.

Der Prozess gliedert sich in folgende Schritte:

• Objekterkennung und Segmentierung:
  • Es wird ein Ensemble aus drei trainingsfreien Detektoren verwendet (OWL-V2 für offene Vokabulare, YOLOv8-X für schnelle Klassifizierung, Mask R-CNN für robuste Regionen), um Objekte zu identifizieren.
  • Die Objekte werden von einfachen Bounding Boxes zu präzisen Segmentierungsmasken verfeinert (mittels SAM-HQ).
• Relationsschätzung (Der Kern von GoM):
  • Es wird ein Ontologie-System für 7 Relationstypen erstellt, gruppiert in:
    1. Richtung: oben, unten, links, rechts.
    2. Tiefe/Stapelung: vor, hinter (basierend auf monokularer Tiefenschätzung mit MiDaS).
    3. Nähe: nah (für Fälle, in denen die Richtung unklar ist).
  • Zusätzliche Modifikatoren wie „berührend", „sehr nah" oder „nah" werden basierend auf dem IoU (Intersection over Union) und dem Abstand berechnet.
• Filterung:
  • Um das Bild nicht zu überladen, werden nur für die spezifische Textabfrage relevante Objekte und deren Relationen beibehalten.
  • Es wird eine Rangfolge basierend auf der Relevanz für die Query und der räumlichen Nähe erstellt.
• Rendering des Szene-Graphs:
  • Knoten (Objekte): Werden mit farbigen Masken und eindeutigen IDs (numerisch oder textuell, z. B. oven_1) markiert.
  • Kanten (Relationen): Werden als gerichtete Pfeile zwischen den Objekten dargestellt. Die Pfeile können mit Textlabels (z. B. „Above", „Left Of") versehen werden.
  • Platzierung: Ein neuer Algorithmus sorgt dafür, dass Markierungen, Pfeile und Labels kollisionsfrei platziert werden, um Verwirrung beim Modell zu vermeiden.
• Prompting-Modi:
  • Visueller SG: Das Modell erhält nur das annotierte Bild und die Textanweisung.
  • Visueller + Textueller SG: Zusätzlich zum Bild wird der Szene-Graph auch als Text (Tripel-Notation) im Prompt beschrieben.

3. Schlüsselbeiträge

• Erste pixelbasierte Visual-Prompting-Methode mit Graphen: GoM ist die erste Technik, die Szene-Graphen direkt in das Bild integriert, anstatt sie nur als Text oder latente Features zu verwenden.
• Trainingsfrei und Plug-and-Play: Die Methode erfordert keine Änderung der Architektur oder des Trainings der MLMs. Sie funktioniert mit jedem bestehenden Modell.
• Umfassende Evaluation: Die Methode wurde an 3 Open-Source-MLMs (Gemma-3, Qwen-2.5-VL, LlamaV-o1) und 4 Datensätzen (GQA, VQAv1, VQAv2, RefCOCOg) getestet.
• Analyse der Komponenten: Die Autoren untersuchten den Einfluss von numerischen vs. textuellen IDs, der Notwendigkeit von Relation-Labels und der Dichte des Graphen.

4. Ergebnisse

Die Evaluation zeigt konsistente Verbesserungen gegenüber Baselines (rohes Bild, reine Segmentierung, Set-of-Mark):

• Leistungssteigerung: GoM verbessert die Null-Shot-Fähigkeiten der Modelle bei der Interpretation von Objektpositionen und relativen Richtungen signifikant. Die Genauigkeit in Visual Question Answering (VQA) und Lokalisierungsaufgaben (Referring Expression Comprehension) stieg um bis zu 11 Prozentpunkte.
• Modellunabhängigkeit: Auch leichtgewichtige Open-Source-Modelle (bis 11B Parameter) profitieren stark. Insbesondere reasoning-orientierte Modelle wie LlamaV-o1 erreichten die höchsten absoluten Scores (83,6% in VQA).
• Vergleich mit SoM: Während SoM die Leistung bei manchen Modellen sogar verschlechtern kann (durch falsche regionale Zuordnungen), führt GoM durch die explizite Darstellung von Beziehungen zu korrekteren räumlichen Interpretationen.
• Multimodale Integration: Die Kombination aus visuellem Graphen und textueller Beschreibung des Graphen im Prompt liefert die besten Ergebnisse, wobei der visuelle Graph allein bereits einen großen Teil des Gewinns erzielt.
• Effizienz: Der Overhead für die Generierung des annotierten Bildes beträgt durchschnittlich nur 1,13 Sekunden pro Bild, was im Vergleich zum Nutzen der verbesserten räumlichen Reasoning-Fähigkeiten als gering eingestuft wird.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass strukturelle Informationen (Graphen) direkt auf Pixelebene in multimodale Modelle eingespeist werden können, um deren räumliches Verständnis drastisch zu verbessern, ohne das Modell neu zu trainieren.

• Praktische Relevanz: Die Methode ist besonders wertvoll für Anwendungen, die präzises räumliches Verständnis erfordern, wie z. B. robotische Manipulation, autonome Navigation, GUI-Agenten und medizinische Bildanalyse (z. B. chirurgische Videoanalyse).
• Zukunftsperspektiven: Die Autoren sehen Potenzial in der Erweiterung zu Hypergraphen für komplexere Szenen, der Nutzung von Stereovision für präzisere Tiefeninformationen und der Anwendung auf Video-Understanding.

Zusammenfassend bietet GoM einen robusten, effizienten und universell einsetzbaren Ansatz, um die „Blindheit" von MLMs gegenüber räumlichen Beziehungen zu überwinden und hybride graph-basierte Lösungen für das visuelle Verständnis voranzutreiben. Der Code und die Daten sind unter einer Open-Source-Lizenz verfügbar.