DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben zwar beeindruckende Fortschritte bei allgemeinen Bild-Beschreibungs- und Visuell-Sprach-Aufgaben erzielt, leiden jedoch unter erheblichen Einschränkungen in der feingranularen visuellen Wahrnehmung und der präzisen räumlichen Schlussfolgerung.

• Schwäche: State-of-the-Art-Modelle übersehen oft subtile visuelle Hinweise wie kleine Objektveränderungen, Farbunterschiede oder fehlende Elemente.
• Ursache: Die aktuellen Vorausbildungsparadigma bieten zwar starke semantische Ausrichtung auf hoher Ebene, aber unzureichende Überwachung (Supervision), um die notwendige Sensitivität für detaillierte Szenenanalysen zu entwickeln.
• Herausforderung bei bestehenden Ansätzen: Bestehende Methoden zur Verbesserung der Wahrnehmung (z. B. durch Reinforcement Learning oder Proxy-Aufgaben wie Jigsaw-Puzzles) leiden oft unter einem Trade-off zwischen Spezialisierung und Generalisierung oder sind aufgrund manueller Annotationen nicht skalierbar. Zudem ist das Signal für Unterschiede in Bildern oft extrem spärlich, was zu instabilem Training führt.

2. Methodik: DiG (Differential Grounding)

Das Paper stellt DiG vor, ein neues Proxy-Aufgaben-Framework, das MLLMs trainiert, feingranulare Unterschiede zwischen Bildpaaren zu identifizieren und zu lokalisieren.

A. Die DiG-Aufgabe

Das Modell erhält ein Paar ähnlicher Bilder ($I_a$ als Referenz, $I_b$ mit Modifikationen) und muss alle visuellen Diskrepanzen (Hinzufügungen, Löschungen, Attributänderungen) ohne Vorwissen über deren Anzahl identifizieren und mit Bounding-Boxen auf dem Referenzbild lokalisieren.

B. Automatisierte Datenpipeline (3D-Rendering)

Um skalierbare Trainingsdaten zu generieren, wurde eine vollständig automatisierte Pipeline auf Basis von Blender 3D entwickelt:

• Prozedurale Generierung: Szenen werden durch JSON-Konfigurationsdateien definiert (Anzahl, Form, Farbe, Größe, Material, Position von Objekten).
• Kontrollierte Unterschiede: Ein stochastischer Prozess modifiziert die Konfiguration (z. B. Ändern der Farbe eines Objekts oder Entfernen eines Objekts), um das zweite Bild ($I_b$) zu rendern.
• Vorteil: Da die Änderungen im 3D-Raum definiert sind, können die Ground-Truth-Bounding-Boxen ($B_{gt}$) automatisch und perfekt genau extrahiert werden. Dies eliminiert manuelle Annotationen und ermöglicht die Erstellung großer, hochwertiger Datensätze mit kontrollierbarem Schwierigkeitsgrad.

C. Reinforcement Learning (RL) mit GRPO

Das Training erfolgt mittels Group Relative Policy Optimization (GRPO). Die Belohnungsfunktion ($R$) besteht aus drei Komponenten:

1. Format-Reward ($r_{format}$): Sicherstellt, dass die Ausgabe syntaktisch korrekt ist (z. B. als JSON-Liste von Bounding-Boxen).
2. Genauigkeits-Reward ($r_{acc}$): Kombiniert zwei Signale:
   • F1-Score: Misst die Vollständigkeit der erkannten Unterschiede (Detektion).
   • IoU (Intersection over Union): Misst die räumliche Präzision der Bounding-Boxen.
   • Die Zuordnung zwischen Vorhersage und Ground-Truth erfolgt effizient über den Hungarian-Algorithmus.
3. Gesamt-Reward: Ein gewichteter Summe aus Format- und Genauigkeits-Reward, wobei der Fokus auf der visuellen Genauigkeit liegt.

D. Curriculum Learning

Ein zentrales Problem ist die Spärlichkeit des Belohnungssignals zu Trainingsbeginn (das Modell findet kaum Unterschiede, der Reward kollabiert gegen Null). Um dies zu lösen, wird ein Curriculum-Learning-Ansatz verwendet:

• Phase 1: Training nur mit Szenen, die eine Diskrepanz enthalten (dichte, leicht interpretierbare Signale).
• Phase 2: Training mit Szenen, die zwei Diskrepanzen enthalten.
• Phase 3: Training mit gemischten Szenen (bis zu vier Diskrepanzen), wobei die Anzahl der Unterschiede dem Modell nicht mehr mitgeteilt wird, um die Komplexität zu erhöhen.
  Dieser schrittweise Aufbau ermöglicht eine stabile Optimierung und verhindert, dass das Modell von der Spärlichkeit der Signale überwältigt wird.

3. Wichtige Beiträge

1. DiG-Framework: Einführung eines neuen Proxy-Aufgaben-Frameworks zur Verbesserung der feingranularen räumlichen Wahrnehmung in MLLMs.
2. Skalierbare Datenpipeline: Entwicklung einer automatisierten 3D-Rendering-Pipeline zur Generierung von Bildpaaren mit vollständig kontrollierbaren Unterschieden und perfekten Ground-Truth-Annotationen.
3. Curriculum-Learning-Strategie: Eine Methode zur Bewältigung der Spärlichkeit von Unterschiedssignalen, die stabiles Training durch progressive Steigerung der Komplexität ermöglicht.
4. Umfassende Evaluation: Nachweis, dass DiG nicht nur die Leistung auf spezifischen Wahrnehmungs-Benchmarks verbessert, sondern auch auf allgemeine multimodale Aufgaben übertragbar ist.

4. Ergebnisse

Die Autoren evaluierten DiG auf Basis von Qwen3-VL (4B und 8B Parameter) und verglichen es mit Baseline-Modellen und anderen SOTA-Modellen.

• Visuelle Wahrnehmungs-Benchmarks: DiG führte zu konsistenten Verbesserungen auf Benchmarks wie HalBench, HRBench-8K, POPE und VSR. Beispielsweise erzielte das 8B-Modell auf HalBench eine Steigerung von +3,4 Punkten.
• Allgemeine Multimodale Benchmarks: Die Fähigkeiten übertrugen sich erfolgreich auf Aufgaben wie MMBench, MM-Vet und ScienceQA. Das 4B-Modell mit DiG erreichte auf MMStar eine Steigerung von +3,5 Punkten.
• Grounding-Benchmarks (RefCOCO/+/g): Die Modelle zeigten signifikante Verbesserungen bei der Lokalisierung von Objekten basierend auf Textreferenzen (z. B. +2,0 bis +3,4 Punkte auf RefCOCO für das 8B-Modell).
• Qualitative Analyse: Fallstudien zeigen, dass das DiG-trainierte Modell subtile räumliche Beziehungen (z. B. relative Größe, Tiefe) und Attributdetails (Farbe, Form) besser erkennt als das Baseline-Modell.

5. Bedeutung und Fazit

DiG demonstriert, dass differentielle Grounding-Aufgaben ein skalierbarer und robuster Ansatz sind, um die feingranulare visuelle Schlussfolgerung in multimodalen Modellen zu verbessern.

• Paradigmenwechsel: Statt auf manuell annotierte Daten oder reine semantische Ausrichtung zu setzen, nutzt DiG die automatische Generierung von Unterschieden, um ein tiefes Verständnis für visuelle Details zu erzwingen.
• Effizienz: Die Kombination aus 3D-Rendering und Curriculum Learning löst das Problem der instabilen RL-Optimierung bei spärlichen Signalen.
• Zukunft: Die Arbeit bietet einen vielversprechenden Weg, um die Lücke zwischen hochleveliger semantischer Reasoning und niedrigleveliger visueller Wahrnehmung in MLLMs zu schließen, was zu weniger Halluzinationen und präziseren multimodalen Systemen führt.