Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

1. Problemstellung

Multimodale Large Language Models (MLLMs) scheitern häufig an komplexen visuellen Aufgaben (z. B. Diagramme, hochauflösende Wahrnehmung, visuelle Mathematik), da ihnen visuelle Evidenz fehlt oder diese schlecht lokalisiert ist. Während externe Werkzeuge (Zuschneiden, Suche, Generierung) diese Evidenz liefern können, führen sie zu Latenz, Komplexität und Generalisierungsproblemen. Eine Alternative ist das visuelle latente Schlussfolgern, bei dem das Modell kontinuierliche latente Token ausgibt, um intermediäre visuelle Evidenz intern zu repräsentieren.

Allerdings leiden bestehende Methoden für latentes Schlussfolgern unter instabilen Gewinnen und liefern nach dem Nachtrainieren oft nur vernachlässigbare Verbesserungen. Die Autoren identifizieren eine fundamentale Fehlabstimmung im Merkmalsraum als Hauptursache:

• Problem der Pre-Norm-Architektur: Moderne MLLMs (z. B. Qwen2.5-VL, Gemma 4) verwenden Pre-Norm-Transformer. In diesen Architekturen summieren sich die Normen der versteckten Zustände über die Schichten hinweg signifikant an, sodass Zustände der letzten Schicht um Größenordnungen größer sind (z. B. ~8,7× für Vision, ~546× für Text) als die Eingabe-Embeddings, für deren Verarbeitung das Modell trainiert wurde.
• Die Fehlabstimmung: Aktuelle latente Methoden verwenden diese hochnormierten ausgehenden versteckten Zustände typischerweise direkt als Eingaben für das nächste latente Token („Output-as-Input"). Dies erzeugt eine Rückkopplungsschleife, bei der das Modell Eingaben aus einer Verteilung erhält, für deren Verarbeitung es nicht trainiert wurde, was die Optimierung destabilisiert und den latenten Kanal unzuverlässig macht.

2. Methodik: Das GAP-Framework

Die Autoren schlagen GAP (Granular Alignment Paradigm) vor, eine dreistufige Ausrichtungsstrategie, um das visuelle latente Schlussfolgern zu stabilisieren und zu verbessern.

A. Merkmalsebene-Ausrichtung: PCA-ausgerichteter latenter Kopf

Um die Norm- und Teilraum-Fehlabstimmung zu lösen, speist GAP keine rohen Decoder-Zustände direkt zurück in das Modell. Stattdessen:

• Projektion: Die finalen versteckten Zustände des Backbones (nach nativer RMSNorm) werden über einen leichten PCA-ausgerichteten latenten Kopf in den Hauptteilraum der Vision-Embeddings von Hilfsbildern abgebildet.
• Rekonstruktion: Das Modell sagt niedrigdimensionale PCA-Koeffizienten ($c_t$) anstelle von hochdimensionalen Vektoren voraus. Diese werden unter Verwendung des empirischen Mittelwerts ($\mu$) und der Top-$k$-Eigenvektoren ($P_k$) der Vision-Embeddings des Trainingsdatensatzes rekonstruiert: $\hat{v}_t = P_k c_t + \mu$.
• Wirkung: Dies zwingt generierte Latente, im selben Normbereich und im selben empirischen Teilraum wie die Eingabe-Vision-Embeddings zu verweilen, wodurch die Fehlabstimmung im Merkmalsraum korrigiert wird, ohne dass ein Nachtrainieren des Backbones erforderlich ist.

B. Datenebene-Ausrichtung: Kontextverankerte Überwachung

Um sicherzustellen, dass latente Ziele interpretierbar und überprüfbar sind, konstruieren die Autoren einen Datensatz mit 49.309 kuratierten Beispielen, bei denen:

• Hilfsbilder: Jede Abfrage ist mit einem generierten „Hilfsbild" gepaart, das die fehlende visuelle Evidenz repräsentiert.
• Strukturierte Ausgabe: Die Trainingsantwort enthält einen <latent>-Span (überwacht durch eingefrorene ViT-Features des Hilfsbildes) und einen <parser>-Span (eine textuelle Beschreibung des beabsichtigten visuellen Signals).
• Ziel: Dies verknüpft kontinuierliche latente Vektoren mit spezifischen, für Menschen lesbaren visuellen Absichten und macht den Trainingsprozess transparent.

C. Modellebene-Ausrichtung: Schwierigkeitsbewusste Zuweisung

Um zu verhindern, dass Rauschen entsteht, indem latente Überwachung auf Beispiele angewendet wird, die das Basismodell bereits löst:

• Auswahlstrategie: Das System schätzt die Genauigkeit des Basismodells bei einer Abfrage durch wiederholtes Sampling ab.
• Bedingte Überwachung: Latente Ziele werden nur zugewiesen, wenn das Basismodell scheitert (Genauigkeit $\le \tau$). Leichte Beispiele erhalten eine Standard-Überwachung nur mit Text.
• Vorteil: Dies konzentriert die latente Kapazität auf schwierige Fälle, in denen visuelles Schlussfolgern tatsächlich benötigt wird, und vermeidet Verteilungsverschiebungen bei leichten Aufgaben.

3. Hauptbeiträge

1. Diagnose der Fehlabstimmung im Merkmalsraum: Das Papier zeigt empirisch, dass in Pre-Norm-MLLMs ausgehende versteckte Zustände einen anderen Normbereich einnehmen als Eingabe-Embeddings, was zu Instabilität bei latenter Feedback-Schleifen vom Typ „Output-as-Input" führt. Eine einfache Norm-Neuskalierung (EMA) verbessert die Leistung und validiert diese Hypothese.
2. Das GAP-Paradigma: Ein leichtgewichtiges Rezept, das Folgendes kombiniert:
   • PCA-ausgerichtete Projektion, um Latente zurück in den Eingabe-Vision-Teilraum abzubilden.
   • Kontextverankerte Überwachung für Überprüfbarkeit.
   • Schwierigkeitsbewusste Zuweisung für Trainingsstabilität.
3. Offener Datensatz: Veröffentlichung eines 49K großen, hochwertigen multimodalen Datensatzes für latente Überwachung, der visuelles CoT, Diagramme, Geometrie und Mathematik abdeckt.
4. Empirische Validierung: Nachweis, dass ausgerichtete Latente aufgabenrelevante visuelle Signale tragen, die über bloße Token-Platzhalter hinausgehen.

4. Experimentelle Ergebnisse

Evaluiert auf Qwen2.5-VL 7B, wurde das vollständige GAP-Modell (LH+PCA+DA) mit dem Basismodell, Baselines für dichte Bildunterschriften und früheren latenten Methoden (Monet, LVR) verglichen.

• Leistung: GAP erzielte die beste mittlere aggregierte Leistung über Wahrnehmungs-Benchmarks (HRBench4K, MMStar, MME-RealWorld-Lite) und Schlussfolgerungs-Benchmarks (MathVista, WeMath).
  • Es verbesserte die aggregierte Schlussfolgerungsleistung (Avg-R) um +5,98 gegenüber Monet und um +6,31 gegenüber LVR.
  • Es verbesserte die aggregierte Wahrnehmungsleistung (Avg-P) um +1,74 gegenüber Monet.
• Ablationsstudien:
  • PCA-Ausrichtung: Wesentlich für die Wiederherstellung der Schlussfolgerungsgenauigkeit, die durch naive latente Köpfe verloren ging.
  • Schwierigkeitsbewusste Zuweisung: Entscheidend zur Verhinderung von Leistungsverschlechterungen bei leichten Beispielen.
  • Token-Budget: Die Leistung erreicht ihren Höhepunkt bei 36 latenten Token (6x6-Gitter); eine weitere Erhöhung führt zu abnehmenden Grenzerträgen oder Sättigung.
• Interventions-Abtastung:
  • Zero-Latent-Checkpoint: Selbst ohne Generierung von Latenten beim Inferenzlauf übertraf das mit latenter Überwachung trainierte Modell dichte Bildunterschriften, was darauf hindeutet, dass der Trainingsprozess selbst bessere Repräsentationen prägt.
  • Rauscheinjektion: Das Ersetzen der vorhergesagten PCA-Koeffizienten durch Gaußsches Rauschen verschlechterte die Leistung signifikant, was bestätigt, dass die generierten Latente aufgabenrelevante visuelle Signale und nicht nur Formatierungsartefakte enthalten.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass visuelles latentes Schlussfolgern in MLLMs robust und effektiv gemacht werden kann, indem die spezifischen architektonischen Inkompatibilitäten von Pre-Norm-Transformern adressiert werden.

• Bescheidene Behauptungen: Die Autoren behaupten nicht, Halluzinationen vollständig zu lösen oder universell auf alle Backbones ohne weitere Validierung anwendbar zu sein. Sie weisen darauf hin, dass die „Schwierigkeitsschwelle" heuristisch ist und der Ansatz die Fähigkeit zur Generierung aussagekräftiger Hilfsbilder während der Datensatzkonstruktion voraussetzt.
• Kern-Erkenntnis: Der Hauptbeitrag ist die Identifizierung der Norm-/Teilraum-Fehlabstimmung als Versagensmodus und der Nachweis, dass ein leichtgewichtiger, PCA-basierter Rekonstruktionspfad kontinuierliches visuelles Feedback mit der Eingabeverteilung des Modells ausrichten kann, wodurch stabiles und interpretierbares visuelles Schlussfolgern ohne externe Werkzeuge ermöglicht wird.