💻 computer science

Beyond the Linear Separability Ceiling: Aligning Representations in VLMs

Dieses Paper führt ein diagnostisches Framework ein, das auf der Linear Separability Ceiling (LSC) basiert, um aufzuzeigen, dass die Fehler von Visual-Language-Modellen beim abstrakten Denken oft auf eine suboptimale visuelle Ausrichtung statt auf Defizite im logischen Denken zurückzuführen sind, und schlägt eine kontrastive Trainingsmethode vor, um visuelle Repräsentationen in eine linear besser trennbare Geometrie umzustrukturieren, was es Modellen ermöglicht, diese Leistungsdecke signifikant zu übertreffen.

Ursprüngliche Autoren: Enrico Vompa, Tanel Tammet, Mohit Vaishnav

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Enrico Vompa, Tanel Tammet, Mohit Vaishnav

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „kluge, aber ahnungslose“ Roboter

Stellen Sie sich vor, Sie haben einen sehr klugen Roboter (ein visuell-sprachliches Modell, oder VLM), der Bilder sehen und darüber sprechen kann. Sie zeigen ihm ein Rätsel: „Hier sind 6 Bilder von Katzen, die etwas tun, und sie 6 Bilder von Katzen, die das nicht tun. Zu welcher Kategorie gehört dieses neue Bild?“

Manchmal scheitert der Roboter. Die große Frage, die sich die Autoren stellten, war: Warum?

Sind die „Augen“ des Roboters (Wahrnehmung) schlecht? Vielleicht kann er die Katze nicht klar erkennen.
Oder ist sein „Gehirn“ (Schlussfolgerung) schlecht? Vielleicht sieht er die Katze perfekt, kann aber die Regel nicht entschlüsseln, um das Rätsel zu lösen.

Das Diagnosewerkzeug: Die „Lineare Decke“ (Linear Ceiling)

Um dies zu beantworten, bauten die Autoren einen Test namens Linear Separability Ceiling (LSC).

Die Analogie: Stellen Sie sich vor, die „Augen“ des Roboters verwandeln jedes Bild in eine lange Liste von Zahlen (ein Embedding).

Der Test: Sie nehmen diese Zahlenlisten und bitten einen sehr einfachen, dummen Taschenrechner (einen linearen Klassifikator), die Bilder in „Ja“- oder „Nein“-Stapel zu sortieren.
Die Decke: Wenn dieser einfache Taschenrechner die Bilder mit einer Genauigkeit von 90 % sortieren kann, bedeutet das, dass die „Augen“ des Roboters bereits die harte Arbeit geleistet haben. Die Information ist da und leicht zu lesen. Diese 90 % sind die „Decke“ für die rohen visuellen Daten.

Die Entdeckung: Die Autoren fanden heraus, dass dieser einfache Taschenrechner bei den meisten fortschrittlichen Robotern tatsächlich fast so gut abschneiden kann wie der Roboter selbst.

Die „Alignment-Lücke“ (Alignment Gap): Das komplexe Gehirn des Roboters versagt dabei, die klaren Informationen zu nutzen, die seine Augen bereits liefern. Es ist wie eine Bibliothek mit perfekt organisierten Büchern (den visuellen Daten), aber der Bibliothekar (das Denk-Gehirn) verirrt sich ständig und findet das richtige Buch nicht. Der Roboter ist nicht blind; er ist nur nicht abgestimmt (misaligned).

Wie einige Roboter Erfolg haben

Einige Roboter bezwangen diesen einfachen Taschenrechner. Die Autoren fanden heraus, dass sie dies auf zwei verschiedene Arten taten:

Der „Verfeinerer“ (Pixtral): Dieser Roboter nimmt die rohen Zahlenlisten seiner Augen und jagt sie durch einen speziellen Prozess, um sie noch klarer und einfacher sortierbar zu machen. Es ist, als würde man ein unscharfes Foto schärfen, bis der einfache Taschenrechner es problemlos lesen kann.
Der „Denker“ (Die meisten anderen): Diese Roboter machen die Zahlen nicht klarer. Stattdessen nutzen sie ihr komplexes Gehirn, um eine nicht-lineare, knifflige Logik anzuwenden, um die Antwort zu finden. Sie vollbringen eine mentale Akrobatik, zu der der einfache Taschenrechner nicht fähig ist.

Die Lösung: Dem Roboter beibringen, „in Linien zu denken“

Die Autoren wollten die „Alignment-Lücke“ schließen, damit alle Roboter diese Rätsel besser lösen können. Sie erkannten, dass die Roboter darauf trainiert wurden, das nächste Wort in einem Satz vorherzusagen (wie ein Textgenerator), was sie jedoch nicht dazu zwang, ihre visuellen Gedanken klar zu organisieren.

Die Lösung: Sie fügten eine neue Regel zum Training des Roboters hinzu.

Alte Regel: „Rate das nächste Wort.“
Neue Regel: „Rate das nächste Wort UND stelle sicher, dass das Bild, das du gerade ansiehst, in der Zahlenwelt direkt neben seinen ‚Geschwistern‘ liegt und weit weg von den ‚Feinden‘ ist.“

Die Analogie: Stellen Sie sich ein unordentliches Zimmer vor, in dem rote Socken mit blauen Socken vermischt sind.

Vorher: Der Roboter versucht nur, anhand eines Bauchgefühls zu erraten, welche Socke welche ist.
Nachher: Dem Roboter wird gesagt: „Sortiere die Socken! Lege alle roten Socken in einen ordentlichen Stapel und alle blauen in einen anderen.“ Sobald die Socken sortiert sind (der visuelle Manifold ist restrukturiert), kann der Roboter die richtige Socke problemlos auswählen.

Die Ergebnisse

Durch die Verwendung dieser neuen Trainingsmethode (die Kombination aus Wortvorhersage und dieser „Sortier“-Regel):

Die Visuellen Daten wurden klarer: Das interne Bild der Welt wurde durch den Roboter in ordentliche, gerade Linien (lineare Geometrie) organisiert.
Das Gehirn wurde abgestimmt: Die Denkpfade des Roboters passten nun endlich zu seiner klaren Sicht.
Bessere Punktzahlen: Die Roboter begannen, abstrakte Rätsel (wie die Bongard-Probleme) viel besser zu lösen als zuvor – oft über das Limit des „einfachen Taschenrechners“ hinaus, das sie zuvor nicht durchbrechen konnten.

Der Haken (Einschränkungen)

Das Paper weist auf einen Kompromiss hin. Indem man den Roboter dazu zwang, seine visuellen Gedanken in diese ordentlichen, geraden Linien zu organisieren, wurde er manchmal etwas starr.

Die Analogie: Wenn man einem Schüler beibringt, Matheaufgaben nur durch das Zeichnen perfekter gerader Linien zu lösen, wird er in dieser spezifischen Art von Problem sehr gut sein, aber Schwierigkeiten bekommen, wenn der Lehrer ihn bittet, einen Kreis zu zeichnen oder ein Gedicht zu schreiben.
Die Roboter wurden großartig in diesen spezifischen visuellen Rätseln, hatten aber manchmal Schwierigkeiten, wenn sich das Format der Frage leicht änderte, weil sie so sehr von dieser spezifischen „geraden Linien“-Struktur abhängig geworden waren.

Zusammenfassung

Das Paper argumentt, dass viele KI-Sehenmodelle nicht daran scheitern, dass sie nicht sehen können, sondern weil sie nicht organisieren können, was sie sehen. Durch das Hinzufügen einer einfachen „Sortier“-Regel zu ihrem Training halfen die Autoren diesen Modellen, ihre Sichtweise mit ihrem Denken in Einklang zu bringen, was es ihnen ermöglichte, abstrakte Rätsel zu lösen, an denen sie zuvor gescheitert waren.

Technisches Resümee: Jenseits der linearen Separabilitäts-Obergrenze: Ausrichtung von Repräsentationen in VLMs

Problemstellung

State-of-the-Art Visual-Language Models (VLMs) scheitern häufig an Aufgaben des abstrakten Denkens, wie etwa Bongard-Problemen, obwohl sie über starke visuelle Wahrnehmungsfähigkeiten verfügen. Eine zentrale Herausforderung auf diesem Gebiet besteht darin, zu entwirren, ob diese Misserfolge auf eine fehlerhafte Bottom-up-visuelle Wahrnehmung (die Unfähigkeit, notwendige Merkmale zu extrahieren) oder auf ein fehlerhaftes Top-down-Schlussfolgern (die Unfähigkeit, diese Merkmale unter Verwendung von Vorwissen zu interpretieren) zurückzuführen sind. Vorherige Studien hatten Schwierigkeiten, die primäre Ursache des Scheiterns zu isolieren, da es an empirischen Methoden mangelte, um die Lücke zwischen den rohen visuellen Repräsentationen eines Modells und seinem generativen Output zu quantifizieren.

Methodik

Die Autoren führen ein Diagnoserahmenwerk ein, das auf der Linearen Separabilitäts-Obergrenze (Linear Separability Ceiling, LSC) basiert, um diese Mehrdeutigkeit zu adressieren.

Lineare Separabilitäts-Obergrenze (LSC): Die LSC ist definiert als die Leistung, die durch einen einfachen linearen Klassifikator (speziell einen Nearest-Centroid-Klassifikator) auf den rohen visuellen Embeddings eines VLM erreicht werden kann. Diese Metrik etabliert eine Baseline für die Qualität der initialen visuellen Repräsentationen. Wenn die end-to-end generative Leistung dieses Ceiling statistisch nicht übertreffen kann, deutet dies auf einen Fehler im Reasoning-Pfad hin und nicht im Wahrnehmungspfad.
Diagnostisches Rahmenwerk: Das Rahmenwerk vergleicht drei Metriken:
- LSC: Genauigkeit eines linearen Probes auf initialen Visions-Embeddings.
- Final Representation Accuracy: Genauigkeit eines linearen Probes auf den finalen Hidden States des LLMs.
- Generative Accuracy: Die Standard-Next-Token-Prediction-Leistung des Modells.
  Statistische Signifikanztests (Chi-Quadrat) werden verwendet, um zu bestimmen, ob die generative Leistung tatsächlich besser als die LSC ist oder ob eine „Alignment-Lücke“ existiert.
Interventionsstrategien: Die Studie evaluiert mehrere Methoden des Parameter-Efficient Fine-Tuning (PEFT), um diese Lücke zu schließen:
- Postfix Tuning: Fügt am Ende der Sequenz trainierbare Soft-Prompts hinzu, um latente Reasoning-Pfade zu aktivieren, ohne die initialen Repräsentationen zu verändern.
- LoRA (Low-Rank Adaptation): Injiziert trainierbare Matrizen in Attention- und MLP-Layer.
- Kombinierte Zielsetzung ( $L_{combined}$ ): Eine neuartige Trainingszielsetzung, die die Standard-Next-Token-Prediction ( $L_{NT}$ ) mit einem expliziten kontrastiven Verlust ( $L_{sim}$ ) kombiniert. Dieser kontrastive Term regt dazu an, dass die finalen Embeddings eines Query-Bildes näher an seinem wahren Kategorie-Zentroid und weiter von der Alternative liegen, was effektiv den visuellen Manifold in eine eindimensional-lineare Geometrie restrukturiert.

Zentrale Erkenntnisse

1. Die allgegenwärtige Alignment-Lücke

Angewandt auf acht State-of-the-Art VLMs (einschließlich Phi, Pixtral, Gemma, InternVL und Qwen) über Bongard-ähnliche Datensätze hinweg, zeigt die Studie eine weit verbreitete „Alignment-Lücke“. Für die meisten Modelle ist die generative Leistung statistisch nicht von ihrer eigenen LSC zu unterscheiden oder sogar schlechter als diese. Dies deutet darauf hin, dass die Modelle zwar über qualitativ hochwertige visuelle Repräsentationen verfügen (hohe LSC), ihre Reasoning-Pfade jedoch nicht effektiv darauf ausgerichtet sind, diese zu nutzen.

2. Zwei Wege, um das Ceiling zu übertreffen

Die wenigen Modelle, die die LSC erfolgreich übertreffen, tun dies über zwei unterschiedliche Mechanismen:

Verbesserung der linearen Separabilität: Modelle wie Pixtral verfeinern visuelle Repräsentationen durch nicht-lineare Prozesse in ein besser linear separierbares Format und erweitern damit effektiv den Bottom-up-Wahrnehmungsprozess.
Nicht-lineare Entscheidungslogik: Die meisten erfolgreichen Modelle führen eine nicht-lineare Entscheidungslogik (Top-down-Reasoning) aus, die eine Lösung berechnet, die nicht linear aus den Embeddings ablesbar ist. Belege hierfür liefern die Erfolge des Postfix Tunings, welches die initialen Repräsentationen nicht verändern kann, aber in der Lage ist, latente Reasoning-Pfade zu aktivieren.

3. Lokalisierung des Flaschenhalses

Ablationsstudien bestätigen, dass der Flaschenhals innerhalb der Reasoning-Pfade des LLMs liegt, nicht in der Wahrnehmung des Vision-Encoders. Die Anwendung von LoRA auf den Vision-Encoder lieferte keinen zusätzlichen Leistungsgewinn im Vergleich zur Anpassung des LLMs allein.

4. Aufgabenabhängige Anpassung

Atomare Konzepte: Für Aufgaben, die den Vergleich atomarer semantischer Konzepte beinhalten (z. B. OpenWorld), ist eine Aktivierung via Prompt Tuning oft ausreichend.
Relationale Konzepte: Für Aufgaben, die das Schlussfolgern über relationale semantische Konzepte erfordern (z. B. Bongard-HOI), ist eine tiefere Anpassung via LoRA erforderlich, um die Leistung zu steigern.

5. Die kombinierte Zielsetzung ( $L_{combined}$ )

Die vorgeschlagene $L_{combined}$ -Zielsetzung balanciert widersprüchliche Signale erfolgreich aus. Durch die Restrukturierung des visuellen Manifolds in global konsistente, eindimensional-lineare Strahlen verbessert sie den Bild-zu-Bild-Vergleich. Dieser Ansatz ermöglicht es den Modellen, die LSC bei abstrakten kompositorischen Reasoning-Aufgaben signifikant zu übertreffen, und demonstriert eine robuste Generalisierung auf Out-of-Distribution (OOD) Konzepte und Cross-Domain-Aufgaben wie Winoground.

Bedeutung und Ansprüche

Das Paper behauptet zu zeigen, dass der Flaschenhals im abstrakten VLM-Reasoning keine fundamentale Limitation der Wahrnehmung ist, sondern ein lösbares visuelles Alignment-Problem.

Diagnostischer Nutzen: Das LSC-Rahmenwerk bietet eine geometrische und statistische Linse, um die Alignment-Lücke zu formalisieren und zwischen fehlverankerten Reasoning-Pfaden und fundamental fehlender perzeptiver Kenntnis zu unterscheiden.
Mechanistischer Einblick: Die Arbeit identifiziert, dass die Reasoning-Fähigkeiten oft hinter der linearen Separabilität der visuellen Wahrnehmungen zurückbleiben. Sie postuliert, dass global konsistente Strukturen (lineare Geometrie) den Transfer auf Out-of-Distribution kompositorische Reasoning-Aufgaben fördern.
Praktische Lösung: Das Paper bietet eine Trainingsmethodik an, die die Standard-Next-Token-Prediction um eine kontrastive Zielsetzung ergänzt. Dieser Ansatz restrukturiert den visuellen Manifold, wodurch Modelle ihre internen visuellen Repräsentationen besser nutzen und eine höhere Interpretierbarkeit sowie Leistung bei abstrakten Aufgaben erreichen können.

Die Autoren kommen zu dem Schluss, dass die Erzwingung einer spezifischen geometrischen Struktur zwar eine Sprödigkeit in Prompt-Formaten einführen kann, die Fähigkeit, Repräsentationen in linear separierbare Formate zu restrukturieren, jedoch ein entscheidender Schritt hin zu leistungsfähigerem und interpretierbarem multimodalem Reasoning ist. Es wird vorgeschlagen, dieses Konzept der sequenzweisen verteilten Repräsentationen auf die textuelle Modalität auszuweiten, um die „Split-Brain“-Pathologie aktueller VLMs zu lösen.