💻 computer science

GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

GraSP-VL führt eine lernbare, gemeinsam genutzte nahezu orthogonale Präfixtransformation ein, die eingefrorene Vision-Language-Embeddings in eine „Semantic Matryoshka"-Schnittstelle umorganisiert und einen steuerbaren Zugriff auf semantische Granularität von grob bis fein ermöglicht, indem lediglich die Embedding-Länge variiert wird, wobei die geometrische Struktur der vollen Dimensionalität des ursprünglichen Modells und seine Zero-Shot-Leistung erhalten bleiben.

Ursprüngliche Autoren: Zesheng Li, Chengchang Pan, Honggang Qi

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zesheng Li, Chengchang Pan, Honggang Qi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein riesiges, superschlau Bibliotheksbuch (ein Vision-Language-Modell), das alles über Bilder und Wörter weiß. Wenn Sie es eine Frage stellen, gibt es Ihnen eine einzige, massive „Zusammenfassungskarte" (ein Embedding-Vektor), die alle Informationen auf einmal enthält: das Objekt, die Farbe, die Handlung, die Stimmung und die gesamte Geschichte.

Das Problem ist, dass diese Zusammenfassungskarte immer die gleiche Größe hat. Wenn Sie nur wissen wollen: „Ist da ein Hund?", müssen Sie das ganze 500-seitige Buch lesen. Wenn Sie wissen wollen: „Ist der Hund braun?", müssen Sie immer noch das ganze Buch lesen. Es ist, als würde man versuchen, eine bestimmte Zutat in einer Suppe zu finden, indem man jedes Mal den ganzen Topf probiert, selbst wenn man nur wissen will, ob Salz darin ist.

GraSP-VL ist eine neue Methode, die diese „Alles-oder-Nichts"-Zusammenfassungskarte in eine russische Matroschka-Puppe von Informationen verwandelt.

So funktioniert es, mit einfachen Analogien:

1. Die „Matroschka"-Schnittstelle

Die Autoren erkannten, dass die Informationen in dieser großen Zusammenfassungskarte zwar geschichtet sind, aber alles durcheinander geworfen. Sie schufen ein spezielles Werkzeug (eine „Shared Orthogonal Transform"), das die Karte neu anordnet, ohne die Gesamtmenge der Informationen zu verändern.

Stellen Sie es sich wie das Aufräumen eines unordentlichen Schreibtisches vor:

Der kurze Präfix (Die oberste Schicht): Wenn Sie nur die ersten paar Zentimeter der Karte betrachten, sehen Sie nur das Hauptobjekt (z. B. „Hund"). Es ist eine grobe, ganzheitliche Sichtweise.
Der mittlere Präfix (Die mittlere Schicht): Wenn Sie etwas tiefer schauen, beginnen Sie Attribute zu erkennen (z. B. „Brauner Hund").
Der lange Präfix (Die tiefere Schicht): Wenn Sie noch tiefer gehen, sehen Sie Handlungen und Beziehungen (z. B. „Hund, der ein Loch gräbt").
Die volle Karte (Die unterste Schicht): Wenn Sie das Ganze lesen, erhalten Sie die vollständige Bildunterschrift (z. B. „Ein brauner Hund, der vor einer Pflanze ein Loch gräbt").

Das Magische ist, dass Sie wählen können, wie tief Sie graben wollen. Wenn Sie nur einen Hund finden müssen, stoppen Sie bei der obersten Schicht. Wenn Sie einen braunen Hund finden müssen, gehen Sie etwas tiefer. Sie müssen nicht das Ganze verarbeiten, es sei denn, Sie brauchen die ganze Geschichte.

2. Der „magische Neuordner" (Die Transformation)

Wie haben sie das gemacht? Sie haben das Buch nicht neu geschrieben oder die ursprünglichen Worte des Autors verändert. Stattdessen bauten sie einen magischen Neuordner.

Stellen Sie sich vor, die ursprüngliche Zusammenfassungskarte ist ein Kartenspiel, bei dem die „Hund"-Information mit der „Braun"-Information und der „Graben"-Information in zufälliger Reihenfolge gemischt ist. GraSP-VL ist ein Mischen, das alle „Hund"-Karten nach oben, alle „Braun"-Karten in die Mitte und alle „Graben"-Karten nach unten bewegt.

Entscheidend ist, dass dieses Mischen perfekt ist. Es geht keine Information verloren, und es verändert nicht die Beziehung zwischen den Karten, wenn Sie das gesamte Deck betrachten. Es ändert nur die Reihenfolge, sodass die „Oberseite" des Decks Ihnen etwas Spezifisches verrät und die „Unterseite" etwas anderes.

3. Der „Vertrag"

Die Arbeit nennt dies eine „Semantische Matroschka". Es ist ein Vertrag zwischen dem Benutzer und dem Computer:

Benutzer: „Ich verspreche, bei Länge X aufzuhören, wenn ich nur objektbezogene Informationen will."
Computer: „Ich verspreche, dass Sie, wenn Sie bei Länge X aufhören, nur objektbezogene Informationen sehen werden und nichts über Farben oder Handlungen."

Ohne diese Methode führt ein vorzeitiges Stoppen normalerweise nur zu einer schwachen, verwirrten Version des gesamten Bildes. Mit GraSP-VL liefert ein vorzeitiges Stoppen eine saubere, spezifische Antwort.

4. Die Ergebnisse (Der Beweis)

Die Autoren testeten dies an Tausenden von Bildern und Bildunterschriften (wie Hunde, Katzen und Menschen, die Dinge tun).

Davor: Wenn sie die Karte einfach kürzten, geriet der Computer in Verwirrung. Er konnte keinen Unterschied zwischen einem „braunen Hund" und einem „schwarzen Hund" erkennen, wenn sie zu früh mit dem Lesen aufhörten.
Danach: Mit GraSP-VL war der Computer, als sie bei der „kurzen" Länge stoppten, hervorragend darin, das Objekt (den Hund) zu erkennen, ignorierte aber die Farbe. Wenn sie etwas länger gingen, wurde er plötzlich hervorragend darin, die Farbe zu erkennen. Wenn sie noch länger gingen, verstand er die Handlung.

Sie bewiesen auch, dass dies das ursprüngliche Modell nicht zerstörte. Wenn Sie die ganze Karte nach dem Mischen lesen, weiß sie immer noch genau das, was sie vorher wusste. Die Genauigkeit des „gesamten Bildes" blieb gleich, aber jetzt haben Sie die Option, nur die „oberste Schicht" für schnellere, einfachere Antworten zu betrachten.

Zusammenfassung

GraSP-VL nimmt ein gefrorenes, „einheitsgrößen"-KI-Gehirn und gibt ihm ein Drehregler. Sie können den Regler auf „Grob" stellen für schnelle, einfache Antworten (nur das Objekt) oder auf „Fein" für detaillierte Antworten (Farbe, Handlung, ganze Geschichte). Dies erreicht es, indem es die Informationen im Gehirn neu organisiert, sodass die „Oberseite" der Daten immer das große Bild enthält und die „Unterseite" die Details, alles ohne das ursprüngliche Wissen des Gehirns zu verändern.

Technischer Zusammenfassung: GraSP-VL

Problemstellung
Eingefrorene Vision-Language-Modelle (VLMs), wie CLIP, erzeugen Einbettungen, die semantische Signale auf mehreren Granularitätsebenen enthalten, die von der Objektidentität über Attribute und Relationen bis hin zu Bedeutungen ganzer Bildbeschreibungen reichen. Diese Modelle stellen diese Signale jedoch über eine Schnittstelle mit festgelegter Vektorlänge zur Verfügung. Dies führt zu einem „Schnittstellen-Mismatch": Ein einzelner Einbettungsvektor wird für Abfragen verwendet, die unterschiedliche Ebenen der semantischen Auflösung erfordern (z. B. die Identifizierung eines „Hundes" versus eines „braunen, laufenden Hundes"). Aktuelle Methoden zur Verkürzung von Einbettungen, wie Abschneiden, Projektion oder Kompression, garantieren nicht, dass die resultierenden kürzeren Vektoren spezifischen semantischen Granularitäten entsprechen. Beispielsweise ist nicht inhärent garantiert, dass die ersten paar Dimensionen einer eingefrorenen CLIP-Einbettung Objekt-semantik repräsentieren, und auch Standardverfahren zur Dimensionsreduktion wie PCA verstehen die beabsichtigte Hierarchie von Entitäten, Attributen und Relationen nicht.

Methodik: GraSP-VL
Die Autoren schlagen GraSP-VL (Granularity-Selective Prefixes for Vision-Language representations) vor, eine Methode, die darauf ausgelegt ist, die Einbettungslänge in eine kontrollierbare semantische Zugriffsschnittstelle umzuwandeln, ohne das zugrunde liegende VLM neu zu trainieren.

Gemeinsame fast-orthogonale Transformation: GraSP-VL lernt eine einzelne, gemeinsame Transformation $F_\theta$ , die sowohl auf Bild- als auch auf Texteinbettungen eines eingefrorenen VLM angewendet wird. Die Transformation wird als orthogonale Matrix $R$ realisiert, die über eine Cayley-Transformation parametrisiert wird ( $R = (I + A_\theta)^{-1}(I - A_\theta)$ ), wobei $A_\theta$ eine schiefsymmetrische Matrix ist, die aus trainierbaren Parametern abgeleitet wird. Dies stellt sicher, dass die Transformation fast-isometrisch ist und die Kosinus-Ähnlichkeit des volldimensionalen Raums exakt erhält ( $\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$ ).
Semantische Matroschka-Schnittstelle: Die Methode implementiert das Prinzip der „Semantischen Matroschka". Anstatt die Präfixlänge lediglich als Kompressionsbudget zu betrachten, weist sie verschiedenen Präfixlängen spezifische semantische Rollen über einen expliziten Schnittstellenvertrag zu:
- Kurze Präfixe (z. B. $D/16$ ) werden groben Rollen zugewiesen (Objektidentität).
- Längere Präfixe (z. B. $D/8, D/4, D/2$ ) geben schrittweise feinere Unterscheidungen frei (Attribute, Relationen/Aktionen, vollständige Bildbeschreibungen).
Granularitätsselektives Ziel: Das Trainingsziel kombiniert fünf gekoppelte Terme, um diese Struktur zu erzwingen:
1. Multi-Granularitäts-Ausrichtung ( $L_{align}$ ): Richtet jede Präfixlänge an ihrer zugewiesenen Sprachansicht aus (Objekt, Attribut, Relation, vollständige Bildbeschreibung).
2. Kumulative Beibehaltung ( $L_{ret}$ ): Stellt sicher, dass längere Präfixe die grobe Semantik kürzerer Präfixe beibehalten und so einen Informationsaustausch verhindern.
3. Selektives Hard-Negative-Ranking ( $L_{rank}$ ): Verwendet typisierte Hard Negatives (Objekt, Attribut, Relation, Aktion, Reihenfolge, vollständig), um sicherzustellen, dass spezifische Unterscheidungen nur an oder nach ihrer zugewiesenen Präfixgrenze auflösbar sind.
4. Invarianz früher Präfixe ( $L_{inv}$ ): Verhindert eine vorzeitige Trennung positiver/negativer Paare vor der zugewiesenen Präfixgrenze, sodass kurze Präfixe grob bleiben und nicht an feingranularen Details überangepasst werden.
5. Erhaltung des Vollraums ( $L_{pres}$ & $L_{ortho}$ ): Überwacht, dass die Geometrie des volldimensionalen Raums unverändert bleibt.

Hauptbeiträge

GraSP-VL-Framework: Eine gemeinsame Präfix-Transformation für eingefrorene VLMs, die den Zugriff auf vorhandene Signale neu organisiert und grob-zu-feine Semantik über die Präfixlänge zugänglich macht, während die ursprüngliche Geometrie des Vollraums erhalten bleibt.
Prinzip der Semantischen Matroschka: Eine Formalisierung, bei der die Einbettungslänge durch einen expliziten Vertrag semantischer Granularität zugewiesen wird, anstatt sich auf entdeckte natürliche Grenzen zu verlassen.
Granularitätsselektives Ziel: Eine neuartige Verlustfunktion, die Ausrichtung, Beibehaltung, Hard-Negative-Diskriminierung, Invarianz früher Präfixe und Geometrieerhaltung kombiniert.
Diagnostisches Protokoll: Ein rigoroses Evaluierungsframework, das semantische Selektivität von rohem Abschneiden, PCA, generischer Anpassung und Koordinatenpermutationen trennt und eine „Falsifizierungskette" verwendet, um die Notwendigkeit der erlernten Schnittstelle zu validieren.

Experimentelle Ergebnisse
Die Methode wurde an einem Pool von 20.147 Beispielen aus COCO und Flickr30K evaluiert, mit zusätzlichen Transfer-Tests auf SugarCrepe-clean und CIFAR-100.

Treppenleistungsprofil: GraSP-VL erreichte einen Treppen-Score von 53,01 und eine Hard-Negative-Selektivität von 89,76 %. Dies übertraf Baselines erheblich, darunter direktes Abschneiden, PCA, zufällige Rotationen sowie Kompressionsmethoden im Stil von MRL, Matryoshka und SMEC.
Geometrieerhaltung: Die Methode hielt die Drift im Vollraum unter $10^{-6}$ und erhielt so effektiv die Entscheidungsoberfläche des ursprünglichen VLM für volldimensionale Abfragen.
Selektivität vs. Drift: Im Gegensatz zu generischen MLP-Adaptern, die zwar hohe Selektivität erreichten, aber den gesamten Einbettungsraum neu schrieben (hohe Drift), erreichte GraSP-VL hohe Selektivität bei nahezu null Drift.
Transferfähigkeit:
- Auf SugarCrepe-clean (ein externer Benchmark, der nicht im Training verwendet wurde) erreichte GraSP-VL eine Objektgenauigkeit von 86,03 % und eine mittlere externe Emergenz von 11,96.
- Es behielt die volldimensionale Zero-Shot-Genauigkeit auf CIFAR-100 bei.
- Der Ansatz generalisierte über verschiedene Backbones (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) mit unterschiedlichen Dimensionen hinweg.
Baselines: Die Studie zeigte, dass rohe Koordinaten, PCA und erlernte Permutationen versagen, die beabsichtigte semantische Leiter zu erzeugen. Nur die dichte, fast-isometrische Mischung, die durch GraSP-VL bereitgestellt wird, organisierte die Signale erfolgreich.

Bedeutung und Behauptungen
Das Papier positioniert GraSP-VL als eine Lösung im Bereich des Interface-Engineerings und nicht als Entdeckung universeller semantischer Breakpoints. Die Autoren behaupten:

Eingefrorene VLM-Einbettungen enthalten ausreichende Signale auf mehreren Granularitätsebenen, um in eine kontrollierbare Präfix-Schnittstelle umorganisiert zu werden.
Die „Semantische Matroschka"-Schnittstelle ermöglicht es Benutzern, eine Präfixlänge auszuwählen, die der erforderlichen semantischen Auflösung (Entität, Attribut, Relation oder vollständige Bildbeschreibung) entspricht, ohne das Basismodell neu zu trainieren oder den ursprünglichen Einbettungsraum zu zerstören.
Dieser Ansatz ist besonders wertvoll für Retrieval-Systeme, bei denen die Kompatibilität mit bestehenden Vollvektor-Indizes und zwischengespeicherten Einbettungen kritisch ist, da die Transformation offline auf Galerie-Einbettungen angewendet werden kann.
Die Autoren stellen ausdrücklich fest, dass die gewählten dimensionsbasierten Breakpoints (z. B. $D/16$ für Objekte) benutzerspezifische Schnittstellenverträge sind und nicht notwendigerweise natürliche Konstanten, die dem VLM inhärent sind. Der Erfolg der Methode liegt darin, diesen Vertrag unter Beibehaltung der vollen Geometrie zu realisieren, und nicht darin, nachzuweisen, dass das VLM diese Signale natürlicherweise in dieser spezifischen Reihenfolge speichert.