GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

Technische Samenvatting: GraSP-VL

Probleemstelling
Beeld-taalmodellen (VLM's) met bevroren parameters, zoals CLIP, genereren embeddingen die multi-granulaire semantische signalen bevatten, variërend van objectidentiteit tot attributen, relaties en volledige bijschriftbetekenissen. Deze modellen onthullen deze signalen echter via een interface met een vaste vectorlengte. Dit creëert een "interface-mismatch": een enkele embeddingvector wordt gebruikt voor queries die verschillende niveaus van semantische resolutie vereisen (bijvoorbeeld het identificeren van een "hond" versus een "bruine hond die rent"). Bestaande methoden om embeddingen te verkorten, zoals truncatie, projectie of compressie, garanderen niet dat de resulterende kortere vectoren overeenkomen met specifieke semantische granulariteiten. De eerste paar dimensies van een bevroren CLIP-embedding zijn bijvoorbeeld niet inherent gegarandeerd om objectniveau-semantiek te vertegenwoordigen, en standaardtechnieken voor dimensionaliteitsreductie zoals PCA begrijpen de beoogde hiërarchie van entiteiten, attributen en relaties niet.

Methodologie: GraSP-VL
De auteurs stellen GraSP-VL (Granularity-Selective Prefixes for Vision-Language representations) voor, een methode ontworpen om de lengte van embeddingen om te zetten in een controleerbare semantische toegangsinterface zonder het onderliggende VLM opnieuw te trainen.

• Gedeelde bijna-orthogonale transformatie: GraSP-VL leert één enkele, gedeelde transformatie $F_\theta$ die wordt toegepast op zowel beeld- als tekstembeddingen van een bevroren VLM. De transformatie wordt geïmplementeerd als een orthogonale matrix $R$, geparametriseerd via een Cayley-transformatie ($R = (I + A_\theta)^{-1}(I - A_\theta)$), waarbij $A_\theta$ een schuif-symmetrische matrix is die is afgeleid van trainbare parameters. Dit zorgt ervoor dat de transformatie bijna-isometrisch is, waardoor de cosinus-achtigheid van de ruimte met volledige dimensie exact behouden blijft ($\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$).
• Semantische Matroesjka-interface: De methode implementeert het principe van een "Semantische Matroesjka". In plaats van prefixlengte louter te behandelen als een compressiebudget, worden specifieke semantische rollen toegewezen aan verschillende prefixlengten via een expliciet interfacecontract:
  • Korte prefixes (bijvoorbeeld $D/16$) krijgen grove rollen toegewezen (objectidentiteit).
  • Langere prefixes (bijvoorbeeld $D/8, D/4, D/2$) onthullen progressief fijnere onderscheidingen (attributen, relaties/acties, volledige bijschriften).
• Granulariteits-selectieve doelstelling: De trainingsdoelstelling combineert vijf gekoppelde termen om deze structuur af te dwingen:
  1. Multi-granulariteitsalignering ($L_{align}$): Zorgt ervoor dat elke prefixlengte wordt uitgelijnd met zijn toegewezen taalkundige weergave (object, attribuut, relatie, volledig bijschrift).
  2. Cumulatieve retentie ($L_{ret}$): Zorgt ervoor dat langere prefixes de grove semantiek van kortere prefixes behouden, waardoor informatievervanging wordt voorkomen.
  3. Selectieve hard-negative ranking ($L_{rank}$): Gebruikt getypeerde hard-negative voorbeelden (object, attribuut, relatie, actie, volgorde, volledig) om af te dwingen dat specifieke onderscheidingen alleen op of na hun toegewezen prefixgrens oplosbaar zijn.
  4. Vroege-prefix-invariantie ($L_{inv}$): Belemmert voortijdige scheiding van positieve/negatieve paren voordat de toegewezen prefixgrens wordt bereikt, zodat korte prefixes grof blijven en niet overfitten op fijnkorrelige details.
  5. Behoud van volledige ruimte ($L_{pres}$ & $L_{ortho}$): Bewaakt dat de geometrie van de ruimte met volledige dimensie ongewijzigd blijft.

Belangrijkste bijdragen

1. GraSP-VL Framework: Een gedeelde prefixtransformatie voor bevroren VLM's die de toegang tot bestaande signalen herorganiseert, grof-naar-fijn semantiek blootlegt via prefixlengte en de oorspronkelijke geometrie van de volledige ruimte behoudt.
2. Principe van de Semantische Matroesjka: Een formalisering waarbij de lengte van embeddingen semantische granulariteit krijgt toegewezen door een expliciet contract, in plaats van te vertrouwen op ontdekte natuurlijke grenzen.
3. Granulariteits-selectieve doelstelling: Een innovatieve verliesfunctie die alignering, retentie, hard-negative discriminatie, vroege-prefix-invariantie en geometriebehoud combineert.
4. Diagnostisch protocol: Een rigoureus evaluatiekader dat semantische selectiviteit scheidt van ruwe truncatie, PCA, generieke adaptatie en coördinatie-permutaties, met gebruik van een "falsificatieketen" om de noodzaak van de geleerde interface te valideren.

Experimentele resultaten
De methode werd geëvalueerd op een pool van 20.147 voorbeelden uit COCO en Flickr30K, met aanvullende transfer-tests op SugarCrepe-clean en CIFAR-100.

• Trapsgewijze prestaties: GraSP-VL behaalde een trapsgewijze score van 53,01 en een hard-negative selectiviteit van 89,76%. Dit presteerde aanzienlijk beter dan baselines, waaronder directe truncatie, PCA, willekeurige rotaties, MRL-stijl, Matryoshka-stijl en SMEC-stijl compressiemethoden.
• Behoud van geometrie: De methode hield de drift in de ruimte met volledige dimensie onder $10^{-6}$, waardoor het beslissingsoppervlak van het oorspronkelijke VLM voor queries met volledige dimensie effectief behouden bleef.
• Selectiviteit versus drift: In tegenstelling tot generieke MLP-adapters die hoge selectiviteit bereikten maar de volledige embeddingruimte herschreven (hoge drift), bereikte GraSP-VL hoge selectiviteit met bijna nul drift.
• Overdraagbaarheid:
  • Op SugarCrepe-clean (een externe benchmark die niet in de training werd gebruikt) behaalde GraSP-VL 86,03% objectnauwkeurigheid en 11,96 gemiddelde externe emergentie.
  • Het behield de zero-shot nauwkeurigheid in volledige dimensie op CIFAR-100.
  • De aanpak generaliseerde over verschillende backbones (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) met variërende dimensies.
• Baselines: De studie toonde aan dat ruwe coördinaten, PCA en geleerde permutaties falen om de beoogde semantische ladder te produceren. Alleen de dichte, bijna-isometrische menging die door GraSP-VL wordt geboden, slaagde erin de signalen te organiseren.

Betekenis en claims
Het artikel positioneert GraSP-VL als een oplossing voor interface-engineering in plaats van een ontdekking van universele semantische breekpunten. De auteurs claimen:

• Bevroren VLM-embeddingen bevatten voldoende multi-granulaire signalen om te worden herorganiseerd in een controleerbare prefixinterface.
• De "Semantische Matroesjka"-interface stelt gebruikers in staat een prefixlengte te selecteren die overeenkomt met de vereiste semantische resolutie (entiteit, attribuut, relatie of volledig bijschrift) zonder het basismodel opnieuw te trainen of de oorspronkelijke embeddingruimte te vernietigen.
• Deze aanpak is bijzonder waardevol voor ophaalsystemen waarbij compatibiliteit met bestaande indexen met volledige vectoren en gecachte embeddingen kritiek is, aangezien de transformatie offline kan worden toegepast op galerij-embeddingen.
• De auteurs stellen expliciet dat de gekozen dimensionale breekpunten (bijvoorbeeld $D/16$ voor objecten) door de gebruiker gespecificeerde interfacecontracten zijn, niet noodzakelijk natuurlijke constanten die inherent zijn aan het VLM. Het succes van de methode ligt in het realiseren van dit contract terwijl de volledige geometrie wordt behouden, in plaats van het bewijzen dat het VLM deze signalen van nature in die specifieke volgorde opslaat.