ORION: ORthonormal Text Encoding for Universal VLM AdaptatION

Probleemstelling

Vision-Language Models (VLMs), zoals CLIP, hebben een opmerkelijke generalisatievermogen getoond over diverse taken. Hun prestaties worden echter vaak beperkt door de kwaliteit en de geometrie van de tekstuele prototypes die worden gebruikt om klassen voor te stellen.

• Huidige beperkingen: Standaard zero-shot classificatoren, afgeleid van bevroren tekstencoders en handgemaakte prompts, leiden vaak tot gecorreleerde of slecht gescheiden embedding-ruimtes.
• Semantische overlap: In de zero-shot ruimte van CLIP zijn semantisch gerelateerde categorieën (bijv. "Akkerland" en "Weide") vaak sterk verstrengeld. De tekstuele prototypes liggen te dicht bij elkaar, wat de discriminatiekracht vermindert, vooral bij fijnmazige classificatietaken.
• Onderbelicht aspect: Veel bestaande werk richt zich op het aanpassen van prompts of de visuele encoder, terwijl de geometrie van de tekstuele encoder zelf grotendeels onbenut blijft, hoewel deze centraal staat in het vormen van de beslissingsgrenzen.

Methodologie: ORION

ORION is een framework voor het fine-tunen van de tekstencoder van een VLM, waarbij alleen de klassennamen worden gebruikt (zonder toegang tot afbeeldingen). Het doel is om de tekstuele representaties te optimaliseren zodat ze beter gescheiden en orthogonaal zijn.

1. Loss-functie en Optimalisatie
De methode minimaliseert een samengestelde loss-functie met twee termen:

• Orthogonaliteitsstraf (Frobenius-norm): Deze term bevordert paarsgewijze orthogonaliteit tussen de tekstuele representaties van de klassen. Het drukt de cosine-ähnelijkheid tussen verschillende klassen naar nul, wat zorgt voor een betere hoekelijke spreiding op de eenheidshypersfeer.
• Behoud van prototypes: Een tweede term straft afwijkingen af van de oorspronkelijke, gemiddelde zero-shot prototypes. Dit zorgt ervoor dat de nieuwe embeddings semantisch consistent blijven met de initiële kennis van het model.

De totale loss-functie is:
$$L(\theta) = \|X(\theta) - V\|_F^2 + \lambda \|X(\theta)X(\theta)^\top - I_K\|_F^2$$
Waarbij $X(\theta)$ de matrix van de aangepaste embeddings is, $V$ de matrix van de initiële prototypes, en $I_K$ de eenheidsmatrix.

2. Parameter-efficiëntie (LoRA)
Om overfitting te voorkomen en de rekentijd te beperken, wordt Low-Rank Adaptation (LoRA) gebruikt. In plaats van de volledige tekstencoder te fine-tunen, worden alleen lage-rang matrices ($A$ en $B$) bijgewerkt. Dit verlaagt het aantal trainbare parameters met meer dan 95%.

3. Probabilistische Interpretatie
De auteurs geven een probabilistische interpretatie van de orthogonaliteitsstraf via het Huygens-theorema. Ze tonen aan dat het minimaliseren van de orthogonaliteitsstraf equivalent is aan het maximaliseren van de log-likelihood (MLE) onder een Gaussisch kansmodel. Orthogonaliteit zorgt ervoor dat de "modes" (klassen) in de embedding-ruimte elkaar minder overlappen, wat de scheiding tussen klassen versterkt zonder dat visuele supervisie nodig is.

4. Training-free varianten
Het paper bespreekt ook een training-free oplossing via SVD (Singular Value Decomposition) om een orthogonale basis te vinden. Echter, experimenten tonen aan dat deze "harde" constraint de semantische relaties tussen fijnmazige klassen verstoort. De zachte straf van ORION behoudt deze semantische informatie beter.

Belangrijkste Bijdragen

1. ORION Framework: Een nieuwe aanpak om VLMs te verbeteren uitsluitend met klassennamen, door de tekstuele ruimte geometrisch te regulariseren.
2. Theoretische Onderbouwing: Een probabilistische link tussen orthogonaliteitsregularisatie en Maximum Likelihood Estimation (MLE) via het Huygens-theorema.
3. Uitgebreide Validatie: Experimenten op 11 benchmarks en drie grote VLM-backbones (CLIP ViT-B/16, ViT-L/14, en MetaCLIP).
4. Plug-and-Play Modulariteit: De methode werkt als een universele vervanging voor standaard prototypes en verbetert prestaties in zero-shot, few-shot en test-time adaptation (TTA) scenario's.

Resultaten

ORION toont consistente en significante verbeteringen in alle geteste scenario's:

• Zero-shot Classificatie:
  • Gemiddelde verbetering van +2.76% voor CLIP ViT-B/16 en +1.51% voor ViT-L/14 over 11 datasets.
  • De grootste winst wordt behaald bij fijnmazige datasets met veel semantische overlap, zoals EuroSAT (+10.03%) en DTD (+2.4%).
• Few-shot Learning (CoOp en CLAP):
  • In het 1-shot regime worden aanzienlijke verbeteringen geboekt (bijv. +7.6% op DTD voor CoOp).
  • De verbeteringen blijven bestaan naarmate het aantal shots toeneemt, wat aangeeft dat ORION een stabielere basis biedt voor adaptatie.
• Test-Time Adaptation (TTA):
  • Integratie met frameworks zoals MTA, TPT en StatA resulteert in betere robustheid onder distributieveranderingen.
  • Gemiddelde verbeteringen van +1.66% (MTA) en +1.36% (TPT).
  • ORION helpt bij het stabiliseren van voorspellingen bij tijdsgebonden correlaties en class-ongewenste scenario's.

Betekenis en Conclusie

ORION demonstreert dat de geometrie van de tekstuele ruimte een cruciale, maar vaak verwaarloosde factor is in de prestaties van VLMs. Door alleen de tekstencoder te optimaliseren voor orthogonaliteit, kunnen modellen:

• Semantische interferentie verminderen: Gerelateerde klassen worden beter gescheiden.
• Universele toepasbaarheid: De methode werkt als een plug-and-play module die geen visuele data vereist en compatibel is met bestaande state-of-the-art methoden.
• Robuustheid verhogen: Het biedt een stabielere basis voor adaptatie in dynamische omgevingen.

Kortom, ORION bewijst dat structurele geometrische regularisatie van tekstuele representaties een krachtige, eenvoudige en effectieve manier is om multimodale modellen te verbeteren, zonder de visuele backbone aan te passen.