Supervised Classification Heads as Semantic Prototypes: Unlocking Vision-Language Alignment via Weight Recycling

Technische Samenvatting: Supervised Classification Heads als Semantische Prototypes

Probleemstelling
Vision-Language Models (VLM's) zoals CLIP hebben opmerkelijke capaciteiten aangetoond in zero-shot classificatie en cross-modale retrieval door afbeeldingen en tekst af te beelden in een gedeelde representatieruimte. Het bereiken van deze uitlijning vereist echter doorgaans end-to-end training op enorme, gekoppelde afbeelding-tekstdatasets, wat leidt tot verbodsdure data- en rekentkosten. Hoewel recente post-hoc uitlijnmethoden proberen deze kosten te verlagen door het leren van lichtgewicht mappingen tussen onafhankelijk voorgetrainde encoders, vertrouwen ze nog steeds sterk op aanzienlijke hoeveelheden gekoppeld afbeelding-tekstdata om effectief te functioneren. Dit werk adresseert de uitdaging om vision-language uitlijning te bereiken met minimale of geen gekoppelde afbeelding-tekstdata, en onderzoekt specifiek of semantische informatie die reeds is ingebed in de gewichten van supervised vision-modellen, kan worden hergebruikt.

Methodologie
De kerninzicht van dit werk is dat de classificatiehead-gewichten ($W$) van vision-modellen die zijn voorgetraind op grote schaal supervised datasets (specifiek ImageNet-21K), fungeren als hoogwaardige semantische prototypes. Deze gewichten, die doorgaans worden weggegooid na pretraining, worden gerecycleerd om onafhankelijk getrainde afbeelding- en tekstencoders op een post-hoc manier uit te lijnen.

Het voorgestelde framework opereert in twee primaire regimes:

1. Uitlijning zonder Afbeelding-Tekstparen: De auteurs behandelen de rijvectoren $w_i$ van de classificatiegewichtmatrix $W$ als semantische ankers. Deze vectoren worden gekoppeld aan de tekstembeddings van hun overeenkomstige klassennamen (bijv. "A tench") om een synthetische uitlijndataset ($D_{weights}$) te vormen. Deze dataset wordt gebruikt om lichtgewicht uitlijnfuncties (zoals een MLP, CSA, of Text-to-Concepts) te trainen om de ruimte van de afbeeldingencoder af te beelden op de ruimte van de tekstencoder, waarbij de behoefte aan echte afbeelding-tekstparen volledig wordt omzeild.
2. Data Augmentatie: De auteurs tonen aan dat deze op gewichten gebaseerde prototypes compatibel zijn met echte afbeelding-tekstrepresentaties. Zij stellen voor bestaande uitlijndatasets ($D_{imgtxt}$) te verrijken met de gewicht-tekstparen ($D_{weights}$) om een gecombineerde dataset ($D_{aug}$) te vormen. Deze strategie is ontworpen om de prestaties van post-hoc uitlijnmethoden te verhogen, met name in regimes met weinig data.

Theoretische rechtvaardiging wordt geboden door de lens van Neural Collapse, wat suggereert dat in de trainingslimiet de rijen van de classifier-gewichten convergeren naar de centroiden van hun respectievelijke klassen, waardoor de richting van het klassenconcept effectief wordt gecodeerd. Empirische validatie bevestigt dat deze gewichtvectoren beter uitlijnen met tekstrepresentaties dan gemiddelde afbeeldingembeddings, zelfs wanneer de strikte voorwaarden voor Neural Collapse niet volledig worden vervuld.

Belangrijkste Bijdragen

• Classificatieheads als Semantische Prototypes: Het paper biedt empirische validatie en theoretische kadering voor het behandelen van classificatiehead-gewichten als betekenisvolle semantische prototypes. Experimenten tonen aan dat cosine-similariteit classifiers die gebruikmaken van deze gewichten vergelijkbare nauwkeurigheid bereiken als lineaire baselines, en dat deze gewichten sterker uitlijnen met tekstembeddings dan gemiddelde afbeeldingfeatures.
• Vision-Language Uitlijning zonder Afbeelding-Tekstparen: De auteurs introduceren een gewicht-recycling framework dat post-hoc uitlijning van afbeelding- en tekstencoders mogelijk maakt met alleen classificatiehead-gewichten en klassennamen, waardoor zero-shot capaciteiten worden bereikt zonder enige gekoppelde afbeelding-tekstdata.
• Compatibiliteit en Data Augmentatie: Het werk toont aan dat gewichtrepresentaties hoogst compatibel zijn met echte afbeelding-tekstparen. Wanneer gecombineerd met beschikbare afbeelding-tekstdata, fungeren ze als een robuuste augmentatiebron die consistent de prestaties van state-of-the-art post-hoc uitlijnmethoden verbetert.
• Geometrische en Domeinanalyse: Het paper analyseert de geometrische verdeling van deze gewichten en identificeert een "modality gap" tussen gewichtvectoren en afbeeldingfeatures die vergelijkbaar is met de tekst-afbeelding gap. Het evalueert ook de impact van het gebruik van gewichten uit algemene (ImageNet-21K) versus gespecialiseerde (iNaturalist) datasets, en vindt dat algemene diversiteit superieure downstream prestaties oplevert.

Resultaten
De auteurs evalueerden hun aanpak op cross-modale retrieval (Flickr30K, MS-COCO) en classificatietaken (zero-shot en few-shot over negen diverse datasets, waaronder CIFAR, Food101 en Places365).

• Zero-Shot Uitlijning: Met uitsluitend ImageNet-21K classificatiegewichten bereikte de methode concurrerende zero-shot classificatie- en retrievalprestaties, wat aanzienlijk beter was dan willekeur en aantoont dat semantische structuren uit supervised pretraining kunnen worden benut zonder gekoppelde data.
• Augmentatievoordelen: In regimes met weinig data (bijv. het gebruik van slechts 1K afbeelding-tekstparen) leverde augmentatie met gewichtrepresentaties de grootste prestatiewinst op. Naarmate de hoeveelheid echte afbeelding-tekstdata toenam, nam de marginale winst van augmentatie af, zoals verwacht.
• Few-Shot Classificatie: De aanpak presteerde aanzienlijk beter dan sterke baselines zoals de Nearest Centroid Classifier (NCC) en K-Nearest Neighbors (KNN) in few-shot settings (1, 2 en 4 shots) over meerdere datasets.
• Vergelijking met Afbeeldingrepresentaties: Bij vergelijking met uitlijndatasets die zijn samengesteld uit gemiddelde afbeeldingrepresentaties van gelijke grootte, leverde de op gewichten gebaseerde aanpak consistent hogere nauwkeurigheid op bij zowel retrieval- als classificatietaken.

Betekenis en Claims
Het paper claimt een nieuw perspectief te bieden op de emergentie van semantiek in diepe vision-modellen die zijn voorgetraind met supervisie. Door weggegooid classificatiehead-gewichten te recyclen, stellen de auteurs een strategie voor die de data- en rekentdrempels voor post-hoc uitlijning verlaagt, wat bijdraagt aan de doelen van "Green AI".

Het werk suggereert dat de semantische kracht van supervised pretraining niet beperkt is tot de specifieke taak waarvoor het is getraind, maar kan worden geëxtraheerd en hergebruikt om vision-only backbones taalcapaciteiten te verlenen. De auteurs blijven bescheiden wat betreft de huidige beperkingen, en merken op dat hoewel de aanpak effectief is, de geometrische modality gap tussen gewichten en afbeeldingen blijft bestaan en dat meer verfijnde gap-mitigatiestrategieën een richting zijn voor toekomstig werk. Zij benadrukken dat deze methode de noodzaak van grootschalige pretraining niet vervangt, maar eerder een efficiënt pad biedt om vision-language uitlijning te ontsluiten voor modellen waarbij dergelijke pretrainingresources of gekoppelde data niet beschikbaar zijn.