Technische Samenvatting: Voorbij de grens van lineaire scheidbaarheid: Representaties afstemmen in VLMs

Probleemstelling

State-of-the-art Visuele-Taalmodellen (VLMs) falen frequent op taken die abstract redeneren vereisen, zoals Bongard-problemen, ondanks het bezit van sterke visuele perceptiecapaciteiten. Een centrale uitdaging in het veld is het ontrafelen van de vraag of deze fouten voortkomen uit gebrekkige bottom-up visuele perceptie (het onvermogen om noodzakelijke kenmerken te extraheren) of gebrekkig top-down redeneren (het onvermogen om die kenmerken te interpreteren met behulp van voorkennis). Eerdere studies hadden moeite om de primaire oorzaak van falen te isoleren door een gebrek aan empirische methoden om de kloof tussen de ruwe visuele representaties van een model en de generatieve redeneeroutput te kwantificeren.

Methodologie

De auteurs introduceren een diagnostisch kader gecentreerd rond de Linear Separability Ceiling (LSC) om deze ambiguïteit aan te pakken.

1. Linear Separability Ceiling (LSC): De LSC wordt gedefinieerd als de prestatie die haalbaar is door een eenvoudige lineaire classifier (specifiek een nearest-centroid classifier) op de ruwe visuele embeddings van een VLM. Deze metriek stelt een baseline vast voor de kwaliteit van de initiële visuele representaties. Als de end-to-end generatieve prestatie van een model dit plafond statistisch gezien niet kan overstijgen, duidt dit op een falen in het redeneerpad in plaats van in het perceptiepad.
2. Diagnostisch Kader: Het kader vergelijkt drie metrieken:
   • LSC: De nauwkeurigheid van een lineaire probe op initiële visuele embeddings.
   • Final Representation Accuracy: De nauwkeurigheid van een lineaire probe op de uiteindelijke verborgen toestanden (hidden states) van de LLM.
   • Generative Accuracy: De standaard next-token voorspellingsprestatie van het model.
     Statistische significantietesten (Chi-kwadraat) worden gebruikt om te bepalen of de generatieve prestaties werkelijk superieur zijn aan de LSC of dat er een "alignment gap" (afstemmingskloof) bestaat.
3. Interventiestrategieën: De studie evalueert verschillende Parameter-Efficient Fine-Tuning (PEFT) methoden om deze kloof te overbruggen:
   • Postfix Tuning: Voegt trainbare soft prompts toe aan het einde van de sequentie om latente redeneerpaden te activeren zonder de initiële representaties te wijzigen.
   • LoRA (Low-Rank Adaptation): Injecteert trainbare matrices in attention- en MLP-lagen.
   • Gecombineerde Doelstelling ($L_{combined}$): Een nieuwe trainingsdoelstelling die de standaard Next-Token Prediction ($L_{NT}$) combineert met een expliciete contrastieve loss ($L_{sim}$). Deze contrastieve term moedigt de uiteindelijke embeddings van een query-afbeelding aan om dichter bij het ware categorie-centrum te liggen en verder van het alternatief, wat effectief de visuele manifold herstructureert naar een eendimensionaal lineaire geometrie.

Belangrijkste Bevindingen

1. De Alomtegenwoordige Alignment Gap

Toegepast op acht state-of-the-art VLMs (waaronder Phi, Pixtral, Gemma, InternVL en Qwen) over Bongard-stijl datasets, onthult de studie een wijdverbreide "alignment gap". Voor de meeste modellen is de generatieve prestatie statistisch niet te onderscheiden van of zelfs inferieur aan hun eigen LSC. Dit suggereert dat de modellen weliswaar hoogwaardige visuele representaties bezitten (hoge LSC), maar dat hun redeneerpaden niet effectief zijn afgestemd om deze te benutten.

2. Twee Paden om het Plafond te Overstijgen

De weinige modellen die erin slagen de LSC te overstijgen, doen dit via twee verschillende mechanismen:

• Verbeteren van Lineaire Scheidbaarheid: Modellen zoals Pixtral verfijnen visuele representaties via niet-lineaire processen naar een meer lineair scheidbaar formaat, waardoor het bottom-up perceptieproces effectief wordt uitgebreid.
• Niet-Lineaire Beslissingslogica: De meeste succesvolle modellen voeren een niet-lineaire beslissingslogica uit (top-down redeneren) die een oplossing berekent die niet lineair leesbaar is uit de embeddings. Bewijs hiervoor is het succes van postfix tuning, dat de initiële representaties niet kan wijzigen maar wel slapende redeneerpaden kan activeren.

3. Locatie van de Bottleneck

Ablatie-studies bevestigen dat de bottleneck zich binnen de redeneerpaden van de LLM bevindt, en niet in de perceptie van de visuele encoder. Het toepassen van LoRA op de visuele encoder leverde geen extra prestatiewinst op vergeleken met het aanpassen van de LLM alleen.

4. Taakafhankelijke Adaptatie

• Atomaire Concepten: Voor taken die betrokken zijn bij de vergelijking van atomaire semantische concepten (bijv. OpenWorld), is activatie via prompt tuning vaak voldoende.
• Relationele Concepten: Voor taken die redeneren over relationele semantische concepten vereisen (bijv. Bongard-HOI), is diepere adaptatie via LoRA nodig om de prestaties te verbeteren.

5. De Gecombineerde Doelstelling ($L_{combined}$)

De voorgestelde $L_{combined}$ doelstelling balanceert succesvol conflicterende signalen. Door de visuele manifold te herstructureren tot globaal consistente, eendimensionaal lineaire stralen, verbetert het de beeld-naar-beeld vergelijking. Deze aanpak stelt modellen in staat om de LSC aanzienlijk te overstijgen op abstracte compositionele redeneertaken en demonstreert robuuste generalisatie naar out-of-distribution (OOD) concepten en cross-domain taken zoals Winoground.

Betekenis en Claims

Het artikel beweert aan te tonen dat de bottleneck in de abstracte redeneercapaciteit van VLMs niet een fundamentele beperking van perceptie is, maar een oplosbaar visueel afstemmingsprobleem (visual alignment issue).

• Diagnostische Bruikbaarheid: Het LSC-kader biedt een geometrische en statistische lens om de alignment gap te formaliseren, waarbij onderscheid wordt gemaakt tussen misafgestemde redeneerpaden en fundamenteel ontbrekende perceptuele kennis.
• Mechanistisch Inzicht: Het werk identificeert dat redeneercapaciteiten vaak achterlopen op de lineaire scheidbaarheid van visuele percepties. Het stelt dat globaal consistente structuren (lineaire geometrie) transfer naar out-of-distribution compositionele redeneertaken stimuleren.
• Praktische Oplossing: Het papier biedt een trainingsmethodologie die de standaard next-token prediction aanvult met een contrastieve doelstelling. Deze aanpak herstructureert de visuele manifold, waardoor modellen hun interne visuele representaties beter kunnen benutten en een hogere interpreteerbaarheid en prestaties op abstracte taken bereiken.

De auteurs concluderen dat hoewel het afdwingen van een specifieke geometrische structuur kwetsbaarheid in prompt-formaten kan introduceren, het vermogen om representaties te herstructureren naar lineair scheidbare formaten een cruciale stap is naar meer capabele en interpreteerbare multimodale redenering. Er wordt gesuggereerd dat toekomstig werk het concept van sequentie-gewijze gedistribueerde representaties kan uitbreiden naar de tekstuele modaliteit om de "split-brain" pathologie van huidige VLMs op te lossen.