Local-Global Prompt Learning via Sparse Optimal Transport

Deze paper introduceert SOT-GLP, een methode voor few-shot aanpassing van vision-language modellen die door middel van schaarse optimale transport een gedeelde set visuele patches efficiënt en zonder overlap toewijst aan specifieke prompts, waardoor zowel de classificatie-accuraatheid wordt verbeterd als de robuustheid voor out-of-distribution detectie wordt behouden.

De kern

Het Grote Probleem: De "Alles-overzicht" vs. De "Mikroscop"

Stel je voor dat je een kunstwerk bekijkt. Een standaard kunstliefhebber (zoals het huidige AI-model CLIP) kijkt naar het hele schilderij en zegt: "Ah, dit is een hond." Dat werkt vaak goed. Maar wat als je moet onderscheiden tussen een Duitse Herder en een Belgische Herder? Die zien er van veraf heel erg op elkaar. Je moet dan kijken naar de vorm van de oren, de textuur van de vacht of de staart.

Bestaande AI-modellen zijn vaak te "globaal". Ze kijken naar het hele plaatje en missen die kleine, belangrijke details. Om dit op te lossen, proberen andere onderzoekers de AI te leren om ook naar die kleine details te kijken. Maar ze hebben een nieuw probleem: ze laten alle "experts" (de AI-prompten) naar dezelfde kleine details kijken. Het is alsof je vijf detectives in een kamer zet, en ze vragen allemaal om naar de zelfde vlek op de muur te kijken. Ze komen dan allemaal tot dezelfde conclusie, maar missen andere belangrijke aanwijzingen.

De Oplossing: SOT-GLP (De Slimme Teamleider)

De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd SOT-GLP. Ze gebruiken een slimme strategie die bestaat uit twee delen: een Globale Kijker en een Lokale Kijker, die samenwerken als een perfect team.

1. De Twee Ogen van de AI

• Het Globale Oog (De Hoofddetective): Dit kijkt naar het hele plaatje, zoals een mens dat doet. Het zorgt ervoor dat de AI weet dat het hier te maken heeft met een "dier" en niet met een "auto". Dit zorgt voor stabiliteit.
• Het Lokale Oog (Het Team van Specialisten): Dit is het nieuwe deel. In plaats van dat de AI naar willekeurige stukjes kijkt, gebruikt deze methode een speciale techniek (V-V attention) om de meest interessante stukjes van het plaatje te vinden (zoals de snuit of de pootjes).

2. De Slimme Verdeling (De "Optimale Transport")

Hier komt de echte magie. Stel je voor dat je een groep detectives hebt, en elk moet een ander bewijsstuk vinden om een zaak op te lossen.

• Het oude probleem: Alle detectives rennen naar de meest opvallende vlek op de muur. Ze botsen tegen elkaar op en missen de rest.
• De SOT-GLP oplossing: De AI gebruikt een wiskundige methode genaamd "Optimal Transport" (Optimale Vervoer). Dit werkt als een slimme teamleider. Deze teamleider zegt: "Jij, Detective A, kijkt naar de oren. Jij, Detective B, kijkt naar de staart. Jij, Detective C, kijkt naar de vacht."

Deze teamleider zorgt ervoor dat:

1. Iedere detective een uniek stukje van het plaatje bekijkt (geen overlap).
2. Ze samen het hele plaatje dekken.
3. Ze niet allemaal naar hetzelfde saaie stukje (zoals de achtergrond) kijken.

Dit noemen ze "Sparse" (verspreid) omdat ze alleen kijken naar de belangrijkste stukjes, en "Balanced" (in evenwicht) omdat niemand te veel macht krijgt.

Waarom is dit zo goed?

De onderzoekers hebben twee belangrijke dingen ontdekt:

1. Beter leren in korte tijd (Few-Shot): Als je de AI maar een paar voorbeelden geeft (bijvoorbeeld 16 foto's van een bepaald type auto), leert SOT-GLP dit veel sneller en beter dan andere methoden. Het is alsof je een student niet alleen de theorie geeft, maar ook specifieke cases laat zien die precies bij de vraag passen.
2. Beter herkennen van "vreemdelingen" (OOD Detection): Dit is misschien wel het coolste deel. Soms komt er een plaatje binnen dat de AI nog nooit heeft gezien (bijvoorbeeld een foto van een kip, terwijl de AI alleen katten en honden kent).
   • Normale AI-modellen die te veel "leren" (aanpassen), worden soms te zeker van zichzelf en denken dat die kip een rare hond is.
   • De versie van SOT-GLP zonder de extra aanpassingslaag (de "local projection") houdt de oorspronkelijke "geheugen" van de AI intact. Hierdoor is de AI heel goed in het zeggen: "Hé, dit ken ik niet, dit is raar." Het is alsof je een expert vraagt: "Is dit een hond?" en hij zegt: "Nee, dit is iets anders," in plaats van: "Nee, dit is een hond met rare oren."

Samenvatting in één zin

SOT-GLP is als het geven van een slimme teamleider aan een groep detectives: in plaats dat ze allemaal naar hetzelfde kijken, verdeelt de leider de taken zo dat ze elk een uniek detail van het plaatje analyseren. Hierdoor wordt de AI niet alleen slimmer in het herkennen van specifieke dingen, maar ook beter in het herkennen van dingen die niet bij het plaatje horen.

De grote winst: De AI wordt niet alleen slimmer in het maken van de juiste keuze, maar ook in het zeggen "ik weet het niet" als het antwoord niet klopt.

Technische samenvatting

1. Probleemstelling

Vision-Language Models (VLMs) zoals CLIP presteren goed in zero-shot en few-shot learning door afbeeldingen te koppelen aan tekstuele prompts. Echter, bestaande aanpakken voor prompt learning (zoals CoOp) hebben twee belangrijke beperkingen:

1. Global vs. Local: De meeste methoden baseren zich op een enkel globaal beeld-embeddings (vaak het [CLS]-token). Dit middelt alle ruimtelijke informatie, waardoor fijne details (zoals objectdelen, texturen en ruimtelijke configuraties) verloren gaan die cruciaal zijn voor het onderscheiden van vergelijkbare categorieën en het detecteren van Out-of-Distribution (OOD) samples.
2. Redundantie en Overlap: Methoden die lokale kenmerken gebruiken, selecteren vaak onafhankelijk per prompt welke beeldpatches relevant zijn. Dit leidt tot overlap, waarbij meerdere prompts naar dezelfde dominante regio's kijken, wat de specialisatie van prompts beperkt en inefficiënt is.

Het doel is om een methode te ontwikkelen die zowel globale semantiek behoudt als fijne lokale details effectief benut, zonder dat prompts met elkaar concurreren om dezelfde visuele gebieden.

2. Methodologie: SOT-GLP

De auteurs stellen SOT-GLP (Sparse Optimal Transport Guided Local-Global Prompt Learning) voor. Dit is een raamwerk met een dubbel-tak architectuur dat de volgende componenten combineert:

A. Dual-Branch Architectuur

• Globale Tak: Behoudt de standaard CLIP-architectuur met Query-Key (Q-K) self-attention. Deze tak leert gedeelde, klassen-agnostische prompts die zorgen voor robuuste categorie-niveau alignatie en generalisatie.
• Lokale Tak: Gebruikt een parallelle stroom met Value-Value (V-V) attention. In tegenstelling tot Q-K attention, corrigeert V-V attention direct de waarde-representaties, wat de interactie tussen patches versterkt en meer discriminatieve lokale kenmerken (texturen, delen) oplevert.

B. Saliency-Guided Sparsification

Om achtergrondruis te verminderen, wordt een "saliency map" berekend voor elke afbeelding ten opzichte van een specifieke klasse. Alleen de Top-K meest relevante patches (die de hoogste gemiddelde overeenkomst hebben met de lokale prompts) worden geselecteerd. Dit creëert een gedeelde, schone set van visuele primitieven.

C. Balanced Entropic Optimal Transport (OT)

Dit is de kerninnovatie. In plaats van dat elke prompt onafhankelijk zijn eigen patches kiest, worden de geselecteerde patches via Optimal Transport toegewezen aan de klassenspecifieke lokale prompts.

• Balanced Marginals: De OT-oplossing (via Sinkhorn-iteraties) dwingt een uniforme verdeling af. Dit betekent dat elke prompt een vergelijkbare hoeveelheid "massa" (toewijzing) van de patches ontvangt.
• Effect: Dit voorkomt "prompt collapse" (waarbij alle prompts naar één dominante patch kijken) en zorgt ervoor dat verschillende prompts zich specialiseren in verschillende visuele delen van het object.

D. Training en Inferentie

Het totale verlies is een combinatie van het globale contrastieve verlies en het lokale OT-verlies. Tijdens inferentie worden de scores van beide takken gewogen opgeteld voor de uiteindelijke classificatie.

3. Belangrijkste Bijdragen

1. SOT-GLP Framework: Een nieuw raamwerk dat globale alignatie combineert met een lokale tak die gebruikmaakt van V-V attention en Optimal Transport voor patch-toewijzing.
2. Gedeelde Sparse Support & Balanced OT: Een mechanisme om redundantie te elimineren door een gedeelde set van saliente patches te selecteren en deze evenwichtig over prompts te verdelen, wat zorgt voor complementaire specialisatie.
3. Accuracy-Robustness Trade-off Ontdekking: De auteurs identificeren een fundamenteel compromis in prompt learning:
   • Het gebruik van een leerbare lokale projectie maximaliseert de few-shot classificatie-accuraatheid.
   • Het verwijderen van deze projectie behoudt de oorspronkelijke geometrie van het CLIP-kenmerkruimte, wat leidt tot superieure Out-of-Distribution (OOD) detectie.
4. State-of-the-Art Resultaten: De methode presteert beter dan bestaande methoden op zowel few-shot classificatie als OOD-detectie.

4. Experimentele Resultaten

De methode is geëvalueerd op 11 standaard benchmarks (o.a. ImageNet, Caltech101, Oxford Pets, DTD) en OOD-detectie datasets.

• Few-Shot Classificatie: Met 16 shots per sample en ViT-B/16 bereikt SOT-GLP een gemiddelde nauwkeurigheid van 85,1%. Dit is een verbetering ten opzichte van de huidige state-of-the-art (bijv. GalLoP met 84,4%). De verbeteringen zijn het grootst op datasets die lokale details vereisen, zoals texturen (DTD) en fijne categorieën (Flowers102).
• OOD Detectie:
  • Het volledige model (met projectie) presteert goed (93,2% AUC).
  • De variant zonder leerbare lokale projectie (SOT-GLP w/o proj.) behaalt 94,2% AUC en een FPR95 van 23,8. Dit is een significante verbetering ten opzichte van alle andere prompt-learning baselines, terwijl de ImageNet-accuraatheid slechts met 0,1% daalt.
• Ablatie Studies:
  • V-V attention levert een gemiddelde winst van +0,3% op.
  • De leerbare projectie draagt +0,9% bij aan de few-shot accuracy, maar is schadelijk voor OOD-robustheid.
  • Klassen-specifieke lokale prompts zijn essentieel voor fijne categorieën (bijv. vliegtuigmodellen).

5. Betekenis en Conclusie

SOT-GLP biedt een elegante oplossing voor het probleem van lokale feature-toewijzing in vision-language modellen. Door Optimal Transport te gebruiken, wordt de concurrentie tussen prompts opgelost en wordt een evenwichtige specialisatie geforceerd.

De belangrijkste inzichten zijn:

1. Complementariteit: Het combineren van globale en lokale signalen verbetert zowel ruwe classificatie als fijne discriminatie.
2. Configureerbaarheid: De onderzoekers tonen aan dat practitioners kunnen kiezen tussen maximale accuracy (met projectie) of maximale robustheid tegen OOD-data (zonder projectie), afhankelijk van de toepassing.
3. Behoud van Geometrie: Het behouden van de native CLIP-geometrie (door geen extra projectie te leren in de lokale tak) blijkt cruciaal voor het behouden van betrouwbare waarschijnlijkheidsschattingen bij distributieveranderingen.

De code is open-source beschikbaar, wat de reproduceerbaarheid en verdere ontwikkeling van deze techniek faciliteert.