🤖 AI

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

Het artikel introduceert SCAN, een parameterloos kader voor visueel-taal aanpassing met weinig voorbeelden dat de prestaties verbetert door het toepassen van query-specifieke negatieve routing, door LLM gegenereerde contrastieve prompts en adaptieve fusiegewichten om query-specifieke klasverwarring en distributieveranderingen effectief aan te pakken.

Oorspronkelijke auteurs: Sriram Mandalika

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sriram Mandalika

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme, maar licht stijve robot te leren verschillende soorten vogels te herkennen. Je hebt slechts een paar foto's van elke vogel om aan te tonen (dit heet "few-shot learning"). De robot weet al veel over de wereld omdat hij het hele internet heeft gelezen, maar hij raakt toch in de war wanneer twee vogels erg op elkaar lijken, zoals een Roodstaartbuizerd en een Roodschouderbuizerd.

Het artikel introduceert een nieuwe methode genaamd SCAN (Selective Confusion-Aware Negatives) om deze verwarring op te lossen. Hier is hoe het werkt, opgesplitst in drie eenvoudige ideeën:

1. De "Slimme Beveiliger" (Query-Adaptive Routing)

De Oude Manier: Stel je een beveiliger voor in een museum die, zodra een bezoeker binnenkomt, tegen elk enkel object in het museum schreeuwt: "Jij bent GEEN schilderij, jij bent GEEN standbeeld, jij bent GEEN vaas..." Het is een luid, rommelig geluid dat de bezoeker niet helpt om te begrijpen waar ze eigenlijk naar kijken. De robot doet dit ook: hij probeert aan elke afbeelding te vertellen wat het niet is, zelfs als het voor die afbeelding onmogelijk is om met die dingen verward te worden.

De SCAN-Manier: SCAN fungeert als een slimme beveiliger die eerst naar de bezoeker kijkt. Als de bezoeker op een buizerd lijkt, fluistert de bewaker alleen: "Je bent zeker geen Roodschouderbuizerd", omdat dat het enige is waar je mee verward zou kunnen worden. De bewaker negeert alle andere vogels (zoals Pinguïns of Flamingo's) omdat je duidelijk niet op hen lijkt.

Waarom dit helpt: Door zich alleen te richten op de specifieke dingen waar de afbeelding waarschijnlijk mee verward zou kunnen worden, maakt de robot een veel scherper besluit zonder afgeleid te worden door irrelevante ruis. Dit doet hij zonder extra geheugen of training.

2. De "Deskundige Kunstkritiek" (LLM-Bootstrapped Prompts)

De Oude Manier: Wanneer een vogel aan de robot wordt beschreven, zeggen oude methoden misschien gewoon: "Dit is een foto van een Roodstaartbuizerd." Als de robot een vergelijkbare vogel ziet, denkt hij misschien: "Nou, dat is ook een foto van een vogel, dus misschien is het dezelfde." Het is te vaag.

De SCAN-Manier: SCAN huurt een AI-kunstkritiek (een Groot Taalmodel) in om een veel betere beschrijving te schrijven. In plaats van alleen de vogel te noemen, zegt de criticus: "Dit is een Roodstaartbuizerd, die je kunt onderscheiden van een Roodschouderbuizerd omdat de buizerd een roestkleurige staart en een witte buik heeft, terwijl de ander een gebandeerde staart heeft."

Waarom dit helpt: Het geeft de robot specifieke "aanwijzingen" om naar te zoeken die vergelijkbare items onderscheiden. Het is het verschil tussen zeggen "Eet dat niet" en zeggen "Eet die paddenstoel niet; hij lijkt op de eetbare, maar heeft rode vlekken."

3. De "Intuïtieve Weegschaal" (Adaptive Fusion)

De Oude Manier: De robot heeft twee manieren van denken: kijken naar de afbeelding (Visueel) en de beschrijving lezen (Tekst). Meestal moeten mensen handmatig beslissen hoeveel ze de afbeelding versus de tekst moeten vertrouwen. Het is alsof je probeert een weegschaal in evenwicht te brengen door te raden hoe zwaar elke kant is. Als je verkeerd raadt, raakt de robot in de war.

De SCAN-Manier: SCAN heeft een magische weegschaal die automatisch het evenwicht uitzoekt. Als de afbeeldingen zeer duidelijk en onderscheidend zijn, kantelt de weegschaal om meer op de afbeelding te vertrouwen. Als de afbeeldingen wazig zijn maar de namen zeer verschillend, kantelt de weegschaal om meer op de tekst te vertrouwen. Dit doet hij door te kijken naar de paar voorbeelden die je hebt gegeven en de beste mix onderweg te beslissen, zonder dat er menselijk gissen bij komt kijken.

De Resultaten: Hoe goed werkte het?

De auteurs hebben dit "Slimme Bewaker"-systeem getest op 11 verschillende uitdagingen, van het herkennen van bloemen tot het opsporen van auto's en texturen.

De Score: Gemiddeld was SCAN 4,6% nauwkeuriger dan de vorige beste methoden wanneer 16 voorbeelden werden gegeven.
De Grote Overwinningen: Het schitterde het meest op de moeilijkste taken (zoals het onderscheiden van zeer vergelijkbare vogels of auto's), waar het de nauwkeurigheid met wel 7,7% verbeterde.
De Moeilijke Dingen: Zelfs wanneer de data rommelig was (zoals als 50% van de labels verkeerd was, zoals een leraar die de verkeerde antwoorden op een toets markeert), presteerde SCAN nog steeds beter dan de concurrentie. Het was ook zeer goed in het herkennen van dingen die het nog nooit eerder had gezien, onder iets verschillende belichting of stijlen (zoals een schets van een kat in plaats van een foto).

Samenvatting

Kortom, leert SCAN de robot om te stoppen met tegen alles "Nee!" te schreeuwen en begint alleen tegen de dingen die er toe doen "Nee!" te fluisteren. Het gebruikt een slimme criticus om uit te leggen waarom dingen verschillend zijn, en het weet automatisch of het zijn ogen of zijn brein moet vertrouwen. Dit maakt het veel beter in het leren van nieuwe dingen vanuit slechts een paar voorbeelden.

Technische Samenvatting: SCAN – Selectieve Verwarringsbewuste Negatieven voor Few-Shot Vision-Language Modellen

Probleemstelling

Few-shot aanpassing van Vision-Language Modellen (VLM's) zoals CLIP wordt fundamenteel beperkt door hoe negatieve classesignalen worden verwerkt tijdens inferentie. Bestaande methoden passen doorgaans uniforme negatieve onderdrukking toe over alle classes voor elke query, ongeacht de specifieke verwarringspatronen van die query. Deze aanpak negeert de realiteit dat de meest schadelijke verwarringen query-specifiek zijn en verschuiven afhankelijk van de geometrie van de support-set. Bijgevolg worden negatieve signalen vaak verdund over irrelevante classes in plaats van geconcentreerd op de classes waarmee een specifieke afbeelding het meest waarschijnlijk wordt verward. Bovendien vertrouwen huidige methoden op generieke negatieve tekstsjablonen en vereisen ze handmatige afstelling van de afweging tussen visuele en tekstuele modaliteiten, wat hun aanpasbaarheid aan fijnkorrelige taken en distributieveranderingen beperkt.

Methodologie: SCAN Framework

De auteurs stellen SCAN (Selective Confusion-Aware Negatives) voor, een parameterloos framework ontworpen om few-shot VLM-aanpassing te verfijnen via drie gerichte mechanismen:

1. Query-Adaptieve Negatieve Routing

In plaats van een vaste negatieve straf toe te passen op alle classes, routeert SCAN dynamisch negatieve onderdrukking tijdens inferentie.

Mechanisme: Voor elke query-afbeelding identificeert het systeem de top- $K$ meest verwarrende classes op basis van hun positieve scores.
Routing: Negatieve onderdrukking wordt uitsluitend beperkt tot deze verwarringsset $N(q)$ . Een per-query verwarringsgewicht $\beta_c(q)$ wordt berekend met een softmax over de positieve scores van de verwarrende classes.
Voordeel: Dit concentreert de straf waar het het meest uitmaakt, waardoor per-query beslissingsgrenzen worden verscherpt zonder extra parameters of trainingskosten in te brengen.

2. LLM-Gebootste Pairwise Contrastieve Prompts

SCAN vervangt generieke negatieve sjablonen (bijv. "geen {CLASS}") door discriminerende tekstuele supervisie.

Generatie: Voor elke class identificeert het systeem zijn top- $k$ visueel verwarrende buren in de CLIP-inbeddingsruimte. Een LLM wordt offline geprompt om beschrijvingen te genereren die de doelclass karakteriseren tegenover deze specifieke buren (bijv. "een foto van $c$ , te onderscheiden van $c'$ door [visueel attribuut]").
Integratie: Deze pairwise contrastieve beschrijvingen dienen als de negatieve tekstgewichten ( $w^-_c$ ), waardoor een onderbouwde discriminerende taal wordt geboden die verder gaat dan eenvoudige ontkenning van classnamen.

3. Parameterloze Adaptieve Modaliteitsfusie

Het framework elimineert de noodzaak voor handmatige hyperparameterafstelling met betrekking tot de balans tussen visuele en tekstuele takken.

Schatting: Het fusiegewicht $\lambda$ wordt direct geschat vanuit de geometrie van de support-set.
Logica: Het berekent de visuele Fisher-discrimineerbaarheid ( $\sigma_v$ , ratio van tussen-class tot binnen-class variantie) en tekstuele discrimineerbaarheid ( $\sigma_t$ , afgeleid uit pairwise cosinusgelijkenis van tekstgewichten).
Aanpassing: Het gewicht wordt berekend als $\lambda = \text{clip}(\frac{\sigma_v}{\sigma_v + \sigma_t})$ . Dit geeft op natuurlijke wijze de voorkeur aan de visuele tak wanneer features discriminerend zijn, en aan de tekstuele tak wanneer classnamen semantisch dicht bij elkaar liggen.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Query-Geconditioneerde Negatieve Routing: Een mechanisme dat negatieve onderdrukking concentreert op de classes waarmee elke testafbeelding het meest waarschijnlijk wordt verward, in plaats van uniforme straffen toe te passen.
LLM-Gebootste Contrastieve Prompts: De introductie van offline gegenereerde, pairwise contrastieve beschrijvingen die classes karakteriseren tegenover hun naaste semantische buren, ter vervanging van generieke negatieve sjablonen.
Adaptieve Modaliteitsfusie: Een parameterloze methode om de optimale visueel-tekstuele weging uitsluitend af te leiden uit de support-set-geometrie, waardoor handmatige afstappeisen worden verwijderd.

Experimentele Resultaten

SCAN werd geëvalueerd op 11 standaard benchmarks (waaronder ImageNet, Caltech101, Flowers102, en fijnkorrelige datasets zoals Stanford Cars en FGVC Aircraft) en vier Out-of-Distribution (OOD) varianten van ImageNet.

Few-Shot Prestaties: SCAN presteert consequent beter dan eerdere op prompts gebaseerde (CoOp, CoCoOp) en op adapters gebaseerde (CLIP-Adapter, Tip-Adapter-F, TaskRes) methoden.
- Bij 16-shot bereikt SCAN een gemiddelde verbetering van 4,61% ten opzichte van de sterkste baseline (SimNL).
- Winsten zijn het meest uitgesproken op fijnkorrelige datasets waar inter-class verwarring ernstig is: 7,70% verbetering op DTD en FGVC Aircraft, en 5,90% op Stanford Cars.
Robuustheid tegen Distributieverandering: SCAN toont sterke generalisatie over ImageNet-V2, ImageNet-Sketch, ImageNet-A en ImageNet-R, met een gemiddelde verbetering van 2,95% ten opzichte van SimNL. De grootste winst (+3,20%) wordt waargenomen op ImageNet-Sketch.
Resilientie tegen Labelruis: Onder aanzienlijke labelcorruptie (tot 50% ruis op 16-shot ImageNet) behoudt SCAN robuuste prestaties. Opmerkelijk is dat de nauwkeurigheid onder 50% ruis (67,68%) de schone baseline-prestaties van de sterkste concurrerende methode overtreft (SimNL op 66,52%).

Betekenis en Claims

Het artikel stelt dat SCAN de fundamentele beperking aanpakt om alle negatieve signalen als gelijk te behandelen. Door het paradigma te verschuiven naar query-specifieke negatieve routing, verscherpt de methode effectief beslissingsgrenzen in scenario's met hoge verwarring zonder parameters tijdens inferentie te verhogen.

De auteurs stellen dat gerichte verbeteringen aan de negatieve tak en tekstuele supervisie aanzienlijke, consistente winsten kunnen opleveren over diverse domeinen. Het vermogen van het framework om te generaliseren onder distributieveranderingen en robuustheid te behouden onder ernstige labelruis, suggereert dat query-adaptieve routing intrinsiek ruis-tolerant is. Het werk positioneert SCAN als een plug-and-play verbetering die compatibel is met bestaande op adapters gebaseerde few-shot pipelines, en biedt een weg naar betrouwbaardere few-shot vision-language modellen in real-world omgevingen waar data schaars en ruisachtig is.