Neutral-Reference Prompting for Vision-Language Models

Technische Samenvatting: Neutrale-Referentie Prompting voor Vision-Language Modellen (NeRP)

1. Probleemstelling

Vision-Language Modellen (VLM's) hebben sterke zero-shot capaciteiten aangetoond, maar hun efficiënte transfer learning via prompt tuning of lichte adaptatie lijdt vaak onder de Base–New Trade-off (BNT). Het verbeteren van de prestaties op ongezette (nieuwe) klassen gaat vaak ten koste van de nauwkeurigheid op bekende (basis) klassen.

Hoewel bestaande literatuur BNT voornamelijk toeschrijft aan overfitting op basisklassen tijdens fine-tuning, identificeert dit artikel een subtielere onderliggende kwestie: asymmetrische verwarring. In tegenstelling tot symmetrische verwarring (waarbij vergelijkbare klassen met vergelijkbare frequenties verkeerd worden geclassificeerd), vertonen VLM's systematische, eenrichtingsbias waarbij monsters van klasse A frequent worden voorspeld als klasse B, terwijl het omgekeerde (B → A) zelden voorkomt. Deze bias, overgeërfd van onbalans in de pre-training data, blijft bestaan voor ongezette klassen omdat standaard fine-tuning (met cross-entropy loss) effectief bias voor geziene klassen onderdrukt, maar de pre-training-geïnduceerde priors voor ongezette klassen niet kan corrigeren.

2. Methodologie: NeRP

De auteurs stellen NeRP (Neutral-Reference Prompting) voor, een plug-and-play strategie die voorspellingen corrigeert tijdens inferentie zonder modelparameters te wijzigen of opnieuw te trainen. De methode werkt op de observatie dat fine-tuning voornamelijk de laag-dimensionale deelruimte vervormt die wordt opgespannen door prototypen van basisklassen, waardoor de zero-shot geometrie van ongezette klassen relatief stabiel blijft.

Kerncomponenten:

• Neutrale-Referentie Prompts: De methode definieert een "neutraal" prompt dat klassen-agnostisch is.
  • Tekstzijde: Een generiek prompt (bijv. "een foto van een object") dat elk monster beschrijft zonder klassenspecifieke aanwijzingen.
  • Beeldzijde: Een "neutraal" beeld dat wordt geconstrueerd door de pixel-voor-pixel gemiddelde van alle trainingsafbeeldingen te nemen, waardoor de domeinstijl behouden blijft maar specifieke semantische inhoud wordt verwijderd.
• Prior Gap Meting: Door deze neutrale referenties te projecteren tegen klassenprototypen, berekent de methode neutrale priors ($\pi_{txt}$ en $\pi_{img}$). Het verschil tussen deze priors voor een paar klassen $(i, j)$ onthult de richting en sterkte van de inherente bias van het model (de "prior gap").
• Bayes-stijl Surrogaatscore: De methode construeert een surrogaatscore door de waargenomen sample logit marge ($m_{ij}$) te combineren met de neutrale prior gap ($\Sigma_{i,j}$).
  $$s_{ij}(x) \approx m_{ij}(x) + \Sigma_{i,j}(D) + \hat{\beta}(D)$$
• Beslissingsregel (Lokaal Flip): Voor een gegeven monster, als de prior sterk een specifieke klasse bevoordeelt (grote $\Sigma_{i,j}$) maar het waargenomen bewijs (logit marge) zwak is, wordt de voorspelling beschouwd als "prior-gedomineerd" en waarschijnlijk foutief. In dergelijke gevallen voert NeRP een lokaal flip uit tussen makkelijk verwarbare klassenparen om de bias te corrigeren. Als zowel prior als bewijs zwak zijn, blijft de voorspelling ongewijzigd.

Theoretische Rechtvaardiging:
Het artikel biedt theoretische bewijzen (Propositie 3.5 en Corollarium 3.6) die aantonen dat onder een low-rank vervormingsmodel van fine-tuning, de neutrale prior gap met hoge waarschijnlijkheid overeenkomt met de verwachte logit marge voor ongezette klassen. Dit stelt de neutrale prior in staat als een betrouwbare anker te dienen voor het detecteren en corrigeren van bias.

3. Belangrijkste Bijdragen

• Identificatie van Asymmetrische Verwarring: Het artikel benadrukt dat BNT niet uitsluitend wordt veroorzaakt door overfitting, maar significant wordt gedreven door persistente, asymmetrische pre-training bias op ongezette klassen.
• Neutrale-Referentie Mechanisme: De introductie van neutrale tekst- en beeldprompts om klassenspecifieke prior-preferenties te meten langs de pre-getrainde inter-klassen geometrie.
• Parameter-vrije Correctie: NeRP is een post-hoc, plug-and-play strategie die geen extra training, parameterupdates of architecturale wijzigingen vereist voor bestaande VLM's.
• Theoretische Analyse: Het werk vestigt een formele link tussen neutrale priors en de stabiliteit van zero-shot geometrie, en bewijst dat deze priors de biasrichting op nieuwe klassen betrouwbaar kunnen detecteren.

4. Experimentele Resultaten

De auteurs evalueerden NeRP op 15 benchmarks, waaronder 11 few-shot herkenning datasets (bijv. ImageNet, Caltech101, OxfordPets) en 4 cross-domein/domein generalisatie datasets (bijv. ImageNet-V2, ImageNet-Sketch).

• Baselines: De methode werd geïntegreerd met vier distincte state-of-the-art prompt tuning en adaptatiemethoden: CoCoOp, PromptSRC, MMA en MMRL.
• Prestaties:
  • Base-to-New Generalisatie: NeRP verbeterde consistent de nauwkeurigheid op ongezette (nieuwe) klassen over alle baselines en datasets heen. Bijvoorbeeld, op EuroSAT waren de winsten groter dan 5%, terwijl verbeteringen van 0,5–2% werden waargenomen op ImageNet en Flowers102.
  • Behoud van Basisprestaties: Cruciaal verbeterde NeRP de prestaties op nieuwe klassen zonder de nauwkeurigheid op basisklassen te verslechteren, waardoor de BNT effectief werd gemitigeerd.
  • Cross-Domein & Domein Generalisatie: NeRP leverde directe winsten op cross-dataset en domein generalisatie taken, met gemiddelde verbeteringen van ~1% over 10 datasets.
• Ablatie Studies: Experimenten bevestigden dat de methode robuust is voor verschillende zoekgranulariteiten voor hyperparameters en effectief is zelfs met zeer weinig monsters die worden gebruikt voor kalibratie.

5. Betekenis en Claims

Het artikel positioneert NeRP als een "gratis lunch" voor efficiënte transfer learning in VLM's. De primaire betekenis ligt in het ontkoppelen van de trade-off tussen discriminatie (op basisklassen) en generalisatie (op nieuwe klassen) door de worteloorzaak van asymmetrische bias aan te pakken in plaats van alleen het symptoom van overfitting.

De auteurs claimen dat NeRP dient als een universele, model-agnostische correctiestrategie die discriminatie en generalisatie in evenwicht brengt. Door neutrale referenties te benutten om pre-training-geïnduceerde bias bloot te leggen en te corrigeren, stelt NeRP bestaande VLM adaptatiemethoden in staat betere prestaties te behalen op ongezette klassen zonder de computatiekosten van hertraining of het risico op het compromitteren van de nauwkeurigheid op bekende klassen. Het werk suggereert dat het begrijpen en corrigeren van "asymmetrische verwarring" een kritieke, tot nu toe onderbelichte weg is om de robuustheid van VLM's te verbeteren.