Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models

1. Probleemstelling

Vision-Language Models (VLM's) zoals CLIP vertonen opmerkelijke zero-shot generalisatie. Echter, bij het aanpassen van deze modellen aan specifieke downstream-taken via Prompt Tuning (het leren van continue promptvectoren terwijl de backbone bevroren blijft), blijven ze zeer gevoelig voor labelruis.

Het kernprobleem geïdentificeerd door de auteurs is een "Gradient Surge Paradox":

• Bij standaard Cross-Entropy (CE) verlies is de grootte van de gradiënt evenredig met het verschil tussen het ground truth-label en de voorspelling van het model.
• Gepretrainde VLM's bezitten sterke priors. Wanneer een sample verkeerd is gelabeld (bijvoorbeeld een afbeelding van een "auto" gelabeld als "hond"), voorspelt de prior van het model correct "auto" met hoge zekerheid, wat resulteert in een bijna nul-kans voor het ruisige label "hond".
• Paradoxaal genoeg genereert deze grote discrepantie tussen de zekere voorspelling en het ruisige label een disproportioneel grote gradiënt.
• Deze enorme gradiënten overschrijven agressief de gepretrainde kennis, waardoor het model overpast op de ruis en de prestaties verslechteren, vaak onder de zero-shot-baseline.

2. Methodologie: Double-Softmax Prompt Tuning (DSPT)

De auteurs stellen Double-Softmax Prompt Tuning (DSPT) voor, een framework zonder hyperparameters dat is ontworpen om deze verstorende gradiënten intrinsiek te onderdrukken zonder complexe architecturale wijzigingen.

Kernmechanisme:
In plaats van het standaard CE-verlies ($L = -\log(\text{softmax}(z)_{\tilde{y}})$), past DSPT een sequentiële probabilistische normalisatie toe:
$$L_{ours} = -\log(\text{softmax}(\text{softmax}(z))_{\tilde{y}})$$
Waarbij $z$ de logits van het prompt-getunede model voorstelt, en $\tilde{y}$ het ruisige label is.

Hoe het werkt:

1. Eerste Softmax: Zet logits $z$ om in een kansverdeling $p = \text{softmax}(z)$.
2. Tweede Softmax: Past opnieuw softmax toe op $p$ om een verfijnde verdeling $q = \text{softmax}(p)$ te genereren.
3. Intrinsieke Gradiëntonderdrukking:
   • Voor Hoog-Zekerheid Mismatches (Ruisige Samples): Als het model zeer zeker is van een voorspelling die in strijd is met het ruisige label (een waarschijnlijk verkeerd gelabeld sample), duwt de double-softmax de logits in een verzadigingszone. Theoretische analyse toont aan dat de grootte van de gradiënt voor deze samples convergeert naar nul, waardoor hun invloed op de update effectief wordt "nietig verklaard".
   • Voor Informatieve/Onczekere Samples: Voor samples waarbij het model minder zeker is (mogelijk dubbelzinnig of correct gelabeld maar moeilijk), blijven de gradiënten binnen een "actieve leerzone", waardoor het model subtiele verfijningen kan leren.
4. Verliesgebondenheid: De methode zorgt ervoor dat de verliesfunctie begrensd is, waardoor het model wordt voorkomen dat het extreme uitschieters aanpast.

3. Belangrijkste Bijdragen

• Theoretisch Inzicht: Het artikel biedt een systematische analyse die de "gradient surge paradox" in VLM prompt tuning blootlegt, waarbij sterke priors gecombineerd met ruisige labels destructieve gradiëntupdates creëren.
• Nieuw Framework (DSPT): Introductie van een eenvoudige, plug-and-play Double-Softmax verliesfunctie die fungeert als een intrinsiek ruisfilter. Het hergebruikt het traditioneel problematische fenomeen van "gradient vanishing" als een principieel mechanisme voor ruisonderdrukking.
• Ontwerp zonder Hyperparameters: In tegenstelling tot bestaande methoden (zoals LogitNorm, LogitClip) die zorgvuldige afstelling van drempelwaarden of klemparameters vereisen, vereist DSPT geen hyperparameters, waardoor het robuust is over verschillende datasets en ruisniveaus.
• Theoretische Garantiën: De auteurs leveren bewijzen die aantonen dat DSPT gradiëntnultelling induceert voor hoog-zekerheid mismatches en het verwachte risicoverschil tussen schone en ruisige verdelingen begrenst.

4. Experimentele Resultaten

De auteurs evalueerden DSPT op 9 diverse datasets (waaronder Caltech101, StanfordCars, OxfordPets, Flowers102, enz.) onder verschillende ruiscondities (Symmetrische en Pair-Flip ruis met rates tot 90%).

• Prestaties: DSPT behaalde consistent State-of-the-Art (SOTA) robuustheid. Het presteerde beter dan baselines zoals CoOp, LogitNorm, Label Smoothing en de complexe NLPrompt-methode.
  • In scenario's met hoge ruis (bijvoorbeeld 80% symmetrische ruis) faalde CoOp vaak (daalde onder zero-shot-prestaties), terwijl DSPT een hoge nauwkeurigheid behield.
  • DSPT toonde een verbetering van 0,4% tot 5% in gemiddelde nauwkeurigheid ten opzichte van de op een na beste methode (NLPrompt) in de meeste instellingen.
• Robuustheid tegen Extreme Ruis: Zelfs onder extreme ruis (90% symmetrisch, 80% pair-flip) presteerde DSPT significant beter dan sample-selectiemethoden en andere verlies-robuste technieken.
• Gradiëntanalyse: Empirisch bewijs (Figuur 3) bevestigde dat DSPT de gradiënten van verkeerd gelabelde samples succesvol onderdrukt tot bijna nul, terwijl gradiënten voor correct gelabelde samples behouden blijven, terwijl standaard CE-verlies toelaat dat ruisige samples de overhand nemen.
• Vergelijking met LogitClip: Het artikel benadrukt dat LogitClip zeer gevoelig is voor zijn drempel-hyperparameter ($\tau$), die aanzienlijk varieert tussen datasets. DSPT vermijdt deze instabiliteit volledig.

5. Betekenis en Impact

• Simpliciteit en Generaliteit: Het werk toont aan dat een eenvoudige wiskundige wijziging (double softmax) een complex probleem (labelruis in VLM's) effectiever kan oplossen dan complexe, handgemaakte architecturen.
• Paradigmaverschuiving: Het daagt het conventionele beeld uit dat "gradient vanishing" altijd een gebrek is, en laat zien dat het een eigenschap kan zijn voor het filteren van ruis in gepretrainde modellen.
• Praktische Toepasbaarheid: Als een "plug-and-play" oplossing die geen afstelling van hyperparameters vereist, is DSPT zeer praktisch voor real-world toepassingen waar de kwaliteit van labels onbekend of slecht is.
• Toekomstige Richtingen: De auteurs suggereren dit mechanisme uit te breiden naar Large Vision-Language Models (LVLM's) voor downstream-taken, en positioneren double-softmax als een fundamenteel bouwsteen voor robuust multi-modaal leren.

Kortom, dit artikel presenteert een theoretisch onderbouwde, empirisch superieure en praktisch eenvoudige oplossing voor het kritieke probleem van labelruis bij het aanpassen van Vision-Language Models, waarbij gebruik wordt gemaakt van het eigen gepretrainde vertrouwen van de modellen om fouten te filteren.