SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

Technische Samenvatting: SAMPLe: Een Sharpness-Aware Minimization gebaseerde Optimizer voor Prompt Learning in Vision-Language Modellen

Probleemstelling
Pre-trained Vision-Language Modellen (VLM's), zoals CLIP, dienen als krachtige fundamentmodellen voor downstream-toepassingen. Het aanpassen van deze modellen via prompt learning presenteert echter een aanzienlijk dilemma tussen prestaties en generalisatie. Hoewel prompt learning efficiënte taakanpassing mogelijk maakt door een beperkte set leerbare parameters (prompts) af te stemmen terwijl de backbone bevroren blijft, leidt deze beperking vaak tot overfitting. De beperkte parameterruimte maakt het optimalisatieproces zeer gevoelig, wat er vaak toe leidt dat modellen convergeren naar "scherpe minima" in het loss-landschap. Deze scherpe oplossingen leveren een hoge nauwkeurigheid op voor bekende trainingsdistributies, maar lijden onder een slechte generalisatie naar onbekende data of klassen. Bestaande Sharpness-Aware Minimization (SAM) methoden proberen dit aan te pakken door te zoeken naar vlakkere minima, maar ze falen vaak in het balanceren van de afweging tussen het minimaliseren van de trainingsloss (exploitatie) en het verkennen van vlakke regio's (exploratie), met name wanneer ze worden toegepast op de beperkte subruimte van prompt learning.

Methodologie: SAMPLe
De auteurs stellen SAMPLe voor (Sharpness-Aware Minimization Prompt Learning), een model-agnostische optimizer die specifiek is ontworagn om de generaliseerbaarheid van VLM-prompts te verbeteren. In tegenstelling tot conventionele optimizers of standaard SAM-varianten (bijv. F-SAM, SAGM) die mogelijk uniforme perturbaties toepassen of vertrouwen op heuristische hyperparameters, introduceert SAMPLe een dual-objective framework dat dynamisch zich aanpast aan de huidige optimalisatiestatus.

De kern van SAMPLe omvat drie strategische mechanismen:

1. Dual-Objective Optimization: De methode optimaliseert voor een loss-minimum dat tegelijkertijd een lage training loss heeft en vlak is in het loss-landschap. Dit zorgt voor stabiliteit en robuustheid zonder de nauwkeurigheid op bekende data op te offeren.
2. Gradient Alignment and Orthogonality: SAMPLe zorgt ervoor dat gradiënt-updates berekend op een afgeweken punt (geperturb door SAM) coherent zijn uitgelijnd met de Empirical Risk Minimization (ERM) gradiënten. Cruciaal is dat het de SAM-gradiënt-updates op het afgeweken punt beperkt tot zijnde orthogonaal aan de full-batch gradiënt.
   • Het deelt de mini-batch gradiënt op in een component die uitgelijnd is met de full-batch gradiënt en een "batch-specifieke" component die orthogonaal aan deze laatste is.
   • De objectieffunctie bevat termen die de geperturb de gradiënt naar de batch-specifieke component drijven (exploratie) terwijl deze de full-batch component weerstaat (wat kan leiden tot over-smoothing en verminderde generalisatie).
3. Dynamic Adaptation: De optimizer balanceert automatisch exploitatie (het minimaliseren van de ERM loss) en exploratie (het zoeken naar vlakke minima) bij elke iteratie op basis van de lokale kromming en gradiënt-eigenschappen, in plaats van te vertrou op vaste hyperparameters.

Theoretische analyse in het artikel toont aan dat SAMPLe, onder standaard aannames (begrensde gradiënten en K-Lipschitz continuïteit), convergeert met een snelheid van $O(\frac{\log T}{\sqrt{T}})$, vergelijkbaar met SGD en Adam.

Belangrijkste Bijdragen

• Nieuwe Optimizer: Introductie van SAMPLe, de eerste SAM-gebaseerde optimizer die specifiek is afgestemd op VLM prompt learning, waarbij een dual-objective framework wordt gedefinieerd dat adaptief de balans vindt tussen lage ERM loss en vlakke minima.
• Theoretisch Inzicht: Een analyse die de beperkingen van bestaande sharpness-aware methoden in de context van de beperkte parameterruimte van prompt learning vaststelt, wat de noodzaak voor een adaptieve, dual-objective aanpak motiveert.
• Uitgebreide Evaluatie: Uitgebreide experimenten waarbij SAMPLe is geïntegreerd in meerdere prompt learning frameworks (CoOp, CoCoOp, MaPLe, TCP, en Co-Prompt) over diverse datasets.

Experimentele Resultaten
Het artikel evalueert SAMPLe over drie primaire settings met behulp van 11 beeldclassificatie-datasets en diverse ImageNet-varianten:

1. Base-to-New Generalization: In few-shot learning scenario's verbetert SAMPLe consequent de harmonische gemiddelde (HM) van de base- en novel class nauwkeurigheid vergeleken met baselines en andere SAM-varianten (SAM, F-SAM, SAGM). Bijvoorbeeld, gemiddeld verbeterde CoOp van 77,65 (met SAGM) naar 78,88 met SAMPLe.
2. Cross-Dataset Zero-Shot Generalization: Wanneer modellen getraind op ImageNet worden getest op 10 onbekende doel-datasets zonder fine-tuning, verhoogt SAMPLe consequent de transfer-prestaties. Voor CoOp steeg de gemiddelde nauwkeurigheid van 63,88% naar 65,85%.
3. Cross-Domain Generalization: Op ImageNet-varianten die distributieverschuivingen vertegenwoordigen (V2, Sketch, Adversarial, Rendition), verbeterde SAMPLe de robuustheid. CoOp+SAMPLe bereikte een gemiddelde nauwkeurigheid van 60,41%, waarmee het de standaard CoOp (59,28%) en andere sterke baselines versloeg.

De resultaten geven aan dat SAMPLe een stabielere afweging bereikt tussen specialisatie op base-klassen en transfer naar onbekende klassen, waarbij het vaak state-of-the-art methoden overtreft zonder de prestaties op bekende distributies drastisch te verslechteren.

Betekenis en Claims
Het artikel claimt dat SAMPLe een robuuste, model-agnostische oplossing vestigt voor prompt learning door direct de overfitting-gevoelige aard van de beperkte leerbare parameterruimte in VLM's aan te pakken. Door kennis van het loss-landschap te integreren en exploratie en exploitatie dynamisch te balanceren, behoudt SAMPLe het generalisatiepotentieel van pre-trained modellen. De auteurs stellen dat hun aanpak bestaande prompt learning frameworks naar een hoger niveau tilt, een consistente prestatieverbetering biedt over diverse settings en aantoont dat zorgvuldige optimalisatie van het loss-landschap cruciaal is voor effectieve prompt learning in VLM's.