Robust Adaptation of Foundation Models with Black-Box Visual Prompting

Titel: Robuste Adaptatie van Foundation Modellen met Black-Box Visual Prompting

1. Het Probleem

Grote vooraf getrainde modellen (PTM's of Foundation Models) hebben enorme prestaties geleverd op diverse taken. Om deze modellen aan te passen aan specifieke downstream-taken, wordt vaak gebruikgemaakt van Parameter-Efficient Transfer Learning (PETL). Echter, bestaande PETL-methoden (zoals Visual Prompt Tuning of fine-tuning) rusten op twee optimistische en vaak onrealistische aannames voor de praktijk:

1. Volledige toegang tot parameters: Ze vereisen dat de interne architectuur en gewichten van het PTM bekend en toegankelijk zijn (witte doos). In de realiteit worden veel PTM's echter aangeboden als black-box API's of propriëtaire software zonder blootlegging van de parameters.
2. Groot geheugencapaciteit: Zelfs bij efficiënte methoden is het vaak nodig om alle tussenliggende activaties te cachen voor backpropagatie van de gradiënt. Dit vereist een enorme hoeveelheid VRAM, wat een barrière vormt voor gebruikers met beperkte middelen.

De auteurs stellen dat er een dringende behoefte is aan een methode die PTM's kan aanpassen zonder kennis van de architectuur of parameters, en zonder grote geheugeneisen.

2. Methodologie: BlackVIP

Het artikel introduceert BlackVIP (Black-Box Visual Prompting), een framework dat PTM's aanpast via een black-box setting. Het bestaat uit twee kerncomponenten:

A. De Coordinator (Input-afhankelijke Visual Prompting)
In tegenstelling tot eerdere werken die een statische, input-onafhankelijke prompt (bijv. een rand om een afbeelding) leren, introduceert BlackVIP een Coordinator.

• Dit is een klein, leerbaar netwerk dat voor elke invoerafbeelding een unieke visuele prompt genereert.
• De Coordinator bestaat uit een vaste encoder (die instance-specifieke kenmerken haalt) en een lichte decoder die een prompt produceert die over de hele afbeelding wordt verspreid.
• BlackVIP-SE: Een efficiëntere variant die de zware vooraf getrainde encoder vervangt door een simpele statistische methode (Principal Component Analysis - PCA) op de invoerdata. Dit vermindert de rekentijd en het geheugengebruik aanzienlijk zonder grote prestatieverlies.

B. SPSA-GC (Optimalisatie zonder Gradiënten)
Omdat de gradiënten van het zwarte doos-model niet beschikbaar zijn, gebruikt BlackVIP een Zeroth-Order Optimization (ZOO) aanpak.

• SPSA (Simultaneous Perturbation Stochastic Approximation): In plaats van de exacte gradiënt te berekenen, schat SPSA de gradiënt door het model twee keer te queryen met licht verstoorde parameters en het verschil in output te analyseren.
• Gradient Correction (GC): De auteurs verbeteren de standaard SPSA met een "Gradient Correction" mechanisme, geïnspireerd op Nesterov's Accelerated Gradient. Dit corrigeert de ruis in de gradiënt schattingen door een momentum-gebaseerde "look-ahead" te gebruiken, wat leidt tot snellere en stabielere convergentie.

3. Belangrijkste Bijdragen

1. BlackVIP en BlackVIP-SE: De eerste methoden die succesvolle transfer learning mogelijk maken voor visuele PTM's in een strikte black-box setting (geen toegang tot parameters, beperkt geheugen).
2. Efficiëntie: BlackVIP-SE reduceert de rekentijd en het aantal leerbare parameters drastisch (van 69K naar 1K parameters) door PCA te gebruiken, terwijl het vergelijkbare prestaties behaalt.
3. Theoretische Analyse: De auteurs bieden een theoretisch bewijs dat visuele prompting methoden asymptotisch gedragen als een Randomized Smoothing classifier. Dit verklaart waarom deze methoden robuust zijn tegen ruis en distributieveranderingen (generalisatie), zelfs zonder expliciete robuuste training.
4. Uitgebreide Validatie: Experimenten op 19 datasets, inclusief synthetische datasets voor correlatieverschuivingen en echte wereld-datasets (WILDS benchmark), tonen aan dat de methode robuust is tegen spurious correlations (schijnbare correlaties) en objectlocatie-variaties.

4. Resultaten

• Prestaties: BlackVIP en BlackVIP-SE presteren consistent beter dan bestaande black-box methoden (zoals BAR en VP met SPSA) op 14 verschillende benchmarks (o.a. Caltech, Pets, Cars, EuroSAT). Ze verbeteren vaak de Zero-Shot prestaties aanzienlijk.
• Robuustheid: Op datasets met sterke spurious correlations (zoals Biased MNIST, waar achtergrondkleur de label bepaalt) overtreffen BlackVIP-methoden witte-doos-methoden. De input-afhankelijke prompts helpen het model om zich te focussen op het object in plaats van de achtergrond.
• Efficiëntie:
  • Geheugen: BlackVIP vereist aanzienlijk minder piekgeheugen (peak memory) dan witte-doos fine-tuning of zelfs andere black-box methoden.
  • Query-efficiëntie: Met slechts 10.000 API-calls (ongeveer $12 aan kosten) kan de prestatie van een Zero-Shot model met factor 2 of 3 worden verbeterd.
  • Snelheid: BlackVIP-SE is sneller in training en inferentie dan de originele BlackVIP en concurrerend met andere baselines.
• Compatibiliteit: De methode werkt goed in combinatie met black-box tekst-prompting methoden en is ook toepasbaar op gekwantiseerde modellen (8-bit).

5. Betekenis en Impact

Dit werk is van groot belang voor de praktische toepassing van AI in de echte wereld:

• Democratisering van AI: Het stelt gebruikers met beperkte middelen (geen GPU's, geen toegang tot modelbroncode) in staat om geavanceerde foundation modellen aan te passen voor hun specifieke taken.
• Veiligheid en Robuustheid: De theoretische link met Randomized Smoothing suggereert dat deze methode niet alleen prestaties verbetert, maar ook de veiligheid van AI-systemen verhoogt door ze robuuster te maken tegen ruis en distributieveranderingen.
• Toekomstrichting: Het opent de deur voor het gebruik van de nieuwste, gesloten foundation modellen in kritieke toepassingen waar privacy of intellectueel eigendom de toegang tot modelparameters blokkeert.

Kortom, BlackVIP biedt een praktische, efficiënte en theoretisch onderbouwde oplossing voor het aanpassen van grote AI-modellen in een black-box omgeving, waarbij zowel prestaties als robuustheid worden verbeterd.