Robust Adaptation of Foundation Models with Black-Box Visual Prompting

Titel: Robuste Anpassung von Foundation-Modellen durch Black-Box Visual Prompting (BlackVIP)

1. Problemstellung

Große vortrainierte Modelle (Pre-trained Models, PTMs), auch bekannt als Foundation Models, haben in den letzten Jahren enorme Fortschritte in verschiedenen Domänen ermöglicht. Um diese Modelle für spezifische Downstream-Aufgaben anzupassen, wurden Methoden des Parameter-Efficient Transfer Learning (PETL) entwickelt. Die bestehenden PETL-Ansätze (wie Visual Prompt Tuning oder CoOp) basieren jedoch auf zwei optimistischen Annahmen, die in der Praxis oft nicht erfüllt sind:

1. Voller Zugriff auf Parameter: Die meisten realen PTMs werden als Black-Box-APIs oder proprietäre Software bereitgestellt, die keine Einsicht in die Architektur oder die Gewichte erlauben.
2. Hoher Speicherbedarf: Selbst wenn nur wenige Parameter gelernt werden, erfordern herkömmliche Fine-Tuning-Methoden oft den Cache aller Zwischenaktivierungen für die Gradientenberechnung (Backpropagation), was den Speicherbedarf massiv erhöht.

Das Ziel dieser Arbeit ist es, eine Methode zu entwickeln, die PTMs effizient und robust anpasst, ohne Zugriff auf die Modellparameter zu benötigen und mit minimalem Speicherbedarf auskommt.

2. Methodik: BlackVIP Framework

Die Autoren schlagen BlackVIP (Black-Box Visual Prompting) vor, ein Framework, das auf zwei Kernkomponenten basiert:

A. Der Coordinator (Input-abhängiges Visual Prompting)
Im Gegensatz zu früheren Ansätzen, die statische, input-unabhängige Prompts (z. B. ein fester Rahmen am Bildrand) lernen, führt BlackVIP einen Coordinator ein.

• Funktionsweise: Der Coordinator ist ein kleines neuronales Netz, das für jedes Eingabebild $x$ einen spezifischen visuellen Prompt $v_\phi(x)$ generiert.
• Architektur: Er besteht aus einem fixierten Encoder $f(\cdot)$ (z. B. ein selbstüberwachtes ViT-Modell oder PCA) und einem leichten Decoder $g_{\phi_d}(\cdot)$.
• Reparametrisierung: Anstatt Pixel direkt zu optimieren, wird der Prompt durch die Parameter des Coordinators $\phi$ reparametrisiert. Dies reduziert die Anzahl der lernbaren Parameter drastisch (von ca. 69k auf 1k–9k).
• Vorteil: Da der Prompt input-abhängig ist, kann er die Semantik des gesamten Bildes flexibel anpassen, was besonders bei Verteilungsverschiebungen (Distribution Shifts) vorteilhaft ist.

B. SPSA-GC (Zeroth-Order Optimierung mit Gradientenkorrektur)
Da keine Gradienten des Zielmodells verfügbar sind (Black-Box), wird eine Zeroth-Order Optimization (nullter Ordnung) verwendet.

• SPSA (Simultaneous Perturbation Stochastic Approximation): Statt den Gradienten über alle Parameter zu berechnen, werden zwei gestörte Versionen der Parameter ($\phi + c\Delta$ und $\phi - c\Delta$) an die Black-Box-API gesendet. Aus der Differenz der Ausgaben wird der Gradient approximiert. Dies erfordert nur zwei API-Aufrufe pro Iteration.
• Gradient Correction (GC): Um die langsame Konvergenz und das Rauschen bei SPSA zu mildern, integrieren die Autoren eine Korrektur basierend auf dem Nesterov-Accelerated-Gradient (NAG) Prinzip. Die Update-Regel nutzt einen „Look-ahead"-Mechanismus, um die Parameter in Richtung des erwarteten nächsten Schritts zu aktualisieren und so das Rauschen der Gradientenschätzung zu glätten.

Variante BlackVIP-SE:
Um die Rechenzeit weiter zu reduzieren, wird BlackVIP-SE (Statistical feature-guided Efficient prompt) vorgestellt. Hier wird der teure Encoder durch eine einfache Hauptkomponentenanalyse (PCA) ersetzt, die statistische Merkmale der Trainingsbilder extrahiert. Dies eliminiert die Notwendigkeit eines zusätzlichen vortrainierten Encoders und beschleunigt Training und Inferenz erheblich.

3. Wichtige Beiträge

1. Neue Methode (BlackVIP & BlackVIP-SE): Einführung eines Black-Box-Visual-Prompting-Ansatzes, der keine Modellparameter benötigt und mit minimalem Speicher auskommt.
2. Effiziente Optimierung: Entwicklung von SPSA-GC, einer optimierten Zeroth-Order-Methode, die die Konvergenzgeschwindigkeit und Stabilität im Vergleich zu Standard-SPSA und anderen Black-Box-Optimierern (wie CMA-ES oder RL) signifikant verbessert.
3. Theoretische Analyse: Erster theoretischer Nachweis, dass Visual Prompting mit SGD-Updates asymptotisch einer Randomized Smoothing-Verteilung folgt. Dies liefert eine theoretische Grundlage für die verbesserte Robustheit gegenüber $L_2$-Rauschen und Verteilungsverschiebungen.
4. Umfassende Evaluation: Tests auf 19 verschiedenen Datensätzen (einschließlich synthetischer Shifts, Few-Shot-Learning und Wild-Distribution-Shifts) sowie Kompatibilitätstests mit Text-Prompting-Methoden und quantisierten Modellen.

4. Ergebnisse

• Leistung: BlackVIP und BlackVIP-SE übertreffen auf 14 Benchmarks (z. B. Caltech, Pets, Cars, Flowers) konsistent Zero-Shot-Baselines und andere Black-Box-Methoden (wie BAR oder VP mit SPSA). BlackVIP-SE erreicht dabei eine vergleichbare Genauigkeit wie BlackVIP, ist aber deutlich schneller.
• Robustheit: Auf synthetischen Datensätzen mit korreliertem Rauschen (Biased MNIST) und variierenden Objektorten (Loc-MNIST) zeigen die BlackVIP-Methoden eine überlegene Generalisierungsfähigkeit, da sie durch input-abhängige Prompts irreführende Merkmale (Spurious Correlations) ignorieren können.
• Effizienz:
  • Speicher: Deutlich geringerer Peak-Speicherbedarf im Vergleich zu White-Box-Methoden (keine Aktivierungsspeicherung nötig).
  • Abfrage-Effizienz: BlackVIP benötigt weniger API-Aufrufe, um signifikante Verbesserungen gegenüber Zero-Shot zu erzielen, was bei kostenpflichtigen APIs wichtig ist.
  • Latenz: BlackVIP-SE reduziert die Trainings- und Inferenzzeit im Vergleich zum Original-BlackVIP erheblich.
• Theorie vs. Praxis: Die experimentellen Ergebnisse bestätigen die theoretische Vorhersage, dass Visual Prompting die Robustheit gegenüber Rauschen erhöht, ähnlich wie bei zertifizierter Robustheit durch Randomized Smoothing.

5. Bedeutung und Fazit

Diese Arbeit adressiert eine kritische Lücke im Bereich des Transfer Learnings: Die Anpassung von leistungsfähigen, aber geschützten (Black-Box) Foundation-Modellen in ressourcenbeschränkten Umgebungen.

• Praktische Relevanz: BlackVIP ermöglicht es Nutzern, State-of-the-Art-Modelle (wie CLIP) für eigene Aufgaben zu nutzen, ohne Zugriff auf den Quellcode oder teure GPU-Ressourcen für Backpropagation zu benötigen.
• Robustheit: Die Methode bietet nicht nur bessere Genauigkeit, sondern auch eine inhärente Robustheit gegen Datenverschiebungen, was für den Einsatz in der realen Welt („in the wild") entscheidend ist.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für eine neue Klasse von effizienten, black-box-freundlichen Anpassungsmethoden und liefert theoretische Einblicke in die Generalisierungsfähigkeit von Prompting-Techniken.

Zusammenfassend demonstriert BlackVIP, dass durch die Kombination von input-abhängiger Prompt-Generierung und fortschrittlicher Zeroth-Order-Optimierung eine robuste und ressourcenschonende Anpassung von Foundation-Modellen möglich ist, selbst wenn diese als Black-Box vorliegen.