Prompt-based Adaptation in Large-scale Vision Models: A Survey

Titel: Prompt-based Adaptation in Large-scale Vision Models: A Survey

Publicatie: Transactions on Machine Learning Research (Feb/2026)
Auteurs: Xi Xiao, Yunbei Zhang, et al.

1. Het Probleem

Grote visuele modellen (zoals Vision Transformers en Swin Transformers) hebben de computervisie getransformeerd door vooraf getrainde representaties te gebruiken die vervolgens worden fijngefineerd (fine-tuned) voor specifieke taken. Dit "pretrain-then-finetune"-paradigma is echter onderhevig aan twee grote uitdagingen:

1. Resource-intensiteit: Volledige fine-tuning (Full Fine-Tuning of FT) vereist het bijwerken van alle parameters, wat rekenkundig duur is en veel opslagruimte kost, vooral bij modellen met honderden miljoenen parameters.
2. Kennisverlies: Volledige fine-tuning kan leiden tot "catastrophic forgetting", waarbij waardevolle kennis uit de pre-training verloren gaat.
3. Conceptuele verwarring: In de huidige literatuur worden termen als Visual Prompting (VP) en Visual Prompt Tuning (VPT) vaak door elkaar gebruikt, hoewel ze fundamenteel verschillende mechanismen en toepassingsgebieden hebben. Er ontbreekt een gestructureerd raamwerk om deze technieken systematisch te onderscheiden.

2. Methodologie en Taxonomie

De auteurs introduceren een unificerend raamwerk genaamd Prompt-based Adaptation (PA). Ze definiëren PA als het proces van het ontwerpen van invoer op verschillende locaties om het gedrag van een model aan te passen, waarbij de achterliggende encoder (backbone) bevroren blijft.

De kern van de survey is een nieuwe taxonomie die methoden onderscheidt op basis van twee criteria:

1. Injectiegranulariteit (Waar wordt de prompt ingebracht?):

   • Visual Prompting (VP): Werkt op pixel-niveau. De prompt wordt toegevoegd aan de invoerruimte (de afbeelding zelf) voordat deze wordt getokeniseerd of verwerkt door de encoder.
     • VP-Fixed: Vooraf gedefinieerde prompts (bijv. punten, kaders, maskers zoals in SAM) zonder leerbare parameters.
     • VP-Learnable: Leerbare pixelpatronen (bijv. overlays, frequentie-cues) die worden geoptimaliseerd.
     • VP-Generated: Een generator-netwerk produceert instance-afhankelijke prompts per afbeelding.
   • Visual Prompt Tuning (VPT): Werkt op token-niveau. Leerbare prompts worden ingebracht in de token-reeks (feature-sequentie) binnen het netwerk, vaak aan het begin van elke transformer-laag.
     • VPT-Learnable: Vaste tokens die worden geoptimaliseerd via gradient descent (Shallow of Deep injectie).
     • VPT-Generated: Een generator produceert tokens afhankelijk van de invoer of taak.

2. Efficiëntie:

   • VPT: Vermindert de parameter- en optimizer-voetafdruk aanzienlijk (slechts <0,5% parameters worden getraind), maar vereist nog steeds backpropagation door de volledige backbone, wat de geheugennood (activatie-geheugen) hoog houdt.
   • VP: Biedt nog meer flexibiliteit voor "black-box" scenario's. VP-Fixed vereist geen training van prompts. VP-Learnable/Generated kan worden geoptimaliseerd zonder toegang tot interne gradiënten (zeroth-order), wat het ideaal maakt voor API-only toegang.

3. Belangrijkste Bijdragen

• Eerste Gestructureerde Overzicht: Dit is de eerste uitgebreide survey die zich uitsluitend richt op PA binnen visuele modellen, en niet op multimodale of tekst-gebaseerde prompts.
• Conceptuele Verduidelijking: Het artikel lost de verwarring op tussen VP en VPT door ze te definiëren op basis van hun injectiegranulariteit (pixel vs. token) en generatiemechanisme.
• Uitgebreide Taxonomie: De auteurs classificeren methoden niet alleen op architectuur, maar ook op toepassing in beperkte leerparadigma's (zoals Few-Shot, Test-Time Adaptation, Federated Learning) en domeinspecifieke toepassingen.
• Theoretische Analyse: Het artikel biedt een eerste theoretische analyse van hoe PA werkt, inclusief visualisaties van aandacht (GradCAM) en analyse van de leerpatronen van prompts (bijv. hoe prompts convergeren naar patch-token distributies).

4. Resultaten en Toepassingen

De survey analyseert de effectiviteit van PA in diverse domeinen:

• Fundamentele CV-taken: PA verbetert segmentatie (bijv. medische beeldvorming met SAM), restauratie (denoising, dehazing) en compressie zonder de kernarchitectuur te wijzigen.
• Domeinspecifieke toepassingen:
  • Medisch: VP is dominant voor interactieve segmentatie (SAM), terwijl VPT wordt gebruikt voor rapportgeneratie en classificatie.
  • Remote Sensing: VP helpt bij het isoleren van objecten in dichte beelden; VPT helpt bij het heraligneren van globale features voor landschapsclassificatie.
  • Robotica & 3D: PA helpt bij het overbruggen van de kloof tussen 2D pre-training en 3D data (point clouds), waarbij VP vaak dient als modality-bridge en VPT voor diepe geometrische redenering.
  • Autonome Voertuigen: Essentieel voor robustheid tegen weersomstandigheden (mist, regen) en Sim-to-Real transfer.
• Beperkte Omgevingen: PA presteert uitstekend in Few-Shot learning, Unsupervised Domain Adaptation (UDA), en Test-Time Adaptation (TTA), waar traditionele fine-tuning faalt door overfitting of gebrek aan data.
• Betrouwbaarheid (Trustworthy AI): PA wordt gebruikt om bias te verminderen, robustheid tegen adversarial attacks te verhogen en privacy te waarborgen (bijv. via federated learning met gedeelde prompts).

5. Significantie en Toekomstperspectief

De survey benadrukt dat Prompt-based Adaptation de standaard wordt voor het aanpassen van grote visuele modellen, vooral in real-world scenario's waar data schaars is, privacy cruciaal is, of modeltoegang beperkt is (black-box).

Kerninzichten voor de toekomst:

• Keuze tussen VP en VPT: VP is superieur voor black-box scenario's en interactieve taken (pixel-niveau), terwijl VPT beter presteert bij diepe semantische aanpassing en grote domeinverschillen (token-niveau).
• Uitdagingen: Er zijn nog uitdagingen op het gebied van trainingsstabiliteit (VPT is gevoelig voor initialisatie), inference-latentie (door extra prompt-generatoren), en veiligheid (prompt-injectie als aanvalsvector).
• Evaluatie: Er is een dringende behoefte aan evaluatie in real-world, niet-ideale omgevingen in plaats van alleen op academische benchmarks.

Concluderend biedt deze survey een blauwdruk voor onderzoekers en practitioners om Prompt-based Adaptation strategisch in te zetten, afhankelijk van de beschikbare resources, de toegang tot het model en de specifieke eisen van de toepassing.