Technische Samenvatting: U-vormig Multi-granulair Leren voor Vision-Language Modellen (UPrompt)

1. Probleemstelling

Vision-Language Modellen (VLM's) die worden aangepast via prompt learning, kampen met een fundamenteel granulariteitsdilemma. Bestaande methoden optimaliseren doorgaans op een enkele, vaste granulariteit, wat een inherente afruil creëert:

• Globale Prompts: Strategieën zoals CoOp vangen brede context op, maar missen fijnmazig semantisch bewustzijn, waardoor ze niet in staat zijn om lokale kenmerken te coderen die nodig zijn voor gedetailleerd redeneren (bijv. onderpresteren op de FGVCAircraft dataset).
• Lokale Prompts: Fijn gestructureerde prompts behouden lokale details, maar hebben moeite met het integreren van voldoende globale context of het modelleren van cross-regionale compositionele relaties.

Deze beperking belemmert de adaptatieprestaties en generalisatie over diverse taken zoals cross-modale retrieval, few-shot classificatie en base-to-novel generalisatie. Hoewel hiërarchische architecturen zoals U-Net succesvol multi-level representaties hebben verenigd in dense prediction taken (werkend op ruimtelijke pixelgrids), is het overdragen van deze principes naar prompt learning niet triviaal. Prompt learning opereert in een abstracte embedding-ruimte waar tekstuele prompts geen inherente geometrische structuur bezitten, wat het construeren van betekenisvolle multi-granulaire representaties en bidirectionele informatiestromen een aanzienlijke uitdaging maakt.

2. Methodologie: UPrompt

De auteurs stellen UPrompt voor, een U-vormig multi-granulair prompt learning framework geïnspireerd door U-Net. Het construeert parallelle multi-granulaire representaties in zowel visuele als tekstuele modaliteiten, verbonden door bidirectionele informatiestroommechanismen.

2.1 U-vormige Multi-granulaire Constructie

Het framework breidt CLIP-encoders uit naar multi-granulaire versies ($k \in [1, K]$), variërend van het grofste naar het fijnste niveau.

• Visuele Modaliteit: Construeert geneste patch-hiërarchieën via progressieve ruimtelijke pooling in de embedding-ruimte. Beginnend bij de fijnste patch-tokens ($E^{(K)}_{patch}$), worden grovere representaties recursief afgeleid ($E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$). Leerbare prompts worden samengevoegd met deze gepoolde embeddings voordat ze in de vision encoder worden gevoed.
• Tekstuele Modaliteit: Construeert semantische hiërarchieën via progressieve verrijking. Kernsemantiek wordt geëxtraheerd ($T^{(1)}_{embed}$), en daaropvolgende niveaus worden gegenereerd door iteratief granulariteit-specifieke elaboraties toe te voegen ($T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$). Deze worden geïnstantieerd met behulp van Large Language Models (LLM's) om hiërarchische tekstbeschrijvingen te genereren (bijv. van abstracte concepten naar gedetailleerde beschrijvingen).

2.2 Bidirectionele Verbindingsmechanismen

Om cross-level consistentie en complementair leren te waarborgen, introduceert UPrompt twee sleutelmechanismen analoog aan de skip-connections van U-Net:

1. Coarse-to-Fine Cascaded Enhancement (CE):

   • Doel: Aanpakken van contexttekort waarbij fijnmazige embeddings een gebrek aan globale sturing hebben.
   • Mechanisme: Injecteert grofmazige contextuele informatie in fijnere embeddings met behulp van cross-granulariteit aandacht. De verbeterde embedding $\hat{X}^{(k)}$ wordt berekend door aandacht te besteden aan de verbeterde representatie van het grovere niveau $\hat{X}^{(k-1)}$.
   • Effect: Stelt fijnmazige features in staat om contextueel relevante informatie te extraheren uit globale representaties, wat de lokale modellering verbetert.

2. Fine-to-Coarse Hierarchical Supervision (HS):

   • Doel: Aanpakken van optimalisatie-inconsistentie en semantische drift bij grove granulariteiten.
   • Mechanisme: Gebruikt de fijnste-niveau features (die optimale cross-modale correspondentie bezitten) als "teacher signals" om grovere niveaus te superviseren via kennisdistillatie. De KL-divergentie tussen de coarse-level similarity distributie en de losgekoppelde fine-level distributie wordt geminimaliseerd.
   • Effect: Zorgt voor semantische consistentie over schalen heen, waardoor voorkomt dat grove representaties afdwalen terwijl hun complementaire aard behouden blijft.

2.3 Algemeen Doel

Het trainingsdoel combineert de contrastieve alignment loss over alle $K$ granulariteitsniveaus met de hiërarchische supervisie loss ($L_{guide}$). Tijdens inferentie kan het systeem flexibel granulariteitsniveaus selecteren om een balans te vinden tussen prestaties en efficiëntie, waarbij standaard het fijnste niveau wordt gekozen voor optimale nauwkeurigheid.

3. Belangrijkste Bijdragen

• UPrompt Framework: Een door U-Net geïnspireerd framework dat een gestructureerde hiërarchie introduceert in vision-language adaptatie, waarbij de beperkingen van single-scale benaderingen wordt overwonnen door parallelle multi-granulaire paden.
• Bidirectionele Informatiestroom: De introductie van Coarse-to-Fine Cascaded Enhancement (het injecteren van globale context in lokale details) en Fine-to-Coarse Hierarchical Supervision (het reguleren van grove granulariteiten met fine-level alignment) om semantische consistentie en complementair leren te waarborgen.
• Uitgebreide Validatie: Demonstratie van superieure prestaties over 17 benchmarks, inclusief cross-modale retrieval, few-shot classificatie, base-to-novel generalisatie en out-of-distribution scenario's.

4. Experimentele Resultaten

Uitgebreide experimenten valideren de effectiviteit van UPrompt:

• Cross-Modal Retrieval:
  • Op MSCOCO presteert UPrompt 4.1 en 7.3 rSum beter dan respectievelijk MAMET en VPKE.
  • Op Flickr30K bereikt het een rSum van 571.1, waarmee het recente fine-tuning methoden zoals DoPL, MAMET en VPKE overtreft.
• Base-to-Novel Generalization:
  • Behaalt een Harmonic Mean (HM) van 82.12% over 11 datasets, wat CoCoA-Mix met 5.09% overtreft en beter presteert dan TAP en SurPL-G.
  • Opvallende winst is zichtbaar op uitdagende datasets zoals FGVCAircraft (+0.79% HM).
• Few-Shot Classification:
  • Behaalt 85.13% gemiddelde nauwkeurigheid op 11 datasets bij 16-shot, wat beter is dan GalLoP, ProVP-Ref en MMA.
• Efficiëntie en Aanpasbaarheid:
  • Adaptieve Inferentie: Met behulp van een cascaded early-exit strategie, evenaart UPrompt de fijnmazige nauwkeurigheid terwijl de computationele kosten worden teruggebracht tot 48%, wat een 2.1× versnelling oplevert.
  • Kosten-Prestatie: De medium-grained configuratie (UPrompt-M) evenaart de nauwkeurigheid van PSRC met slechts 1/3 van de FLOPs.
• Robuustheid:
  • Demonstreert sterke Out-of-Distribution (OOD) generalisatie (61.22% gemiddeld op ImageNet varianten), wat beter is dan methoden zoals GalLoP en HiCroPL.
  • Prestaties blijven stabiel over verschillende LLM's (Qwen3, Llama3) die gebruikt worden voor de generatie van de teksthiërarchie.

5. Betekenis en Claims

Het paper claimt dat UPrompt een geprincieerd oplossing biedt voor vision-language adaptatie door de principes van hiërarchische representatie-leren van U-Net te overbrengen naar prompt-gebaseerde VLMs.

• Oplossing voor Afruiler: Het lost succesvol de beperking van single-granularity benaderingen op door een verenigd framework te vestigen dat zowel globaal begrip als lokale precisie bereikt via bidirectionele informatiestroom.
• Semantische Consistentie: Het framework zorgt ervoor dat semantische consistentie behouden blijft over representatieschalen, wat de degradatie voorkomt die vaak wordt gezien bij geïsoleerde multi-granulaire modules.
• Flexibiliteit: Het hiërarchische ontwerp maakt flexibele prestatie-efficiëntie afruilen mogelijk, waardoor het model kan adapteren aan middelenbeperkingen zonder significant verlies van nauwkeurigheid.

De auteurs erkennen dat, hoewel effectief, de huidige hiërarchische diepte beperkt is, en toekomstig werk zal de diepere multi-granulaire architecturen verkennen om rijkere semantische structuren te modelleren.