Technische Samenvatting: PERL (Parameter-Efficiënt Redeneren in CLIP Latente Ruimte)

Probleemstelling

Contrastief getrainde visueel-taalmodellen zoals CLIP blinken uit in zero-shot transfer door afbeeldingen en tekst uit te lijnen in een gedeelde embedding-ruimte. Het aanpassen van deze modellen aan specifieke downstream-taken zonder hun open-vocabulaire generalisatie te degraderen, blijft echter een uitdaging. Bestaande methoden voor parameter-efficiënte adaptatie (zoals geleerde prompts, adapters of multimodale transformaties) vergroten de adaptatiecapaciteit doorgaans door trainbare parameters toe te voegen. De auteurs onderzoeken of adaptatiecapaciteit kan ontstaan niet door het verhogen van het aantal parameters, maar door iteratief redeneren over latente representaties. Specifiek vragen zij of een bevroren discriminatief visueel-taalmodel kan worden aangepast door pretrained representaties progressief te sturen naar taakrelevante beslissingsregio's via herhaalde berekening, in plaats van door meer taakspecifieke parameters op te slaan.

Methodologie

De auteurs stellen PERL (Parameter-Efficiënt Redeneren in CLIP Latente Ruimte) voor, een lichtgewicht raamwerk dat een bevroren CLIP-model uitbreidt met een compacte, gedeelde redeneringsmodule die recursief wordt toegepast.

Architectuur en Mechanisme

1. Encoder-splitsing: Voor elke moditeit (visie $v$ en tekst $t$) wordt de bevroren CLIP-encoder op diepte $J$ gesplitst in een basismodule ($B_m$, onderste blokken) en een verfijningsmodule ($R_m$, bovenste blokken). De basismodule verwerkt de invoer om een initiële gepoolde representatie ($h^{(0)}_m$) te produceren.
2. Recursief Redeneren: In plaats van één enkele forward pass, voert PERL $K$ verfijningstappen uit. Bij elke stap $k$:
   • Een lichtgewicht, trainbare thought projector ($\phi_m$), geïmplementeerd als een twee-laags MLP met een rank-$r$ bottleneck, mapt de huidige gepoolde representatie $h^{(k-1)}_m$ naar een redeningstoken $z^{(k)}_m$.
   • Dit token wordt toegevoegd aan de reeks eerder gegenereerde tokens en de oorspronkelijke basisreeks.
   • De verfijningsmodule ($R_m$) verwerkt deze uitgebreide reeks om een bijgewerkte gepoolde representatie $h^{(k)}_m$ te produceren.
   • Cruciaal is dat dezelfde projector $\phi_m$ wordt hergebruikt over alle $K$ stappen, wat betekent dat de adaptatiecapaciteit groeit met het aantal recursieve toepassingen in plaats van met het aantal parameters.
3. Readout-invariantie: De uiteindelijke voorspelling wordt altijd gelezen van de oorspronkelijke CLS (afbeelding) of EOS (tekst) tokenpositie, niet van de gegenereerde thought tokens. De thought tokens beïnvloeden de readout via self-attention, maar dienen niet als output zelf.
4. Trainingsdoel: Het model wordt getraind met een combinatie van:
   • Cross-Entropy Loss ($L_{cls}$): Om taakspecifieke scheidbaarheid te verbeteren.
   • Anchor Loss ($L_{anchor}$): Een cosine-afstandstransformatie tussen de verfijnde embedding $v^{(K)}_i$ en de oorspronkelijke zero-shot embedding $v^{(0)}_i$. Dit zorgt ervoor dat verfijningen compatibel blijven met de pretrained multimodale geometrie van CLIP, waardoor overfitting op kleine supportsets wordt voorkomen.

Ontwerpprincipes

• Berekening als Resource: Adaptatiecapaciteit wordt ingeruild voor rekenkracht (iteratieve stappen) in plaats van het aantal parameters.
• Modality-specifiek Redeneren: Er worden aparte projectors gebruikt voor visie en tekst.
• Intermediaire Injectie: Redeningstokens worden op intermediaire lagen ingebracht om semantische representaties te verfijnen, terwijl laag-niveau pretrained kenmerken behouden blijven.

Belangrijkste Bijdragen

1. Berekening als Adaptatiresource: Het artikel toont aan dat iteratief latent redeneren nuttige taakspecifieke verfijning kan bieden bij een vast, laag aantal parameters, en zo een complementaire as biedt aan parametervergroting.
2. PERL-raamwerk: Een recursief, lichtgewicht adaptatiemechanisme voor bevroren CLIP-modellen dat een gedeelde projector gebruikt om dynamisch redeningstokens te genereren, waardoor latente representaties worden verfijnd zonder gradient-updates tijdens de testfase.
3. Sterke Parameter-Prestatie Trade-offs: Onder beperkte optimalisatie (single-epoch, few-shot) bereikt PERL concurrerende of superieure prestaties vergeleken met methoden die ordes van grootte meer parameters gebruiken.

Experimentele Resultaten

De auteurs hebben PERL geëvalueerd op 15 benchmarks, waaronder generalisatie van basis naar nieuw, cross-dataset transfer, en out-of-distribution (OOD) varianten van ImageNet.

• Generalisatie van Basis naar Nieuw: PERL behaalde de hoogste gemiddelde nauwkeurigheid voor nieuwe klassen (75,74%) onder vergeleken methoden, en presteerde beter dan grotere raamwerken zoals MMRL++ en PromptSRC. Het bereikte een harmonisch gemiddelde (HM) van 74,79 met slechts 6K trainbare parameters, wat 817x minder is dan de grootste vergeleken methode (MMRL) en 113x minder dan MMAC.
• Cross-Dataset Transfer: Wanneer getraind op ImageNet en geëvalueerd op 10 downstream-datasets, bereikte PERL een gemiddelde doelnauwkeurigheid van 65,56%. Het bleef concurrerend met veel grotere methoden (bijvoorbeeld binnen 0,13 punten van MaPLe terwijl het 583x minder parameters gebruikte) en presteerde beter dan compacte prompt-tuning baselines.
• Ablatiestudies:
  • Modality: Gezamenlijk tekst-visie redeneren presteerde het beste, hoewel tekst-only redeneren sterkere winsten opleverde dan visie-only.
  • Injectielayer: Het injecteren van redenering op intermediaire lagen (specifiek laag 7) was optimaal; vroege injectie degradeerde de prestaties, terwijl diepe injectie te veel specialiseerde ten koste van generalisatie.
  • Stappen: De prestaties verbeterden gestaag tot 4 redeningstappen, waarna de winsten verzadigden.
  • Capaciteit: Het verhogen van het aantal onafhankelijke projectors (bijvoorbeeld per stap of per laag) verbeterde de prestaties verder, wat bevestigt dat iteratief redeneren een distincte capaciteitsas biedt.
• Dynamiek: Analyse toonde aan dat iteratief redeneren voorspellingen progressief stabiliseert en visuele bewijslast herverdeelt naar semantisch consistente regio's, met name voor samples die correctie vereisen (transities van fout naar correct).

Betekenis en Claims

Het artikel claimt dat iteratief latent redeneren een complementair adaptatiemechanisme biedt aan parametervergroting in bevroren discriminatieve visueel-taalmodellen.

• Efficiëntie: PERL toont aan dat een klein, gedeeld module dat recursief wordt hergebruikt, sterke adaptatie kan bereiken met minimale trainbare parameters (~6K), wat de opslag- en trainingslast voor multi-task of multi-domein implementaties aanzienlijk vermindert.
• Mechanisme: In tegenstelling tot methoden die vertrouwen op het accumuleren van taakspecifieke parameters, toont PERL aan dat "langer nadenken" (iteratieve verfijning) het model in staat stelt pretrained representaties te sturen naar beslissingsregio's terwijl de oorspronkelijke zero-shot-geometrie behouden blijft.
• Trade-offs: De auteurs erkennen een trade-off: hoewel de parameter-efficiëntie hoog is, brengt de methode een rekenkosten met zich mee (het evalueren van de verfijningsmodule $K+1$ keer per modality). Dit is echter gunstig in scenario's waar opslag en parameteronderhoud knelpunten zijn.
• Beperkingen: De auteurs merken op dat PERL achterblijft bij de sterkste "heavy-regime" methoden (die met grote adaptatiebudgetten werken) op specifieke out-of-distribution texturen (EuroSAT) en fijnmazige categorieën (Flowers102), wat suggereert dat uiterst moeilijke OOD-taken mogelijk nog steeds baat hebben bij grotere adaptatiebudgetten.

Kortom, PERL stelt dat voor bevroren foundation-modellen adaptatie niet uitsluitend hoeft voort te komen uit het opslaan van meer parameters; het kan ook ontstaan door representaties progressief te verfijnen via iteratieve, parameter-efficiënte berekening.