t-gems: text-guided exit modules for decreasing clip image encoder

Technische Samenvatting: T-GEMS – Tekstgeleide Exitmodules voor het Verminderen van de CLIP Beeldencoder

Probleemstelling
Multimodale (MM) modellen zoals CLIP aligneren beeld- en tekstinput in een gedeelde latente ruimte met behulp van contrastief leren. Hoewel effectief, is hun inferentie statisch: elke input doorloopt de volledige transformer-stack ongeacht de complexiteit, wat leidt tot hoge rekenkosten. Early Exit (EE) methoden, die modellen toestaan de berekening te stoppen in tussenliggende lagen wanneer er zekerheid is, zijn onderzocht in unimodale en op fusie gebaseerde multimodale modellen. EE blijft echter onderbelicht in contrastieve dual-encoder modellen zoals CLIP. De primaire uitdaging ligt in de scheiding van modale encoders; bestaande dynamische benaderingen vertrouwen vaak op gezamenlijke verwerking of token-pruning, en slagen er niet in om informatie uit de tekstencoder te gebruiken om exits in de visuele encoder te sturen. Bovendien vereist het ontwikkelen van statische EE-methoden voor deze modellen een manier om de verdeling van semantische inhoud in tussenliggende lagen, afgeleid van tekstuele beschrijvingen, te schatten zonder uitsluitend op beelddata te vertrouwen.

Methodologie
De auteurs stellen Text-Guided Exit Modules (T-GEMs) voor, een framework ontworpen om statische vroege exits uit te voeren in de beeldencoder van een dual-encoder model, gebruikmakend van informatie uit de tekstencoder. Het kerndoel is de posterior-kansverdeling van intermediaire neuronactivaties ($\ell_{ij}$) voor een specifieke klasse $c$ te schatten, gegeven een beeld $x$ en een tekstbeschrijving $d$.

1. Verdelingsschatting: De methode gaat ervan uit dat intermediaire activaties een Gaussische verdeling volgen. Het doel is het berekenen van het gemiddelde ($\mu$) en de variantie ($\sigma^2$) voor elke klasse en laag.
2. Twee Schattingsbenaderingen:
   • Op steekproeven gebaseerd: Een naïeve aanpak die een kalibratieset $S$ gebruikt om empirisch $\mu$ en $\sigma^2$ te berekenen voor elke klasse. Dit vermijdt het trainen van nieuwe parameters, maar faalt erin een connectie tot stand te brengen tussen tekst en beeldactivatiekaarten.
   • Op leren gebaseerd (T-GEMs): Een leerbare netwerk $\Psi_i$ (de T-GEM) schat verdelingsparameters direct in op basis van tekstembeddings ($d_t$), waardoor de noodzaak van steekproefbeelden tijdens inferentie wordt omzeild. Deze module wordt geoptimaliseerd om de "rate" (verassing) van het activatiesignaal te minimaliseren.
3. De Jumper-module: Om discriminatie te verbeteren, projecteert een projectiemodule $J^i$ (Jumper) intermediaire beeldactivaties naar een ruimte met lagere dimensie $\tilde{\ell}^i$. Dit faciliteert een betere rateschatting en maakt integratie van cross-modale gelijkenis mogelijk.
4. Classificatiemetric (Class-Rate): In plaats van standaard cosinusgelijkenis introduceert de methode een class-rate metric ($R^i_c$). Deze metric berekent de "verassing" van een activatie gegeven een klasse-aanneming. De voorspelde klasse is degene die deze rate minimaliseert (Eq. 3), wat effectief de klasse selecteert die het signaal het meest efficiënt comprimeert.
5. Trainingsdoel: De modules worden getraind met een gecombineerde verliesfunctie $L = L_r + L_s$:
   • $L_r$: Een op rate gebaseerde regularisator die de negatieve log-waarschijnlijkheid van de Gaussische verdeling minimaliseert, waardoor het vermogen om semantische inhoud te discrimineren wordt versterkt.
   • $L_s$: Een cross-modale gelijkenisverlies (Cosine Similarity) tussen de tekstembedding en de geprojecteerde beeldrepresentatie.

Belangrijkste Bijdragen
Het artikel claimt vier primaire bijdragen:

1. Analyse van Intermediaire Representaties: Een onderzoek naar hoe intermediaire representaties in CLIP variëren tussen klassen met betrekking tot tekstembeddings, wat aantoont dat deze lagen discriminerende informatie bevatten die geschikt is voor vroege exits.
2. Class-Rate Regularisator: De introductie van een statistiek afgeleid van activatiekaarten die correleert met cosinusgelijkenis, maar dient als een trainbare regularisator om discriminatie te verbeteren.
3. Text-Guided Exit Modules (T-GEMs): Het ontwerp van een module die intermediaire beeldencoderactivaties uitsluitend voorspelt op basis van tekstembeddings, wat een gebonden relatie tussen modaliteiten aantoont.
4. Statisch Early Exit Framework: Het trainen van statische EE-modules die intermediaire activatiekaarten benutten voor taken zoals beeldclassificatie, wat het eerste onderzoek is dat het verkennen van intermediaire lagen van zowel tekst- als visuele encoders in contrastieve dual-encoder modellen voor statische EE onderzoekt.

Experimentele Resultaten
Experimenten werden uitgevoerd op CIFAR-10 met CLIP ViT-B-32 en ViT-L-14 architecturen.

• Prestaties vs. Volledige CLIP: De T-GEMs + Jumper-aanpak behaalde concurrerende nauwkeurigheid in vergelijking met het volledige CLIP-model. Bijvoorbeeld, met ViT-B-32 bereikte de methode 92% nauwkeurigheid in de laatste laag (RB12), vergelijkbaar met de zero-shot baseline van 91,3%.
• Invloed van Regularisatie: Het integreren van de op rate gebaseerde regularisator ($L_r$) verbeterde de prestaties aanzienlijk, met name in eerdere lagen (RB3–RB5), wat winsten opleverde tot 6% ten opzichte van methoden die uitsluitend cosinusgelijkenis gebruiken.
• Parameter-efficiëntie: De extra parameters geïntroduceerd door T-GEMs en Jumper zijn verwaarloosbaar (honderdduizenden), wat ongeveer 4% van een enkele residual block vertegenwoordigt. Dit maakt aanzienlijke modelcompressie mogelijk; bijvoorbeeld, het verlaten bij de 5e laag verkleint de encoder met ongeveer 52 miljoen parameters terwijl hoge nauwkeurigheid behouden blijft.
• Class-Rate vs. Cosine: De class-rate metric bleek een betrouwbare proxy voor cosinusgelijkenis, vaak presterend beter wanneer gebruikt als inferentiemetric, vooral in combinatie met de rate regularisator.
• Steekproefgevoeligheid: De op steekproeven gebaseerde aanpak vereiste een redelijk aantal steekproeven (bijv. $S \ge 100$) om effectief te zijn, terwijl de op leren gebaseerde aanpak stabiliseerde met een projectiedimensie $K=128$, wat aangeeft dat grote modellen niet strikt noodzakelijk zijn voor T-GEMs.

Betekenis en Claims
Het artikel positioneert dit werk als een fundamentele stap naar efficiënte multimodale inferentie. Het claimt het eerste onderzoek te zijn dat statische early exits in contrastieve dual-encoder modellen onderzoekt door gebruik te maken van de relatie tussen tekst en visuele intermediaire lagen. De auteurs benadrukken dat hun methode de grootte van de beeldencoder verkleint zonder de prestaties van beeld-tekstgelijkenis te compromitteren.

De betekenis ligt in het aantonen dat:

1. Intermediaire activaties in vroege encoderlagen voldoende discriminerend zijn voor classificatietaken.
2. Op rate gebaseerde regularisatie meer discriminerende representaties kan extraheren dan standaard gelijkenismetrics alleen.
3. Tekstembeddings effectief de schatting van beeldactivatieverdelingen kunnen sturen, waardoor een statische early exit-strategie mogelijk wordt die geen dynamische, per-steekproef besluitvorming tijdens inferentie vereist.

De auteurs blijven bescheiden wat de reikwijdte betreft, en merken op dat hoewel ze momenteel geen dynamische exit-strategie implementeren (waarbij elke steekproef bij een andere laag stopt), hun statische framework een veelbelovende basis biedt voor toekomstige dynamische implementaties en training van lichtgewicht multimodale encoders.