Technische Samenvatting: Efficiënte PEFT-methoden met Adaptieve Checkpointing voor Visiemodellen en VLMs op Consumenten-GPU's met Beperkte Hulpbronnen

1. Probleemstelling

Moderne voorgetrainde visiemodellen, inclusief Vision Transformers (ViTs) en opkomende Mamba-gebaseerde architecturen, bereiken een hoge nauwkeurigheid maar vereisen aanzienlijke GPU-geheugen (VRAM) en energie voor fine-tuning. Dit maakt implementatie aan de rand van het netwerk (edge deployment) op consumentenhardware (bijv. Nvidia Jetson Nano, GTX 1650 met ~2 GB bruikbare VRAM) onpraktisch. Het artikel identificeert drie specifieke hiaten in het huidige onderzoek:

1. Deployability Blindness (Blindheid voor inzetbaarheid): De meeste PEFT-benchmarks (Parameter-Efficient Fine-Tuning) geven prioriteit aan nauwkeurigheid en het aantal trainbare parameters, waarbij ze de geheugen-, energie- en latentiebeperkingen negeren die de werkelijke inzetbaarheid op consumentenhardware bepalen. Bovendien blijft de afweging tussen Transformer- en Mamba-architecturen onder PEFT onverkend.
2. Statische Checkpointing Beperkingen: Gradient checkpointing wordt doorgaans uniform toegepast (ofwel uit of per laag), zonder mechanismen om dynamisch per laag te beslissen of herberekening noodzakelijk is op basis van runtime VRAM, wat leidt tot vermijdbare energie- en tijdsoverhead.
3. Trade-offs tussen Training-vrij versus Fine-Tuning: De snelle vooruitgang van training-vrije foundation-modellen (contrastieve VLMs, zelfgesuperviseerde backbones, autoregressieve VLMs) roept de vraag op of taakspecifieke fine-tuning nog wel gerechtvaardigd is onder een gelijkwaardig nauwkeurigheid-energiebudget, met name voor fijnmazige domeinen.

2. Methodologie

De studie evalueert vijf PEFT-methoden over vier modelarchitecturen onder een strikt budget van 2 GB VRAM, waarbij edge-beperkingen worden gesimuleerd.

A. Architecturen en PEFT-methoden

• Architecturen: De studie vergelijkt twee families:
  • Transformers: ViT-Small (puur) en TinyViT (hybride CNN+ViT).
  • Mamba: Vim-Small (pure Mamba) en MambaVision-Tiny (hybride CNN+Mamba).
  • Alle modellen zijn geschaald naar een vergelijkbaar parameterbudget (21–32M) om architecturale mechanismen te isoleren.
• PEFT-methoden: Full Fine-Tuning (FT), LoRA, AdaLoRA, QLoRA en BitFit.
• Checkpointing Strategieën:
  • Geen: Baseline.
  • Statisch: Checkpointing toegepast op elke laag.
  • Adaptief (Voorgesteld): Een geheugenbudget-bewust algoritme dat het GPU-geheugen tijdens runtime monitort. Het activeert checkpointing alleen wanneer het toegewezen geheugen een drempelwaarde ($\tau \cdot M$) overschrijdt, waarbij de checkpoint wordt doorgegeven aan opeenvolgende lagen in de forward pass om Out-of-Memory (OOM) fouten te voorkomen terwijl de herberekeningsoverhead wordt geminimaliseerd.

B. Foundation-Model Baselines

Om Q3 aan te pakken, benchmarkt de studie drie families van training-vrije modellen tegenover fine-getunede tegenhangers:

1. Contrastieve VLMs: OpenCLIP en SigLIP (zero-shot tekstgestuurde classificatie).
2. KD-SSL Backbone: DINOv2 (bevroren features met $k$-NN of lineaire probe).
3. Autoregressieve VLMs: PaliGemma, MobileVLM en SmolVLM (prompt-gebaseerde tekstgeneratie).

C. Evaluatiemetrieken

Het artikel maakt gebruik van vier primaire metrieken: Top-1 Nauwkeurigheid, Trainingstijd, Energieverbruik (Wh) en Piekvorming VRAM.

• NetScore Familie: Om deze multi-objectieve trade-offs te synthetiseren, adopteert en breidt de auteur de NetScore-metriek aan. Ze stellen twee nieuwe deployment-bewuste varianten voor:
  • $NS_M$: Richt zich op nauwkeurigheid-geheugen trade-offs.
  • $NS_\#$: Richt zich op nauwkeurigheid-geheugen-energie trade-offs.
  • Deze worden geëvalueerd naast de standaard NetScore ($NS$) en energie-gefocusseerde ($NS_E$) varianten.

D. Experimentele Opstelling

• Datasets: CIFAR-100 (objectclassificatie) en DTD (textuurherkenning).
• Hardware: Enkele NVIDIA RTX 2060 SUPER (8 GB VRAM), waarbij geheugenbudgetten worden afgedwongen via torch.cuda.set_per_process_memory_fraction.
• Beperkingen: Een strikte 2 GB VRAM limiet wordt gebruikt om edge-apparaten te simuleren.

3. Belangrijkste Bijdragen

1. Uitgebreide PEFT Benchmark: Een kwantitatieve rangschikking van 20 (architectuur $\times$ PEFT) configuraties, die onthult dat de optimale keuze sterk afhangt van de specifieke architectuur en het geheugenbudget, en niet alleen van de PEFT-methode.
2. Adaptief Checkpointing Algoritme: Een nieuw, geheugenbudget-bewust adaptief checkpointing-methode dat het piekgeheugen met 43–79% vermindert met een energie-overhead van 9–30%, wat beter presteert dan statische checkpointing op uniforme Transformer-backbones.
3. Multi-Objectieve Metrieken: De introductie van $NS_M$ en $NS_\#$ varianten om modellen onder deployment-beperkingen beter te evalueren (geheugen en energie).
4. Paradigma Vergelijking: Een rigoureuze vergelijking van PEFT fine-tuning tegenover zero-shot foundation-modellen, waarbij wordt vastgesteld dat hoewel training-vrije modellen uitblinken op generieke datasets, PEFT superieur blijft voor fijnmazige domeinen.

4. Belangrijkste Resultaten

A. PEFT en Architectuur Trade-offs (Q1)

• Nauwkeurigheid vs. Energie: QLoRA en BitFit bieden consistent de beste nauwkeurigheid-energie trade-off, waarbij ze energie met 20–30% verminderen met slechts een 1–2% nauwkeurigheidsverlies vergeleken met Full FT op Transformer-backbones.
• Architecturale Specificaties:
  • ViT-Small: Bereikt de hoogste nauwkeurigheid (0.897 op CIFAR-100) en is de meest energie-efficiënte Transformer.
  • MambaVision-T: De meest energie-efficiënte backbone overall, maar lijdt onder een aanzienlijk nauwkeurigheidsverlies (0.804 op CIFAR-100) vergeleken met ViT-S.
  • Vim-Small: Herstelt de nauwkeurigheid tot nabij ViT-S (0.872), maar brengt een 3–4$\times$ energiepenalty met zich mee door de 24 sequentiële blokken.
  • TinyViT: Wordt gedomineerd door het Pareto-front; het heeft een lagere nauwkeurigheid dan ViT-S en een hogere energieconsumptie dan MambaVision-T.
• Geheugen Gedrag: De aanname dat minder trainbare parameters gelijk staan aan een lager VRAM-gebruik is onjuist. Bijvoorbeeld, BitFit (minste parameters) verbruikt vaak meer VRAM dan LoRA/QLoRA omdat het trainen van biases in elke laag de volledige activatiegraph levend houdt, terwijl LoRA het mogelijk maakt om activaties van bevroren lagen weg te gooien.

B. Gradient Checkpointing (Q2)

• Statisch vs. Adaptief: Statische checkpointing biedt de maximale reductie van het geheugen (tot 95% op Vim-S) maar brengt een hoge energie-overhead met zich mee (17–44% toename).
• Adaptieve Prestaties: De voorgestelde adaptieve methode vermindert het piekgeheugen met 43–79% met een lagere energie-overhead (9–30%).
• Architectuur Afhankelijkheid: Adaptieve checkpointing is zeer effectief op uniforme Transformer-backbones (ViT-S), maar presteert slecht op heterogene hybriden (TinyViT) waar de MBConv stem zorgt voor een niet-uniform geheugenvoetafdruk, wat soms de kosten van statische checkpointing overstijgt. Voor pure Mamba-modellen (Vim-S) is statische checkpointing verplicht, aangezien Full FT zonder dit tot OOM leidt.

C. Fine-Tuning vs. Zero-Shot Baselines (Q3)

• DINOv2 (KD-SSL): Overtreft alle fine-getunede modellen op CIFAR-100 (0.917 vs. 0.897) met een fractie van de trainingenergie, wat het de voorkeurskeuze maakt voor generieke domeinen waar training niet mogelijk is.
• Contrastieve VLMs (OpenCLIP/SigLIP): Bieden sterke zero-shot nauwkeurigheid met lage inferentie-energie, wat dient als een levensvatbare baseline wanneer brede labeldekking nodig is.
• Autoregressieve VLMs: Blijven niet-competitief. Ze vertonen aanzienlijk lagere nauwkeurigheid (bijv. MobileVLM bij 0.274 op CIFAR-100) en een substantieel hogere inferentie-energie (orders van grootte hoger dan PEFT-modellen) door de overhead van tekstgeneratie.
• Fijnmazige Domeinen (DTD): Op de DTD-dataset schieten foundation-model baselines tekort ten opzien van PEFT fine-tuning. PEFT-methoden (specifiek QLoRA/BitFit) presteren beter dan zero-shot baselines in zowel nauwkeurigheid als inferentie-energie, wat de eenmalige trainingskosten rechtvaardigt.

5. Betekenis en Claims

Het artikel claimt dat voor consumenten-GPU's met beperkte middelen:

1. PEFT is Essentieel voor de Edge: Hoewel training-vrije modellen levensvatbaar zijn voor generieke taken, is taakspecifieke PEFT fine-tuning noodzakelijk voor fijnmazige domeinen en biedt het een superieure inferentie-efficiëntie zodra de eenmalige kosten van training zijn geamortiseerd.
2. Architectuur Doet Er Toe: Er is geen enkele "beste" architectuur. ViT-S is de nauwkeurigheidsleider, MambaVision-T is de energieleider, en Vim-S is inefficiënt onder strikte geheugenbudgetten. De keuze moet gedreven worden door de specifieke deployment-beperkingen (nauwkeurigheid vs. energie vs. geheugen).
3. Adaptieve Checkpointing is Levensvatbaar: Het voorgestelde adaptieve algoritme balanceert succesvol tussen geheugensafety en energie-efficiëntie, vooral voor uniforme Transformer-architecturen, en biedt een praktisch alternatief voor de zware overhead van statische checkpointing.
4. Autoregressieve VLMs zijn Niet Klaar: Kleine autoregressieve VLMs zijn niet geschikt voor standaard closed-set classificatie op edge-apparaten vanwege de slechte nauwkeurigheid en de prohibitieve inferentie-energie vergeleken met contrastieve of fine-tuned benaderingen.

De studie concludeert dat een "one-size-fits-all" benadering voor PEFT en architectuurselectie onvoldoende is; in plaats daarvan moeten deployment-strategieën worden afgestemd op de specifieke backbone-architectuur en de aard van het doel-dataset (generiek vs. fijnmazig).