Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

Technische Samenvatting: Parameter-efficiënte fijnafstemming van grote vooraf getrainde modellen voor instantiesegmentatie-taken

Probleemstelling
De snelle vooruitgang van grote vooraf getrainde modellen (LPM's) in computer vision heeft geleid tot state-of-the-art resultaten in diverse taken. Echter, de substantiële toename van modelparameters creëert aanzienlijke barrières voor downstream adaptatie. Traditionele volledige fijnafstemming vereist het bijwerken van alle of grote subsets van gewichten voor elke nieuwe taak, wat leidt tot hoge computationele en geheugenkosten, risico's op catastrofale vergetelheid (catastrophic forgetting) en overfitting op kleinere doeldatasets. Hoewel Parameter-Efficient Fine-Tuning (PEFT) methoden zoals Adapters en Low-Rank Adaptation (LoRA) tractie hebben gewonnen in Natural Language Processing (NLP), blijft hun toepassing op complexe Computer Vision (CV) taken—specifiek instantiesegmentatie met behulp van transformer-gebaseerde architecturen—onderbelicht. Bovendien worden bestaande PEFT-methoden vaak beperkt door schaalbaarheid en zijn ze niet geoptimaliseerd voor de unieke vereisten van instantiesegmentatie, zoals precieze pixel-niveau voorspellingen en het differentiëren van objectinstanties. Er bestaat een opvallende kloof in de literatuur met betrekking tot de integratie van deze technieken binnen de deformaat-attentiemodules (deformable attention modules), die centraal staan in moderne detectie-transformers (DETR).

Methodologie
Deze studie onderzoekt de effectiviteit van twee PEFT-strategieën—sequentieel gerangschikte Adapters en LoRA—toegepast op twee grote vooraf getrainde instantiesegmentatiemodellen: het Segment Everything Everywhere Model (SEEM) en Mask DINO. Het onderzoek richt zich op het aanpassen van deze modellen over vier benchmark-datasets van variërende complexiteit: NDD20 (dolfijnsegmentatie), ZeroWaste (afval op een lopende band), WIXray (X-ray afvalinspectie) en Cityscapes (stedelijke straatscènes).

• Adapters: De auteurs stellen een nieuwe sequentiële integratie van adapter-modules voor. In tegenstelling tot standaardimplementaties die een enkele adapter per laag plaatsen, introduceert deze studie meerdere adapter-blokken ($I$) sequentieel binnen elk transformer-blok. Deze adapters worden ingevoegd na zowel cross-attention als self-attention lagen. De architectuur omvat een lineaire down-projectie, een ReLU-activatie, een lineaire up-projectie en een residuele verbinding. De studie onderzoekt verschillende configuraties voor residuele verbindingen ($\kappa$, $\lambda$, en $\kappa + \lambda$) om de optimale signaalstroom te bepalen.
• LoRA in Deformable Attention: Een primaire methodologische bijdrage is de toepassing van LoRA op multi-scale deformaat-attentiemechanismen. Terwijl LoRA gewoonlijk wordt toegepast op standaard attentielagen (waarbij query- en value-projecties worden gewijzigd), breidt dit werk de techniek uit naar deformaat-attentie. Hierbij worden LoRA-matrices toegepast op de gewichtsmatrices die verantwoordelijk zijn voor het voorspellen van offsets ($W_{offset}$) en value-projecties ($W_V$), waardoor het model taakspecifieke bemonsteringslocaties en interpretaties van waarden kan leren zonder de kern van de vooraf getrainde gewichten te wijzigen.
• Experimentele Opstelling: Experimenten werden uitgevoerd met NVIDIA Quadro RTX 8000 GPU's. De studie vergelijkt PEFT-configuraties met traditionele fijnafstemming-instellingen (volledige segmentatiekop, decoder alleen, en embeddings alleen). Er werd een parameter sweep uitgevoerd voor LoRA-rangen ($r = \{2, 4, 8, 16\}$) en het aantal adapters ($I = \{1, 2, 3, 4\}$).

Belangrijkste Bijdragen

1. Eerste Toepassing van LoRA op Deformable Attention: Het artikel introduceert een LoRA-benadering die specifiek gericht is op multi-scale deformaat-attentielagen, waarbij parameterefficiëntie wordt bereikt door alleen low-rank matrices bij te werken binnen deze gespecialiseerde attentiemechanismen.
2. Sequentiële Adapter-integratie: De studie presenteert de eerste implementatie van sequentieel gerangschikte adapter-modules voor grote vooraf getrainde instantiesegmentatiemodellen, waarbij de schaalbaarheid van het toevoegen van meerdere adapter-blokken per transformer-laag wordt verkend.
3. Uitgebreide Benchmarking: Het onderzoek biedt een vergelijkende analyse van PEFT-methoden over vier diverse datasets, waarbij prestaties, parameterefficiëntie en inferentiesnelheid worden geëvalueerd op SEEM- en Mask DINO-architecturen.

Resultaten
De studie toont aan dat PEFT-methoden een concurrerende prestatie kunnen leveren terwijl slechts een klein fractie van de modelparameters wordt bijgesteld:

• Parameterefficiëntie: Adapter-configuraties vereisten tussen de 1,23% en 3,88% van de parameters voor SEEM en 0,5% tot 6,35% voor Mask DINO. LoRA was nog efficiënter, met ongeveer 0,34% tot 0,54% voor SEEM en 0,73% tot 1,39% voor Mask DINO (ResNet-50 backbone). In contrast vereiste volledige head-fijnafstemming 39,55% (SEEM) en 54,91% (Mask DINO) van de parameters.
• Prestatie-afwegingen:
  • Adapters: Het verhogen van het aantal adapters verbeterde over het algemeen de prestaties, waarbij 2 tot 3 adapters per blok de optimale balans boden tussen nauwkeurigheid en aantal parameters. In de ZeroWaste-dataset presteerde zelfs een 4-adapter configuratie voor Mask DINO beter dan de state-of-the-art (SOTA) full-head tuning.
  • LoRA: LoRA vertoonde sterke efficiëntie maar liet een variabele prestatie zien afhankelijk van de dataset en architectuur. Het excelleerde in de Cityscapes-dataset (waarbij het de full-head tuning voor Mask DINO overtrof met slechts 0,24% parameters), maar presteerde minder goed dan adapters in complexe, domein-verschoven taken zoals WIXray (X-ray afbeeldingen) en ZeroWaste.
  • Architectuurafhankelijkheid: Mask DINO (gebaseerd op deformaat-attentie) behaalde vaak vergelijkbare of superieure resultaten aan het grotere SEEM-model, wat suggereert dat het deformaat-attentiemechanisme gecombineerd met contrastieve denoising zeer effectief is voor instantie-lokalisatie.
• Inferentiesnelheid: Adapters introduceerden een lichte computationele overhead (1–2 ms per iteratie per toegevoegd adapter-blok) vanwege de extra lagen. LoRA daarentegen had een verwaarloosbare inferentie-overhead omdat de gewichten worden samengevoegd en versmolten met het basismodel voorafgaand aan de inferentie.

Betekenis en Claims
Het artikel claimt aan te tonen dat PEFT het potentieel heeft om schaalbare, aanpasbare en computationeel efficiënte transfer learning mogelijk te maken voor instantiesegmentatie. De auteurs benadrukken dat hoewel PEFT-methoden niet altijd de absolute piekprestaties van volledige fijnafstemming evenaren, ze een levensvatbaar alternatief bieden voor omgevingen met beperkte middelen. De studie benadrukt dat de keuze tussen Adapters en LoRA contextafhankelijk is: Adapters kunnen de voorkeur hebben voor taken die aanzienlijke domeinadaptatie vereisen of het afhandelen van complexe, deformaat-objecten, terwijl LoRA zeer effectief is voor taken die dichter bij de pretraining-distributie liggen.

De auteurs merken bescheiden op dat hoewel hun resultaten veelbelovend zijn, er ruimte is voor verdere optimalisatie. Ze erkennen dat er prestatiekloven blijven bestaan in bepaalde complexe scenario's (bijv. WIXray) en dat de verhoogde inferentietijd van adapters het gebruik in real-time toepassingen kan beperken. Het werk concludeert door op te roepen tot verder onderzoek naar hybride strategieën, bredere benchmarking over diverse computer vision-taken, en de ontwikkeling van nieuwe adapter-varianten om het volledige potentieel van het aanpassen van grote vooraf getrainde modellen voor gespecialiseerde computer vision-toepassingen te benutten.