Technische Samenvatting: ParaX - Aanpassing van Visuele Modellen met Dynamische Parameterrouting

1. Probleemstelling

Parameter-efficiënte fine-tuning (PEFT) heeft als doel om voorgeleerde visuele modellen aan te passen aan downstream-taken met een minimaal aantal trainbare parameters, terwijl een prestatieniveau wordt behouden dat vergelijkbaar is met volledige fine-tuning. Hoewel dit succesvol is bij classificatie, worstelen bestaande PEFT-methoden met complexe dichte voorspellingstaken (zoals objectdetectie en semantische segmentatie). Het artikel identificeert twee primaire beperkingen in huidige adaptergebaseerde benaderingen (zoals AdaptFormer en Mona):

1. Representatiekwaliteit: Bestaande adapters maken vaak gebruik van input-agnostische low-rank modellering. Ze leren statische transformaties die universeel moeten werken voor alle inputs, waardoor ze geen input-afhankelijke aanpassingen kunnen ondersteunen die nodig zijn voor het vastleggen van complexe ruimtelijke afhankelijkheden in dichte voorspellingen. Dit resulteert in een kleiner Effectief Receptief Veld (ERF) in vergelijking met volledige fine-tuning.
2. Functieredundantie: Adapters die in verschillende netwerklagen zijn ingebed, zijn doorgaans geïsoleerd en missen cross-layer interactie. Dit leidt tot redundante representaties waarbij verschillende lagen vergelijkbare informatie vastleggen, zoals blijkt uit de hoge Centered Kernel Alignment (CKA)-gelijkheid tussen lagen in bestaande methoden.

2. Methodologie: ParaX

De auteurs stellen ParaX voor, een nieuwe adapter-stijl PEFT-methode gebaseerd op een eenvoudige Mixture-of-Experts (MoE)-architectuur. In plaats van geïsoleerde adaptergewichten te leren voor elke laag, introduceert ParaX een Gedeelde Expertcentrum en een Dynamische Parameterrouting-mechanisme.

2.1 Gedeeld Expertcentrum

ParaX construeert een grote, gedeelde opslagplaats van trainbare parametermatrices (experts) voor elke fase van het hiërarchische visuele netwerk.

• Kanaaltransformaties: Het centrum bevat paren matrices ($E_A, E_B$) voor down-projection en up-projection.
• Ruimtelijke transformaties: Om ruimtelijke modellering te verbeteren, bevat het centrum sets matrices ($S_A, S_B, S_C$) die zijn ontworpen om multi-kern dieptewijze convolutiekernen te genereren.
• Capaciteit: De grootte van het expertcentrum ($M$) en de latente dimensie ($\hat{C}$) zijn hyperparameters die het totale aantal parameters controleren.

2.2 Dynamische Parameterrouting

Tijdens de forward-pass genereert elke ParaX-module dynamisch gewichtsmatrices die zijn toegespitst op de huidige input en modulepositie:

1. Routingsmechanisme: Een lichtgewicht router-netwerk verwerkt de inputfeature (via Global Average Pooling en lineaire lagen) om dynamische gating-vectoren ($G$) te produceren.
2. Dynamische gewichtsgeneratie: Deze gating-vectoren selecteren parametermatrices uit het Gedeelde Expertcentrum.
   • Voor kanaalprojectie: $W_1 = G_1 \times E_A$ en $W_2 = G_2 \times E_B$.
   • Voor ruimtelijke mixing: De router genereert dynamische gating-vectoren om expertmatrices te combineren tot dynamische dieptewijze convolutiekernen ($D2Convs$).
3. Input-afhankelijkheid: In tegenstelling tot statische adapters zijn de resulterende gewichtsmatrices input-afhankelijk, waardoor het model kenmerkrepresentaties kan aanpassen op basis van specifieke inputvariaties.

2.3 Dynamische multi-schaal ruimtelijke mixing

ParaX integreert multi-schaal ruimtelijke modellering door dynamische dieptewijze convoluties met toenemende kerngroottes (bijv. 3, 5, 7) sequentieel te stapelen. Deze outputs worden geaggregeerd via een Ruimtelijk-variërend Aggregatie (SA)-module, die ruimtelijke aandacht gebruikt om features dynamisch te herschalen over schalen. Dit ontwerp is expliciet input-afhankelijk, in tegenstelling tot de vaste, input-onafhankelijke gewichten die worden gebruikt in methoden zoals Mona.

3. Belangrijkste Bijdragen

• Dynamische Parameterrouting: Het artikel introduceert een mechanisme waarbij trainbare parametermatrices fungeren als "experts" die dynamisch worden geaggregeerd via gating-vectoren. Dit faciliteert low-rank adaptatie op een input-afhankelijke manier, waardoor krachtigere en op maat gemaakte kenmerkrepresentaties worden gegenereerd.
• Gedeeld Expertcentrum: Door hetzelfde expertcentrum te delen over meerdere netwerklagen, bevordert ParaX impliciete cross-layer kenmerkinteractie. Dit diversifieert de informatiestroom en vermindert kenmerkredundantie zonder expliciete cross-layer verbindingen te vereisen.
• Input-afhankelijke ruimtelijke modellering: De methode breidt dynamische routing uit tot ruimtelijke transformaties, waardoor input-specifieke multi-schaal convolutiekernen worden gegenereerd, waarmee de representatiekwaliteit van statische adapters in dichte voorspellingstaken wordt aangepakt.

4. Experimentele Resultaten

De auteurs evalueerden ParaX op diverse visuele herkennings taken met Swin- en ConvNeXt-backbones, in vergelijking met volledige fine-tuning en state-of-the-art PEFT-methoden (VPT, LoRA, AdaptFormer, Mona, enz.).

• Semantische Segmentatie (ADE20K): Met Swin-L behaalde ParaX 52,0% mIoU, wat 0,8% hoger is dan volledige fine-tuning (51,2%), terwijl minder dan 4% van de trainbare parameters werd gebruikt. Het presteerde ook 0,4% beter dan de sterke baseline Mona.
• Objectdetectie & Instance Segmentatie (COCO2017): Met ConvNeXt-L verbeterde ParaX APb/APm met 1,4%/1,6% ten opzichte van volledige fine-tuning en met 0,6%/0,4% ten opzichte van Mona.
• Panoptische Segmentatie (COCO2017): ParaX verbeterde PQ met 1,7% en 2,0% ten opzichte van AdaptFormer wanneer geïntegreerd met respectievelijk Swin-B en ConvNeXt-B.
• Beeldclassificatie: Op ImageNet-R (een dataset met significante domeinverschuiving) presteerde ParaX 1,6% beter dan Mona in top-1 nauwkeurigheid, wat robuustheid tegenover domeinverschuivingen aantoont.
• Generalisatie: De methode toonde superieure prestaties op ViT-architecturen, Mamba-gebaseerde modellen (VMamba), menselijke houdingschatting en segmentatie van remote sensing.

5. Betekenis en Claims

Het artikel stelt dat ParaX de fundamentele beperkingen van input-agnostische modellering en kenmerkredundantie in huidige PEFT-methoden aanpakt. Door gebruik te maken van een gedeeld expertcentrum en dynamische routing, bereikt ParaX:

1. Superieure Representatiecapaciteit: De input-afhankelijke aard van de gewichten stelt het model in staat om lange-afstandsafhankelijkheden en complexe ruimtelijke contexten effectiever vast te leggen, wat blijkt uit grotere ERF's die vergelijkbaar zijn met volledige fine-tuning.
2. Verbeterde Kenmerkdiversiteit: Het gedeelde expertcentrum faciliteert impliciete cross-layer interacties, vermindert redundantie en stelt lagen in staat om meer representatieve features te extraheren.
3. Efficiëntie: Ondanks de dynamische routing en multi-schaal convoluties behoudt ParaX een concurrerende computationele efficiëntie en verlaagt het aanzienlijk de opslagkosten (vereist <4% van trainbare parameters) in vergelijking met het onderhouden van volledig gefinetunteerde modellen voor meerdere taken.

De auteurs concluderen dat ParaX een nieuwe state-of-the-art zet voor parameter-efficiënte adaptatie in dichte voorspellingstaken, en aantoont dat dynamische, input-afhankelijke parametergeneratie cruciaal is om de prestatiekloof tussen PEFT en volledige fine-tuning te overbruggen.