Riepilogo Tecnico: ParaX - Adattamento di Modelli Visivi con Instradamento Dinamico dei Parametri

1. Enunciato del Problema

Il fine-tuning efficiente in termini di parametri (PEFT) mira ad adattare modelli visivi pre-addestrati a compiti downstream utilizzando un numero minimo di parametri addestrabili, mantenendo al contempo prestazioni comparabili al fine-tuning completo. Sebbene abbia avuto successo nella classificazione, i metodi PEFT esistenti faticano con compiti complessi di previsione densa (ad esempio, rilevamento di oggetti, segmentazione semantica). Il documento individua due limitazioni primarie negli approcci basati su adapter attuali (ad esempio, AdaptFormer, Mona):

1. Carenza di Rappresentazione: Gli adapter esistenti impiegano spesso una modellazione a basso rango agnostica rispetto all'input. Apprendono trasformazioni statiche che devono funzionare universalmente per tutti gli input, fallendo nel supportare adattamenti dipendenti dall'input necessari per catturare dipendenze spaziali complesse nelle previsioni dense. Ciò risulta in un Campo Ricettivo Effettivo (ERF) più piccolo rispetto al fine-tuning completo.
2. Ridondanza delle Caratteristiche: Gli adapter incorporati in diversi livelli della rete sono tipicamente isolati, mancando di interazione tra livelli. Ciò porta a rappresentazioni ridondanti in cui diversi livelli catturano informazioni simili, come dimostrato dall'alta similarità dell'Allineamento del Kernel Centrato (CKA) tra i livelli nei metodi esistenti.

2. Metodologia: ParaX

Gli autori propongono ParaX, un nuovo metodo PEFT di tipo adapter basato su una semplice architettura Mixture-of-Experts (MoE). Invece di apprendere pesi adapter isolati per ogni livello, ParaX introduce un Centro Esperto Condiviso e un meccanismo di Instradamento Dinamico dei Parametri.

2.1 Centro Esperto Condiviso

ParaX costruisce un grande repository condiviso di matrici di parametri addestrabili (esperti) per ogni stadio della rete visiva gerarchica.

• Trasformazioni di Canale: Il centro contiene coppie di matrici ($E_A, E_B$) per la proiezione in basso e la proiezione in alto.
• Trasformazioni Spaziali: Per migliorare la modellazione spaziale, il centro include insiemi di matrici ($S_A, S_B, S_C$) progettati per generare kernel di convoluzione depthwise multi-kernel.
• Capacità: La dimensione del centro esperto ($M$) e la dimensione latente ($\hat{C}$) sono iperparametri che controllano il conteggio totale dei parametri.

2.2 Instradamento Dinamico dei Parametri

Durante il passaggio in avanti, ogni modulo ParaX genera dinamicamente matrici di pesi adattate all'input corrente e alla posizione del modulo:

1. Meccanismo di Instradamento: Una rete router leggera elabora la caratteristica di input (tramite Pooling Medio Globale e livelli lineari) per produrre vettori di gating dinamici ($G$).
2. Generazione Dinamica dei Pesi: Questi vettori di gating aggregano selettivamente le matrici di parametri dal Centro Esperto Condiviso.
   • Per la proiezione di canale: $W_1 = G_1 \times E_A$ e $W_2 = G_2 \times E_B$.
   • Per il mixing spaziale: Il router genera vettori di gating dinamici per combinare le matrici degli esperti in kernel di convoluzione depthwise dinamici ($D2Convs$).
3. Dipendenza dall'Input: A differenza degli adapter statici, le matrici di pesi risultanti sono dipendenti dall'input, permettendo al modello di personalizzare le rappresentazioni delle caratteristiche in base a specifiche variazioni di input.

2.3 Mixing Spaziale Dinamico Multi-scala

ParaX integra la modellazione spaziale multi-scala impilando sequenzialmente convoluzioni depthwise dinamiche con dimensioni di kernel crescenti (ad esempio, 3, 5, 7). Questi output sono aggregati tramite un modulo di Aggregazione Variabile Spazialmente (SA), che utilizza l'attenzione spaziale per ricalibrare dinamicamente le caratteristiche tra le scale. Questo design è esplicitamente dipendente dall'input, in contrasto con i pesi fissi e indipendenti dall'input utilizzati in metodi come Mona.

3. Contributi Chiave

• Instradamento Dinamico dei Parametri: Il documento introduce un meccanismo in cui le matrici di parametri addestrabili agiscono come "esperti" che vengono aggregati dinamicamente tramite vettori di gating. Ciò facilita l'adattamento a basso rango in modo dipendente dall'input, generando rappresentazioni delle caratteristiche più potenti e personalizzate.
• Centro Esperto Condiviso: Condividendo lo stesso centro esperto attraverso più livelli della rete, ParaX promuove un'interazione implicita di caratteristiche tra livelli. Ciò diversifica il flusso di informazioni e riduce la ridondanza delle caratteristiche senza richiedere connessioni esplicite tra livelli.
• Modellazione Spaziale Dipendente dall'Input: Il metodo estende l'instradamento dinamico alle trasformazioni spaziali, generando kernel di convoluzione multi-scala specifici per l'input, affrontando così la carenza di rappresentazione degli adapter statici nei compiti di previsione densa.

4. Risultati Sperimentali

Gli autori hanno valutato ParaX su diversi compiti di riconoscimento visivo utilizzando backbones Swin e ConvNeXt, confrontandoli con il fine-tuning completo e metodi PEFT all'avanguardia (VPT, LoRA, AdaptFormer, Mona, ecc.).

• Segmentazione Semantica (ADE20K): Utilizzando Swin-L, ParaX ha raggiunto un mIoU del 52,0%, superando il fine-tuning completo (51,2%) dello 0,8% utilizzando meno del 4% dei parametri addestrabili. Ha anche superato il forte baseline Mona dello 0,4%.
• Rilevamento di Oggetti e Segmentazione di Istanze (COCO2017): Con ConvNeXt-L, ParaX ha migliorato APb/APm del 1,4%/1,6% rispetto al fine-tuning completo e del 0,6%/0,4% rispetto a Mona.
• Segmentazione Panottica (COCO2017): ParaX ha migliorato PQ del 1,7% e del 2,0% rispetto ad AdaptFormer quando integrato rispettivamente con Swin-B e ConvNeXt-B.
• Classificazione di Immagini: Su ImageNet-R (un dataset con significativo spostamento di dominio), ParaX ha superato Mona del 1,6% in accuratezza top-1, dimostrando robustezza agli spostamenti di dominio.
• Generalizzazione: Il metodo ha mostrato prestazioni superiori su architetture ViT, modelli basati su Mamba (VMamba), stima della posa umana e segmentazione di telerilevamento.

5. Significato e Affermazioni

Il documento afferma che ParaX affronta le limitazioni fondamentali della modellazione agnostica rispetto all'input e della ridondanza delle caratteristiche nei metodi PEFT attuali. Sfruttando un centro esperto condiviso e un instradamento dinamico, ParaX ottiene:

1. Capacità di Rappresentazione Superiore: La natura dipendente dall'input dei pesi permette al modello di catturare dipendenze a lungo raggio e contesti spaziali complessi in modo più efficace, come dimostrato da ERF più grandi comparabili al fine-tuning completo.
2. Diversità delle Caratteristiche Migliorata: Il centro esperto condiviso facilita interazioni implicite tra livelli, riducendo la ridondanza e permettendo ai livelli di estrarre caratteristiche più rappresentative.
3. Efficienza: Nonostante l'instradamento dinamico e le convoluzioni multi-scala, ParaX mantiene un'efficienza computazionale competitiva e riduce significativamente i costi di archiviazione (richiedendo <4% dei parametri addestrabili) rispetto al mantenimento di modelli con fine-tuning completo per più compiti.

Gli autori concludono che ParaX stabilisce un nuovo stato dell'arte per l'adattamento efficiente in termini di parametri nei compiti di previsione densa, dimostrando che la generazione dinamica e dipendente dall'input dei parametri è cruciale per colmare il divario di prestazioni tra PEFT e fine-tuning completo.