Resumen Técnico: ParaX - Adaptación de Modelos Visuales con Enrutamiento Dinámico de Parámetros

1. Declaración del Problema

El ajuste fino eficiente en parámetros (PEFT) busca adaptar modelos visuales preentrenados a tareas posteriores utilizando un número mínimo de parámetros entrenables, manteniendo un rendimiento comparable al ajuste fino completo. Aunque ha tenido éxito en la clasificación, los métodos PEFT existentes luchan con tareas complejas de predicción densa (por ejemplo, detección de objetos, segmentación semántica). El artículo identifica dos limitaciones principales en los enfoques basados en adaptadores actuales (por ejemplo, AdaptFormer, Mona):

1. Deficiencia de Representación: Los adaptadores existentes a menudo emplean modelado de rango bajo agnóstico a la entrada. Aprenden transformaciones estáticas que deben funcionar universalmente para todas las entradas, fallando en apoyar adaptaciones dependientes de la entrada necesarias para capturar dependencias espaciales complejas en predicciones densas. Esto resulta en un Campo Receptivo Efectivo (ERF) más pequeño en comparación con el ajuste fino completo.
2. Redundancia de Características: Los adaptadores incrustados en diferentes capas de la red suelen estar aislados, careciendo de interacción entre capas. Esto conduce a representaciones redundantes donde diferentes capas capturan información similar, como lo demuestra la alta similitud de Alineación de Kernel Centrado (CKA) entre capas en los métodos existentes.

2. Metodología: ParaX

Los autores proponen ParaX, un nuevo método PEFT estilo adaptador construido sobre una arquitectura simple de Mezcla de Expertos (MoE). En lugar de aprender pesos de adaptador aislados para cada capa, ParaX introduce un Centro de Experto Compartido y un mecanismo de Enrutamiento Dinámico de Parámetros.

2.1 Centro de Experto Compartido

ParaX construye un gran repositorio compartido de matrices de parámetros entrenables (expertos) para cada etapa de la red visual jerárquica.

• Transformaciones de Canal: El centro contiene pares de matrices ($E_A, E_B$) para proyección hacia abajo y proyección hacia arriba.
• Transformaciones Espaciales: Para mejorar el modelado espacial, el centro incluye conjuntos de matrices ($S_A, S_B, S_C$) diseñadas para generar kernels de convolución profunda de múltiples núcleos.
• Capacidad: El tamaño del centro de expertos ($M$) y la dimensión latente ($\hat{C}$) son hiperparámetros que controlan el recuento total de parámetros.

2.2 Enrutamiento Dinámico de Parámetros

Durante el paso hacia adelante, cada módulo ParaX genera dinámicamente matrices de pesos adaptadas a la entrada actual y a la posición del módulo:

1. Mecanismo de Enrutamiento: Una red enrutadora ligera procesa la característica de entrada (mediante Promedio Global y capas lineales) para producir vectores de activación dinámica ($G$).
2. Generación Dinámica de Pesos: Estos vectores de activación agregan selectivamente las matrices de parámetros del Centro de Experto Compartido.
   • Para proyección de canal: $W_1 = G_1 \times E_A$ y $W_2 = G_2 \times E_B$.
   • Para mezcla espacial: El enrutador genera vectores de activación dinámica para combinar matrices de expertos en kernels de convolución profunda dinámica ($D2Convs$).
3. Dependencia de la Entrada: A diferencia de los adaptadores estáticos, las matrices de pesos resultantes dependen de la entrada, permitiendo que el modelo personalice las representaciones de características basándose en variaciones específicas de la entrada.

2.3 Mezcla Espacial Dinámica Multi-escala

ParaX integra el modelado espacial multi-escala apilando secuencialmente convoluciones profundas dinámicas con tamaños de kernel crecientes (por ejemplo, 3, 5, 7). Estas salidas se agregan mediante un módulo de Agregación Variable Espacialmente (SA), que utiliza atención espacial para recalibrar dinámicamente las características a través de las escalas. Este diseño es explícitamente dependiente de la entrada, en contraste con los pesos fijos e independientes de la entrada utilizados en métodos como Mona.

3. Contribuciones Clave

• Enrutamiento Dinámico de Parámetros: El artículo introduce un mecanismo donde las matrices de parámetros entrenables actúan como "expertos" que se agregan dinámicamente mediante vectores de activación. Esto facilita la adaptación de rango bajo de manera dependiente de la entrada, generando representaciones de características más potentes y personalizadas.
• Centro de Experto Compartido: Al compartir el mismo centro de expertos a través de múltiples capas de la red, ParaX promueve la interacción implícita de características entre capas. Esto diversifica el flujo de información y reduce la redundancia de características sin requerir conexiones explícitas entre capas.
• Modelado Espacial Dependiente de la Entrada: El método extiende el enrutamiento dinámico a transformaciones espaciales, generando kernels de convolución multi-escala específicos de la entrada, abordando así la deficiencia de representación de los adaptadores estáticos en tareas de predicción densa.

4. Resultados Experimentales

Los autores evaluaron ParaX en diversas tareas de reconocimiento visual utilizando backbones Swin y ConvNeXt, comparando contra el ajuste fino completo y métodos PEFT de última generación (VPT, LoRA, AdaptFormer, Mona, etc.).

• Segmentación Semántica (ADE20K): Usando Swin-L, ParaX logró un 52.0% mIoU, superando al ajuste fino completo (51.2%) en 0.8% mientras utilizaba menos del 4% de los parámetros entrenables. También superó a la fuerte línea base Mona en 0.4%.
• Detección de Objetos y Segmentación de Instancias (COCO2017): Con ConvNeXt-L, ParaX mejoró APb/APm en 1.4%/1.6% sobre el ajuste fino completo y en 0.6%/0.4% sobre Mona.
• Segmentación Panóptica (COCO2017): ParaX mejoró PQ en 1.7% y 2.0% sobre AdaptFormer cuando se integró con Swin-B y ConvNeXt-B, respectivamente.
• Clasificación de Imágenes: En ImageNet-R (un conjunto de datos con un cambio de dominio significativo), ParaX superó a Mona en 1.6% en precisión top-1, demostrando robustez ante cambios de dominio.
• Generalización: El método mostró un rendimiento superior en arquitecturas ViT, modelos basados en Mamba (VMamba), estimación de la postura humana y segmentación de teledetección.

5. Significado y Afirmaciones

El artículo afirma que ParaX aborda las limitaciones fundamentales del modelado agnóstico a la entrada y la redundancia de características en los métodos PEFT actuales. Al aprovechar un centro de experto compartido y enrutamiento dinámico, ParaX logra:

1. Capacidad de Representación Superior: La naturaleza dependiente de la entrada de los pesos permite que el modelo capture dependencias de largo alcance y contextos espaciales complejos de manera más efectiva, evidenciado por ERFs más grandes comparables al ajuste fino completo.
2. Diversidad de Características Mejorada: El centro de experto compartido facilita interacciones implícitas entre capas, reduciendo la redundancia y permitiendo que las capas extraigan características más representativas.
3. Eficiencia: A pesar del enrutamiento dinámico y las convoluciones multi-escala, ParaX mantiene una eficiencia computacional competitiva y reduce significativamente los costos de almacenamiento (requiriendo <4% de parámetros entrenables) en comparación con mantener modelos ajustados completamente para múltiples tareas.

Los autores concluyen que ParaX establece un nuevo estado del arte para la adaptación eficiente en parámetros en tareas de predicción densa, demostrando que la generación dinámica de parámetros dependiente de la entrada es crucial para cerrar la brecha de rendimiento entre PEFT y el ajuste fino completo.