Resumen Técnico: Asignación Espectral Ponderada por Fiabilidad con Núcleos Espectrales Completos para el Ajuste Fino Visual Eficiente en Parámetros

Declaración del Problema

Los modelos visuales preentrenados se adaptan frecuentemente a tareas de dominio descendente con datos etiquetados limitados. Si bien el ajuste fino completo ofrece un alto rendimiento, es computacionalmente costoso e impracticable cuando una única arquitectura base debe soportar múltiples tareas, ya que requiere almacenar un esqueleto completo separado para cada una. El Ajuste Fino Eficiente en Parámetros (PEFT) aborda esto congelando la arquitectura base y aprendiendo un estado compacto específico para la tarea. Sin embargo, los métodos PEFT existentes (por ejemplo, adaptadores, LoRA, prompts visuales) dependen típicamente de hiperparámetros especificados por el usuario, tales como presupuestos de rango, anchos de adaptador, ubicaciones de inserción o reglas de asignación por capa.

Un presupuesto de adaptación fijo o distribuido uniformemente no logra dar cuenta de la distribución heterogénea de la información relevante para la tarea a través de una arquitectura base preentrenada. Diferentes tensores exhiben distintos espectros de gradiente y sensibilidades de transferencia; un rango fijo puede desperdiciar capacidad en direcciones débiles mientras subrepresenta otras informativas. Además, muchos métodos PEFT retienen ramas de inferencia activas y específicas del método durante el despliegue, lo que aumenta la latencia y el tráfico de memoria. El artículo postula la necesidad de un método que:

1. Asigne capacidad basándose en la evidencia de la tarea en lugar de presupuestos definidos por el usuario.
2. Determine automáticamente los rangos específicos por capa y los tensores participantes.
3. Elimine las ramas específicas del método mediante la fusión algebraica antes del despliegue.

Metodología

El método propuesto, Asignación Espectral Ponderada por Fiabilidad con Núcleos Espectrales Completos, opera en tres etapas conectadas: calibración, asignación espectral y adaptación con fusión.

1. Calibración y Estimación de la Evidencia Espectral

El método utiliza un conjunto de datos de calibración para estimar las direcciones espectrales relevantes para la tarea sin actualizar la arquitectura base.

• Agrupación de Gradientes (Gradient Pooling): Para cada tensor elegible de la arquitectura base $W_\ell$ (excluyendo cabezales de tarea, embeddings y capas de normalización), el método calcula el gradiente desplegado $G_{\ell,t}$ para cada lote de calibración $t$.
• Particiones Deterministas: Los lotes de calibración se dividen en dos particiones deterministas ($I_0$ e $I_1$). Se calculan los gradientes medios para cada partición ($G^{(0)}_\ell, G^{(1)}_\ell$) y el gradiente medio agrupado ($G_\ell$).
• Descomposición Espectral: Se realiza una Descomposición en Valores Singulares (SVD) compacta sobre el gradiente agrupado: $G_\ell = U_\ell \Sigma_\ell V^\top_\ell$.
• Puntuación Ponderada por Fiabilidad: Para cada modo espectral $j$, el método calcula una puntuación de consistencia $q_{\ell,j}$ basada en el acuerdo entre las dos particiones.
  • Sean $a_{\ell,j}$ y $b_{\ell,j}$ las proyecciones de los gradientes de las particiones sobre los vectores singulares.
  • La respuesta común es $s_{\ell,j} = (a_{\ell,j} + b_{\ell,j})/2$, y la discrepancia es $d_{\ell,j} = (a_{\ell,j} - b_{\ell,j})/2$.
  • El peso se define como $q_{\ell,j} = \frac{s_{\ell,j}^2}{s_{\ell,j}^2 + d_{\ell,j}^2 + \hat{\nu}_\ell + \epsilon}$, donde $\hat{\nu}_\ell$ es una penalización de varianza a nivel de tensor.
  • La evidencia del modo final es $e_{\ell,j} = \sigma_{\ell,j}^2 q_{\ell,j}$, combinando la energía singular con la consistencia de la partición.

2. Regla de Asignación a Nivel de Modelo

En lugar de un presupuesto de rango especificado por el usuario, el método deriva una asignación global a partir de la distribución de la evidencia a través de todos los tensores.

• Soporte Efectivo: El método calcula el soporte efectivo de Shannon ($D_1$) y el tamaño del soporte de evidencia positiva ($D_0$) a partir de las probabilidades de evidencia normalizadas.
• Determinación Automática del Rango: El número total de modos espectrales retenidos $R$ se determina mediante la media geométrica de estos soportes: $R = \lceil \sqrt{D_0 D_1} \rceil$.
• Selección: Se seleccionan los $R$ valores de evidencia más altos en todas las capas y tensores. Esto determina simultáneamente:
  • Qué tensores participan.
  • El rango específico $r_\ell$ para cada tensor participante.
  • No se requiere un presupuesto de rango, umbral o lista de capas suministrado por el usuario.

3. Optimización de Núcleos Espectrales Completos y Fusión

• Parametrización: Dentro de los subespacios espectrales izquierdo ($U_{\ell, S_\ell}$) y derecho ($V_{\ell, S_\ell}$) seleccionados, el método optimiza un núcleo espectral completo $K_\ell \in \mathbb{R}^{r_\ell \times r_\ell}$. A diferencia del escalado diagonal (que solo actualiza pares coincidentes), el núcleo completo captura las interacciones entre modos ($u_{\ell,i} v_{\ell,j}^\top$ para todo $i, j$).
• Optimización: Los núcleos espectrales y el cabezal de la tarea se optimizan utilizando la pérdida estándar de la tarea descendente. La arquitectura base y las bases seleccionadas permanecen congeladas.
• Fusión Algebraica: Tras el entrenamiento, las actualizaciones aprendidas se fusionan algebraicamente en los tensores originales de la arquitectura base: $W_\ell \leftarrow W_\ell + M^{-1}_\ell(U_{\ell, S_\ell} K_\ell V^\top_{\ell, S_\ell})$. Esto elimina la rama activa del núcleo espectral, resultando en un modelo de inferencia estándar sin sobrecarga de latencia derivada del mecanismo PEFT.

Contribuciones Clave

1. Puntuación Espectral Ponderada por Fiabilidad: Un novedoso mecanismo de puntuación que combina la energía del gradiente agrupado con la consistencia entre dos particiones de calibración deterministas, reduciendo la influencia de los modos inestables.
2. Asignación a Nivel de Modelo Libre de Usuario: Una formulación que determina conjuntamente el recuento de modos retenidos, los tensores participantes y los rangos específicos por capa sin requerir un presupuesto de rango o una selección de capas manual.
3. Núcleos Espectrales Completos: Una estrategia de optimización que utiliza núcleos de matriz completos dentro de los subespacios seleccionados para capturar interacciones entre modos, teóricamente superior al escalado diagonal, y que permite la fusión algebraica.
4. Evaluación Unificada: El método se aplica uniformemente tanto a arquitecturas convolucionales como Transformer en tareas de clasificación de etiqueta única, reconocimiento multietiqueta y segmentación semántica.

Resultados Experimentales

El método fue evaluado en DTD, Flowers-102, Oxford-IIIT Pet y Pascal VOC2007 utilizando arquitecturas ResNet, ViT, Swin y MobileNet.

• Rendimiento vs. Probing Lineal: El método supera consistentemente al linear probing. Ganancias notables incluyen:
  • Flowers-102 (ViT-B/16): +4.85 puntos porcentuales en Acc@1 sobre el linear probing.
  • Flowers-102 (ResNet-18): +4.21 puntos porcentuales.
  • DTD (ResNet-50): +0.69 puntos porcentuales sobre el linear probing y +1.76 sobre el ajuste fino completo, optimizando solo 150.9K parámetros (frente a 23.6M del ajuste fino completo).
• Comparación con PEFT Especializados: El método no supera uniformemente a los baselines especializados (por ejemplo, RepAdapter, SSF) o al ajuste fino completo en todos los entornos. Por ejemplo, en DTD con ViT-B/16, RepAdapter logró una mayor precisión. Los autores señalan que el método es más beneficioso cuando el ajuste de solo el cabezal deja una brecha significativa pero el ajuste fino completo es demasiado costoso.
• Eficiencia de Parámetros: El método optimiza entre 1,165 y 54,610 coordenadas de núcleos espectrales, lo que representa del 0.004% al 0.307% de los parámetros totales del modelo.
• Estudios de Ablación:
  • Completo vs. Diagonal: Los núcleos espectrales completos superaron al escalado espectral diagonal por 1.07 puntos porcentuales (Acc@1) en DTD con ResNet-18, confirmando el valor de capturar interacciones entre modos.
  • Componentes de Fiabilidad: Eliminar la ponderación de consistencia de partición redujo el rendimiento, validando la importancia de la puntuación de fiabilidad.

Significancia y Reivindicaciones

El artículo afirma que el método propuesto ofrece una alternativa fundamentada y automatizada a la configuración manual de PEFT. Su principal significancia radica en:

• Eliminación de la Búsqueda de Hiperparámetros: Elimina la necesidad de que los usuarios especifiquen presupuestos de rango, listas de capas o reglas de asignación, derivándolos directamente de los datos de calibración.
• Eficiencia de Despliegue: Al fusionar algebraicamente las actualizaciones, elimina la latencia de inferencia y la sobrecarga de memoria asociadas con las ramas de adaptadores activas, un inconveniente común de otros métodos PEFT.
• Generalizabilidad: Proporciona una regla de asignación única aplicable a diversas arquitecturas (CNN y Transformers) y tareas (clasificación y segmentación).

Los autores reconocen modestamente las limitaciones: los subespacios seleccionados dependen de lotes de calibración específicos, la regla de soporte efectivo es un heurístico en lugar de un criterio estadísticamente óptimo, y el método actualmente requiere un checkpoint fusionado separado para cada tarea. Sugieren que el trabajo futuro debería centrarse en la estabilidad de la asignación y en aproximaciones de calibración eficientes para modelos más grandes.