Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

Resumen Técnico: Pasos de Parámetros más Finos para el Ajuste de Bajo Rango (Low-Rank PEFT)

Planteamiento del Problema
Los adaptadores de bajo rango, como LoRA, son un estándar para el Ajuste Fino de Parámetros Eficientes (PEFT). Sin embargo, el parámetro de rango $r$ en LoRA fija la resolución del presupuesto de parámetros. Para matrices de proyección grandes (por ejemplo, $2048 \times 2048$ en OPT-1.3B), un único incremento de rango añade 4,096 escalares entrenables por proyección. Esto crea brechas discretas de gran tamaño en la región de bajo presupuesto, lo que resulta en una curva de precisión-presupuesto muestreada de forma dispersa. El artículo investiga si una familia de adaptadores con incrementos de capacidad más finos puede revelar diferentes puntos de operación o mejorar la relación observada entre precisión y presupuesto en comparación con LoRA.

Metodología
Los autores proponen una comparación controlada entre LoRA y adaptadores de tensores de componentes fijos de tipo Canónica Políadica (CP).

1. Formulación del Adaptador:

   • LoRA: Utiliza la actualización estándar $\Delta W = BA$, donde el rango $r$ determina el recuento de parámetros. Para una matriz de $2048 \times 2048$, un paso de rango equivale a 4,096 parámetros.
   • Adaptadores CP: La actualización de la matriz se reconfigura en un tensor de cuatro vías ($32 \times 64 \times 32 \times 64$). La actualización se parametriza como una suma de $c$ componentes de rango uno con factores normalizados:
     $$T(\Delta W) = \sum_{s=1}^{c} \lambda_s u^{(1)}_s \circ u^{(2)}_s \circ u^{(3)}_s \circ u^{(4)}_s$$
     donde los factores tienen norma unitaria. Un componente CP almacena 193 escalares entrenables (factores 32+64+32+64 + 1 escalar), aproximadamente 21 veces menor que un solo paso de rango de LoRA.

2. Protocolo Experimental:

   • Modelo y Tareas: Modelo OPT-1.3B adaptado en tres tareas de clasificación: SST-2, RTE y BoolQ.
   • Objetivos: Módulos de atención $q$-proj y $v$-proj (48 proyecciones en total).
   • Métrica de Comparación: En lugar de comparar únicamente con recuentos de parámetros emparejados, los autores definen una curva de "mejor-bajo-el-presupuesto" $U_A(B)$. Para un límite de presupuesto dado $B$, esta reporta la mayor precisión alcanzada por cualquier configuración con un recuento de parámetros $\le B$. Este enfoque hace explícita la discretización de los presupuestos factibles.
   • Controles: Los protocolos de entrenamiento, los límites de datos, los programas de semillas (rejilla base: semillas 0–2; confirmación: semillas 0–9) y la selección de checkpoints se mantienen constantes. Las tasas de aprendizaje se fijaron antes del barrido principal ($10^{-4}$ para LoRA, $2 \times 10^{-4}$ para CP).

Resultados Clave
El estudio revela que el beneficio de los pasos de parámetros más finos depende altamente de la tarea:

• SST-2 (Meseta Temprana): Los adaptadores CP pequeños (por ejemplo, $c=2$) alcanzan una meseta de precisión (~0.93) con una fracción del presupuesto de $r=1$ de LoRA. Sin embargo, añadir más componentes CP no mejora monótonamente el rendimiento, y ningún ajuste de CP supera el mejor resultado de LoRA bajo los mismos límites de presupuesto. La región de bajo presupuesto parece saturarse tempranamente.
• BoolQ (Ascenso Gradual y Saturación): La curva de CP muestra una mejora clara y gradual desde $c=1$ hasta $c=43$, revelando un crecimiento de capacidad intermedia útil que la rejilla gruesa de LoRA pasa por alto. No obstante, la curva eventualmente se satura ligeramente por debajo del mejor resultado de LoRA ($0.739$ frente a $0.743$).
• RTE (Brecha Persistente): LoRA supera consistentemente a CP en todos los niveles de presupuesto. Incluso con pasos más finos y componentes adicionales, CP no logra cerrar la brecha de precisión, lo que sugiere que para esta tarea, la expresividad de las direcciones de rango uno densas y no restringidas de LoRA es más crítica que la granularidad del presupuesto.

Contribuciones Clave

1. Discretización Explícita del Presupuesto: El artículo introduce un marco de comparación de "mejor-bajo-el-presupuesto" que visualiza explícitamente cómo las diferentes familias de adaptadores discretizan el espacio de parámetros, yendo más allá de las simples comparaciones de parámetros emparejados.
2. Estudio Controlado de Adaptadores Tensorizados: Los autores instancian este marco utilizando adaptadores CP de componentes fijos, proporcionando un caso de prueba controlado donde el tamaño del paso del parámetro de capacidad es significativamente menor que el de LoRA.
3. Diagnósticos Dependientes de la Tarea: El estudio demuestra que los pasos de parámetros más finos actúan como una herramienta de diagnóstico; revelan la forma de la curva de respuesta al presupuesto (por ejemplo, saturación temprana frente a crecimiento gradual), pero no garantizan inherentemente una curva de precisión-presupuesto superior.

Significado y Reivindicaciones
Los autores declaran explícitamente que no pretenden que el adaptador CP de componentes fijos sea un nuevo método de estado del arte para PEFT. En cambio, la importancia radica en aislar el efecto de la granularidad del presupuesto.

El artículo concluye que, si bien los pasos de parámetros más finos son útiles para diagnosticar la sensibilidad del presupuesto de PEFT y revelar puntos de operación entre los rangos de LoRA, no superan automáticamente las brechas de expresividad. En algunos casos (RTE), la flexibilidad de la estructura de actualización de LoRA es más importante que la resolución de la rejilla del presupuesto; en otros (BoolQ), los pasos más finos revelan ganancias de rendimiento intermedias; y en otros (SST-2), la tarea se satura tan temprano que la resolución de la rejilla es menos crítica. El trabajo sirve como un estudio controlado sobre cómo la discretización del parámetro de capacidad influye en el paisaje de rendimiento observado.