Resumen Técnico: CORA: Rotación Ortogonal Coherente por Segmentos para la Adaptación de Bajo Rango basada en SVD

1. Planteamiento del Problema

El Ajuste Fino Eficiente en Parámetros (PEFT) es esencial para adaptar los Modelos de Lenguaje de Gran Escala (LLMs) a tareas de dominio específico sin el costo prohibitivo del ajuste fino completo. Aunque la Adaptación de Bajo Rango (LoRA) es el método dominante, este aprende una actualización aditiva $\Delta W = BA$ que agrupa los grados de libertad geométricos (rotación de la base y desplazamientos espectrales) en una única matriz de bajo rango. Los métodos recientes basados en SVD (por ejemplo, PiSSA, MiLoRA) utilizan la descomposición en valores singulares (SVD) de los pesos preentrenados ($W_0 = U_0 \Sigma_0 V_0^\top$) para la inicialización o la selección de subespacios, pero no preservan explícitamente la geometría acoplada entre las bases singulares izquierda ($U_0$) y derecha ($V_0$).

Trabajos teóricos recientes [8] sugieren que un ajuste fino estable sigue una forma de "rotación SVD coherente", donde una única matriz ortogonal $Q$ actúa sobre las bases singulares izquierda y derecha simultáneamente, acompañada de un desplazamiento diagonal en los valores singulares ($\Delta \Sigma$). Los métodos existentes solo realizan esto parcialmente: los métodos de estilo aditivo tipo LoRA entrelazan la rotación y el espectro, mientras que los métodos de ajuste ortogonal imponen la rotación pero a menudo carecen de flexibilidad espectral. Además, el teorema de la rotación coherente global no especifica cómo implementar esto de manera eficiente dentro de las restricciones estructuradas de bajo rango de los adaptadores prácticos.

2. Metodología: CORA

Los autores proponen CORA (Adaptación de Rotación Ortogonal Coherente), un método que extiende el teorema de la rotación coherente global a una granularidad por segmento (per-slice).

2.1 Fundamento Teórico

El artículo demuestra un análogo por segmentos del teorema de la rotación coherente (Teorema 2). Al particionar una matriz de pesos $W_0$ en segmentos de filas $W_i \in \mathbb{R}^{r \times k}$, los autores demuestran que, bajo supuestos de regularidad moderados, la forma óptima ajustada de cada segmento es:
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
donde $Q_i$ es una única matriz ortogonal que actúa tanto en la base izquierda $U_i$ como en la base derecha $V_i$ del segmento. Esto establece que las rotaciones de base izquierda y derecha deben ser idénticas ($Q_{U,i} = Q_{V,i} = Q_i$) para minimizar la perturbación de Frobenius.

2.2 Parametrización e Implementación

Para realizar esta forma de manera eficiente sin costosas restricciones de variedad, CORA emplea una reparametrización específica:

1. Matriz de Origen: El método opera sobre la truncación de rango-$r$ de la SVD del peso preentrenado, $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$, congelando el residuo $W_0 - W_{lr}$.
2. Partición por Segmentos: $W_{lr}$ se particiona en $s = m/r$ segmentos de filas.
3. Aprendizaje de la Rotación: En lugar de aprender $Q_i$ directamente en la variedad ortogonal, CORA aprende una única matriz ortogonal no restringida $R_i$ por segmento y define la rotación como $Q_i = U_i^\top R_i U_i$. Esta transformación de similitud asegura que la condición de rotación coherente ($Q_{U,i} = Q_{V,i}$) se cumpla de forma idéntica sin necesidad de restricciones explícitas o penalizaciones durante el entrenamiento.
4. Escalamiento Espectral: Se aplica un vector de escala diagonal opcional por capa $\delta$ a los valores singulares ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$).
5. Mapa de Cayley: Para asegurar que $R_i$ permanezca ortogonal, se parametriza mediante un mapa de Cayley de una matriz antisimétrica aprendible, evitando las restricciones del radio de convergencia.

2.3 Eficiencia de Parámetros

CORA utiliza $\frac{1}{2}m(r-1)$ parámetros entrenables por capa lineal (más los $r$ escalares opcionales para $\delta$). Esto es aproximadamente 4 veces menos parámetros que LoRA para el mismo rango $r$ (que usa $r(m+k)$), y aproximadamente 8 veces menos que LoRA al comparar configuraciones de rendimiento equivalente.

3. Contribuciones Clave

1. Extensión Teórica: Se demostró que el teorema de la rotación coherente se aplica a los segmentos de filas individuales de una matriz de pesos, extendiendo la teoría global a la granularidad de los adaptadores prácticos.
2. Nueva Parametrización: Introdujo una reparametrización ($Q_i = U_i^\top R_i U_i$) que impone la condición de rotación coherente ($Q_{U,i} = Q_{V,i}$) como una identidad algebraica, eliminando la necesidad de restricciones de ortogonalidad durante la optimización.
3. Diseño de Adaptador Eficiente: Implementó CORA como un adaptador compacto utilizando rotaciones ortogonales por segmento y escalamiento diagonal por capa, logrando un alto rendimiento con significativamente menos parámetros que los métodos de SVD existentes y otros métodos de PEFT generales.

4. Resultados Experimentales

CORA fue evaluado en LLaMA-2-7B, LLaMA-3-8B y Mistral-7B a través de tres familias de tareas: razonamiento de sentido común, generación de código y razonamiento matemático.

• Razonamiento de Sentido Común: En LLaMA-2-7B, CORA con rango $r=16$ (6.6M parámetros) alcanzó un 82.16% de precisión promedio. Esto superó a PiSSA y MiLoRA (ambos con $r=32$, ~56M parámetros) por 8.4 y 3.0 puntos respectivamente, y superó a DoRA ($r=32$) por 2.5 puntos.
• Generación de Código: En LLaMA-3-8B, CORA ($r=16$, 10.3M parámetros) alcanzó un 48.2 en HumanEval Pass@1, excediendo a DiaBlo ($N=64$, 121M parámetros) y LoRI ($r=32$, 45M parámetros) por márgenes significativos. En Mistral-7B, CORA mantuvo un fuerte desempeño (40.2 Pass@1) con solo 10.3M de parámetros.
• Razonamiento Matemático: CORA fue competitivo en GSM8K, pero se quedó rezagado en MATH comparado con MiLoRA. Los autores atribuyen esto a la localidad espectral del conocimiento matemático; el enfoque de MiLoRA en los componentes menores (direcciones residuales) parece estar mejor adaptado para tareas donde los componentes principales codifican menos estructura relevante para la tarea.
• Ablaciones:
  • Escala Compartida ($\delta$): Habilitar el escalamiento del espectro compartido fue crítico, mejorando el rendimiento entre 0.8 y 2.4 puntos y evitando el colapso en rangos bajos ($r=8$).
  • Rotación de Dos Lados: Eliminar la rotación del lado $V$ (solo lado $U$) causó caídas significativas en el rendimiento (hasta 9.8 puntos), confirmando la necesidad de la forma de rotación coherente.
  • Matriz de Origen: Usar la $W_0$ completa en lugar de la $W_{lr}$ truncada mejoró el rendimiento en MATH, validando la hipótesis de que las direcciones singulares de la cola contienen señales específicas de matemáticas.

5. Significado y Reivindicaciones

El artículo afirma que CORA logra unificar exitosamente los métodos de inicialización SVD aditivos y las familias de rotación ortogonal bajo una única forma teóricamente fundamentada. Al imponer explícitamente la condición de rotación coherente derivada de la teoría de perturbación mínima, CORA logra una relación superior entre parámetros y precisión.

Los autores afirman que CORA alcanza resultados de vanguardia (state-of-the-art) en razonamiento de sentido común y generación de código con aproximadamente 8 veces menos parámetros que los métodos competidores como LoRA, DoRA, PiSSA y MiLoRA. El trabajo demuestra que las restricciones geométricas explícitas (rotación coherente) pueden implementarse eficientemente mediante reparametrización algebraica, ofreciendo una nueva dirección para la adaptación eficiente de parámetros que respeta la geometría subyacente de los pesos preentrenados.

Limitaciones señaladas por los autores:

• Requiere el cálculo de SVD fuera de línea y el almacenamiento en caché de los factores por segmento antes del entrenamiento.
• Introduce multiplicaciones de matrices adicionales durante el paso hacia adelante (forward pass) en comparación con el LoRA estándar.
• Evaluado hasta modelos de 8B parámetros; la escalabilidad a modelos de 30B+ no ha sido verificada.
• El rendimiento en tareas matemáticas es sensible a la elección del espectro de origen (componentes principales vs. residuales).