Learning Adapter Rank via Symmetry Breaking

Resumen Técnico: Aprendizaje del Rango del Adaptador mediante Ruptura de Simetría

1. Enunciado del Problema

La adaptación de bajo rango (LoRA) se ha convertido en un estándar para el ajuste fino eficiente de grandes modelos de lenguaje, basándose en la observación empírica de que las actualizaciones relevantes para la tarea yacen en un subespacio de baja dimensión. Sin embargo, dos desafíos críticos permanecen sin resolver:

1. Selección del Rango: Elegir el rango óptimo no es trivial. Los métodos de rango fijo corren el riesgo de ser either desperdiciados o insuficientes, mientras que las estrategias heurísticas de asignación de rango (por ejemplo, AdaLoRA) introducen cargas adicionales de ajuste.
2. No Identificabilidad y Simetría de Calibre: En LoRA estándar, las direcciones de rango no son identificables. Para cualquier matriz invertible $R \in \mathbb{R}^{r \times r}$, la factorización $BA = (BR)(R^{-1}A)$ produce la misma actualización de pesos. En consecuencia, los índices de rango individuales carecen de identidad intrínseca, haciendo imposible asignar puntuaciones de incertidumbre o relevancia a direcciones específicas sin romper primero esta simetría de calibre rotacional.
3. Calibración: Los Grandes Modelos de Lenguaje (LLMs) ajustados finamente a menudo sufren de sobreconfianza. Los métodos existentes de cuantificación de incertidumbre para módulos de Ajuste Fino Eficiente en Parámetros (PEFT) suelen tratar la selección de rango y la incertidumbre como problemas separados, operando en el espacio de pesos ambiental o utilizando aproximaciones post-hoc, lo que aumenta la complejidad arquitectónica y la cantidad de parámetros.

2. Metodología: Dropout Variacional de Bajo Rango (LRVD)

Los autores proponen Dropout Variacional de Bajo Rango (LRVD), un marco bayesiano que realiza inferencia directamente en el espacio de rango latente en lugar del espacio de pesos ambiental. La instancia central de este marco es BayesLoRA.

Mecanismos Clave:

• Posterior Vinculado al Rango: En lugar de colocar posteriores independientes sobre pesos individuales, LRVD coloca un posterior gaussiano factorizado sobre los factores del adaptador ($A$ y $B$) donde todos los parámetros pertenecientes a un rango específico $i$ comparten una única relación señal-ruido $\alpha_i$.
  $$q(A, B) = \prod_{i,j} \mathcal{N}(A_{ij}; \mu_{A,ij}, \alpha_i \mu_{A,ij}^2) \prod_{k,i} \mathcal{N}(B_{ki}; \mu_{B,ki}, \alpha_i \mu_{B,ki}^2)$$
• Ruptura de Simetría: La estructura diagonal de este posterior (donde la varianza está vinculada por rango) rompe la simetría de calibre rotacional $GL(r)$ de LoRA. El objetivo variacional selecciona una base preferida en el espacio de rango, habilitando la Determinación Automática de Relevancia (ARD) sobre las direcciones de rango.
• Garantía Teórica (Teorema 1): Los autores demuestran que, aunque se rompe la simetría de calibre completa, permanece una simetría residual. Específicamente, la matriz de transformación $R$ debe ser ortogonal, y si las entradas diagonales de la covarianza de rango son distintas, $R$ se restringe a matrices de permutación con signo. Esto asegura que el ordenamiento de rango aprendido sea significativo e identificable hasta el signo y la permutación.
• Objetivo Variacional: El entrenamiento maximiza la Cota Inferior de Evidencia (ELBO). El término de divergencia KL, derivado del dropout variacional disperso, es monótonamente creciente en $\log \alpha_i$. Esto penaliza las direcciones con altas relaciones señal-ruido, suprimiéndolas progresivamente para lograr una selección de rango automática continua.
• Inferencia: En el momento de la prueba, el modelo marginaliza sobre el subespacio del adaptador utilizando muestreo de Monte Carlo (típicamente $T \in [4, 16]$ muestras), mientras que el núcleo preentrenado permanece determinista.

3. Contribuciones Clave

• Formalización de LRVD: Un marco general para la inferencia bayesiana en el espacio de rango que induce dispersión estructurada a través de relaciones señal-ruido aprendidas.
• BayesLoRA: Una implementación concreta que aprende el rango efectivo del adaptador y la incertidumbre predictiva simultáneamente con solo $O(r)$ parámetros escalares adicionales, sin requerir optimizadores auxiliares, estimación de curvatura post-hoc ni calendarios de annealing de KL.
• Resolución de la No Identificabilidad: El artículo demuestra que la no identificabilidad de LoRA puede convertirse en un sesgo inductivo útil. Al romper la simetría de calibre mediante un posterior diagonal, el método produce un ordenamiento de rango estable e identificable alineado con la estructura intrínseca de las actualizaciones aprendidas.

4. Resultados Experimentales

Los autores evaluaron BayesLoRA en el benchmark GLUE (utilizando DeBERTa-V3-base) y en benchmarks de razonamiento (utilizando LLaMA-2-7B).

• Selección de Rango y Precisión:

  • BayesLoRA iguala o supera el rendimiento de AdaLoRA en todas las tareas de GLUE con costos de entrenamiento comparables.
  • Induce estructuras de rango estables que se alinean con las direcciones singulares dominantes de las actualizaciones aprendidas.
  • Las tasas de compresión son proporcionales a la estructura intrínseca de la tarea (por ejemplo, CoLA se comprime a ~63% independientemente del rango inicial), en lugar de ser un artefacto del tamaño de la base inicial.
  • En muchos casos, BayesLoRA colapsa módulos completos de adaptador a un rango efectivo cero, actuando más como dispersión a nivel de módulo que como asignación de presupuesto suave.

• Incertidumbre y Calibración:

  • vs. Líneas Base Clásicas: BayesLoRA mejora sustancialmente el Error de Calibración Esperado (ECE) y la Verosimilitud Negativa Logarítmica (NLL) en comparación con MC Dropout, Conjuntos Profundos y Bayes por Retropropagación (BBB), a pesar de tener menos parámetros que BBB.
  • vs. Métodos Enfocados en Calibración: En comparaciones con presupuesto igualado contra BloB (que utiliza un posterior variacional completo con un optimizador auxiliar), BayesLoRA logra una mayor precisión en casi todas las tareas. Mientras que BloB mantiene una ligera ventaja en las métricas de calibración (ECE/NLL), BayesLoRA reduce esta brecha significativamente sin la sobrecarga computacional de un optimizador separado o una estimación de curvatura compleja.

5. Significado y Afirmaciones

El artículo afirma que BayesLoRA ofrece una alternativa simple pero poderosa a los métodos existentes de incertidumbre en PEFT. Al operar directamente en el espacio de rango, evita los costos prohibitivos de la inferencia variacional en el espacio de pesos mientras resuelve el problema fundamental de la no identificabilidad del rango.

• Eficiencia: Logra la selección automática de rango y la cuantificación de incertidumbre con una sobrecarga de parámetros mínima ($O(r)$ escalares).
• Estabilidad: El ordenamiento de rango aprendido no es meramente una heurística de poda, sino que refleja la estructura singular intrínseca de las actualizaciones de la tarea.
• Compensaciones: Los autores reconocen que, aunque BayesLoRA mejora la calibración sobre las líneas base estándar, aún se queda atrás de los métodos con maquinaria variacional más rica (como BloB) en tareas donde la brecha entre los posteriores en el espacio de rango y en el espacio de pesos es más pronunciada. Atribuyen esto al uso de un sustituto de dropout variacional con un prior log-uniforme impropio.

En resumen, el trabajo establece que romper la simetría de calibre de LoRA mediante un posterior variacional diagonal permite el aprendizaje conjunto del rango efectivo y la incertidumbre, proporcionando un enfoque bayesiano escalable para la adaptación de bajo rango.