Resumen Técnico: Ajuste Fino Bayesiano en Subespacios Proyectados

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) y otras redes neuronales profundas a menudo sufren de sobreconfianza y mala calibración cuando se ajustan finamente, particularmente con datos limitados. Si bien la Adaptación de Bajo Rango (LoRA) ofrece una solución eficiente en parámetros para el ajuste fino al descomponer las actualizaciones de pesos en matrices de bajo rango, el LoRA estándar carece de mecanismos para la cuantificación de la incertidumbre.

Se han propuesto variantes bayesianas de LoRA (LoRA Bayesiano) para abordar esto mediante el aprendizaje de distribuciones posteriores sobre los parámetros. Sin embargo, estos métodos enfrentan un compromiso crítico: modelar la matriz de covarianza posterior (necesaria para la incertidumbre epistémica) típicamente requiere un número de parámetros que escala cuadráticamente con el número de pesos entrenables. Esto aumenta significativamente los costos de almacenamiento y computación, negando parcialmente las ganancias de eficiencia de LoRA. Además, el entrenamiento de estos modelos bayesianos de alta dimensión puede ser inestable y difícil de converger.

Metodología

Los autores proponen un marco novedoso que combina el ajuste fino eficiente en parámetros con la inferencia bayesiana dentro de un subespacio proyectado de baja dimensión. La idea central es restringir el aprendizaje de las posteriores bayesianas a una variedad comprimida en lugar del espacio completo de parámetros.

1. Parametrización del Subespacio Proyectado

En lugar de aprender actualizaciones completas de bajo rango $\Delta W = AB$ donde tanto $A$ como $B$ son entrenables (como en el LoRA estándar), el método propuesto congela las matrices de base $A$ y $B$ y aprende solo una pequeña matriz cuadrada "núcleo" $R$. La actualización de peso se define como:
$$\Delta W = ARB$$
Aquí, $A \in \mathbb{R}^{n \times r}$ y $B \in \mathbb{R}^{r \times m}$ son matrices de proyección precalculadas derivadas de los pesos preentrenados $W_0$, y $R \in \mathbb{R}^{r \times r}$ es el parámetro aprendible. Esto reduce el número de parámetros entrenables de $r(n+m)$ a $r^2$, creando un espacio de parámetros altamente comprimido.

2. Estrategias de Proyección

El artículo evalúa cuatro métodos distintos para calcular las matrices de proyección congeladas $A$ y $B$:

• SVD Truncada: Alinea las proyecciones con las direcciones principales de la matriz de pesos original $W_0$.
• SVD Blanqueada Truncada (W-SVD): Tiene en cuenta las estadísticas de los datos de entrada (covarianza $\Sigma_{xx}$) para minimizar los errores de activación en lugar de los errores de reconstrucción de pesos.
• Transformada Discreta de Coseno 2D (DCT): Utiliza una base fija y universal de ondas coseno, precedida por una permutación determinista de los pesos para inducir correlación espacial.
• Proyecciones Aleatorias: Utiliza matrices ortogonales gaussianas distribuidas según Haar, sin hacer suposiciones estructurales sobre los pesos.

3. Inferencia Bayesiana en el Subespacio

El marco realiza inferencia bayesiana sobre las matrices núcleo $R$ en lugar de las actualizaciones completas de pesos. Se emplean dos métodos bayesianos aproximados:

• SWAG (Promedio Estocástico de Pesos-Gaussiano): Explota la trayectoria del Descenso de Gradiente Estocástico (SGD) para construir una posterior gaussiana con una covarianza de bajo rango más diagonal.
• Aproximación de Laplace: Aproxima la posterior alrededor de una solución de Máxima A Posteriori (MAP). Los autores implementan tanto aproximaciones Diagonales (DIAG) como Factorizadas por Kronecker (KRON) para la matriz Hessiana/Información de Fisher para equilibrar expresividad y eficiencia de memoria.

Crucialmente, la covarianza completa de las actualizaciones de pesos $\Delta W$ nunca se materializa. En su lugar, la covarianza se define implícitamente a través de la estructura de Kronecker del subespacio proyectado, permitiendo un muestreo eficiente y una estimación de incertidumbre.

Contribuciones Clave

1. Marco Bayesiano Eficiente en Parámetros: El artículo introduce un método que logra una cuantificación efectiva de la incertidumbre en espacios de parámetros de muy baja dimensión ($r^2$ parámetros por capa) sin sacrificar los beneficios de eficiencia de LoRA.
2. Estrategias de Proyección Generalizadas: A diferencia de trabajos anteriores que dependían principalmente de la SVD, este trabajo introduce y evalúa un marco generalizado que incluye proyecciones conscientes de los datos (SVD Blanqueada) y agnósticas a la estructura (DCT, Aleatorias).
3. Validación Empírica de Covarianzas de Bajo Rango: Los autores demuestran que las covarianzas de los pesos en estos subespacios proyectados exhiben propiedades de bajo rango, lo que significa que incluso aproximaciones de covarianza de muy bajo rango (por ejemplo, rango $k=2$) suelen ser suficientes para modelar la incertidumbre de manera efectiva.
4. Escalabilidad: El enfoque se valida tanto en RoBERTa-large como en LLaMA2-7B, mostrando que el método escala a modelos más grandes mientras mantiene la viabilidad computacional.

Resultados Experimentales

Los experimentos se realizaron en tareas GLUE (RTE, MRPC, CoLA, SST-2) utilizando RoBERTa-large y en tareas de razonamiento de sentido común (OBQA, ARC-E, ARC-C) utilizando LLaMA2-7B.

• Calibración e Incertidumbre: Los métodos propuestos (B-LoRA-XS y L-LoRA-XS) superan consistentemente al LoRA estándar y a LoRA-XS en el Error de Calibración Esperado (ECE) y la Verosimilitud Negativa Logarítmica (NLL). Logran una calibración comparable o mejor que las líneas base bayesianas completas de LoRA (como LoRA-SWAG) mientras utilizan de 5 a 15 veces menos parámetros.
• Rendimiento de Proyección: Las proyecciones SVD Blanqueada (W-SVD) y SVD estándar produjeron consistentemente el mejor rendimiento. Los métodos agnósticos a los datos como las Proyecciones Aleatorias y la DCT funcionaron significativamente peor, particularmente en rangos más bajos, destacando la importancia de alinear el subespacio con la estructura de los pesos.
• Rango de Covarianza: Los modelos permanecieron robustos incluso con aproximaciones de covarianza de muy bajo rango. Por ejemplo, B-LoRA-XS logró una calibración óptima en rangos de covarianza tan bajos como $k=2$ o $k=5$, mientras que los métodos estándar de LoRA Bayesiano se degradaron significativamente a medida que disminuía el rango.
• Detección de OOD: Las variantes bayesianas demostraron una capacidad superior para distinguir datos In-Distribution (ID) de datos Out-of-Distribution (OOD) en comparación con las líneas base deterministas, mostrando una fuerte separación en la entropía predictiva con los métodos de subespacio propuestos.
• Resultados de LLaMA2-7B: En el modelo más grande, las variantes comprimidas (por ejemplo, L-LoRA-XS con $r=64$) lograron mejoras significativas en la calibración con menos de un tercio del presupuesto de parámetros requerido por la línea base Laplace-LoRA, manteniendo al mismo tiempo una precisión competitiva.

Significado y Afirmaciones

El artículo afirma que la cuantificación efectiva de la incertidumbre no requiere espacios de parámetros de alta dimensión. Al proyectar las actualizaciones de pesos sobre una variedad de baja dimensión cuidadosamente elegida, los autores demuestran que:

• La incertidumbre puede modelarse de manera eficiente: Las correlaciones entre los pesos pueden capturarse de manera efectiva en subespacios de baja dimensión, permitiendo el uso de matrices de covarianza de bajo rango que reducen drásticamente los costos de memoria y computación.
• La estabilidad mejora: Operar en un espacio de parámetros reducido estabiliza la optimización, lo que lleva a una mejor convergencia y calibración bajo presupuestos computacionales limitados.
• Compromiso Sinérgico: El método ofrece un compromiso sinérgico donde el rendimiento predictivo se mantiene o mejora, y la calibración se mejora significativamente, todo ello utilizando una fracción de los parámetros requeridos por los métodos existentes de LoRA Bayesiano.

Los autores concluyen que su marco representa una innovación conceptual en la aplicación de la inferencia bayesiana a subespacios comprimidos, proporcionando una solución práctica para el ajuste fino consciente de la incertidumbre de modelos grandes en entornos con recursos limitados.