Resumen Técnico: Cuantificación de la Incertidumbre de los Modelos Fundacionales con Ensamble de Valores Singulares

1. Planteamiento del Problema

Los modelos fundacionales han logrado un rendimiento notable en diversas tareas mediante el preentrenamiento a gran escala, sin embargo, frecuentemente producen predicciones excesivamente confiadas y descalibradas. En dominios de alto riesgo como el diagnóstico médico, la conducción autónoma y el apoyo a la toma de decisiones agrícolas, la capacidad de un modelo para reconocer su propia ignorancia (incertidumbre epistémica) es tan crítica como su precisión predictiva. Los diagnósticos erróneos excesivamente confiados o las evaluaciones de riesgo incorrectas pueden acarrear consecuencias graves.

El enfoque estándar para cuantificar la incertidumbre epistémica consiste en entrenar un ensamble de múltiples modelos inicializados de forma independiente (Ensamble Profundo o Deep Ensembles). Aunque es efectivo, este método sufre una limitación fundamental: los costos computacionales y de memoria escalan linealmente con el número de miembros del ensamble ($M$). Para modelos fundacionales con miles de millones de parámetros, incluso un ensamble modesto (por ejemplo, $M=4$) se vuelve computacionalmente prohibitivo, haciendo que la estimación de la incertidumbre basada en principios sea inaccesible para profesionales con recursos limitados o para aquellos que dependen del ajuste fino eficiente en parámetros (PEFT).

Los métodos de ensamble implícito existentes (por ejemplo, MC-Dropout, BatchEnsemble, LoRA-Ensemble) intentan reducir la sobrecarga, pero a menudo luchan por igualar el rendimiento de calibración de los ensambles explícitos o aún requieren el aprendizaje de nuevos parámetros significativos para cada miembro.

2. Metodología: Ensamble de Valores Singulares (SVE)

Los autores proponen el Ensamble de Valores Singulares (SVE), un método de ensamble implícito eficiente en parámetros basado en la idea de que el conocimiento en los modelos fundacionales se organiza a lo largo de subespacios lineales definidos por los vectores singulares de las matrices de pesos.

Supuesto Central

El método se basa en la hipótesis de que los vectores singulares ($U$ y $V$) de las matrices de pesos preentrenadas corresponden a direcciones de conocimiento significativas y ortogonales en el espacio de representación. Los valores singulares ($\Sigma$) codifican la importancia relativa o la fuerza de estas direcciones. Por lo tanto, un ensamble puede construirse preservando la base de conocimiento compartida (vectores singulares) mientras se modula la contribución de cada dirección mediante valores singulares específicos de cada miembro.

Implementación Técnica

1. Descomposición SVD: Para cada matriz de pesos objetivo $W \in \mathbb{R}^{m \times n}$ en un modelo preentrenado, se calcula la Descomposición de Valores Singulares: $W = U\Sigma V^\top$.
2. Congelación de Parámetros: Los vectores singulares $U$ y $V$ se congelan, preservando la base de conocimiento preentrenada.
3. Aprendizaje Específico por Miembro: En lugar de aprender nuevas matrices de pesos, el método entrena $M$ copias de los valores singulares, denotados como $\{\Sigma^{(m)}\}_{m=1}^M$, uno para cada miembro del ensamble. Adicionalmente, se entrena un vector de sesgo (bias) por miembro $b^{(m)}$.
4. Reconstrucción: Durante la inferencia, la matriz de pesos para el miembro $m$ se reconstruye como $W^{(m)} = U\Sigma^{(m)}V^\top$.
5. Inicialización y Diversidad: Para asegurar la diversidad entre miembros sin destruir la estructura preentrenada, los valores singulares se inicializan con perturbaciones multiplicativas: $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$, donde $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$. El muestreo estocástico de mini-lotes durante el entrenamiento conjunto impulsa además a los miembros a converger hacia combinaciones distintas de los subespacios compartidos.

Eficiencia de Parámetros

Para un transformador con dimensión oculta $d$, SVE añade solo $6d$ valores singulares y $9d$ entradas de sesgo por capa por miembro (para proyecciones de atención y MLP). La sobrecarga total de parámetros respecto al modelo base es aproximadamente:
$$\text{Sobrecarga} \approx \frac{5(M-1)}{4d}$$
Para $d=768$ y $M=8$, esto resulta en una sobrecarga de $<1\%$. Para modelos más grandes como LLaMA-2-7B ($d=4096$), la sobrecarga cae a $\approx 0.2\%$. Esto es significativamente más eficiente que LoRA-Ensemble (que añade matrices de rango-$r$) y órdenes de magnitud más eficiente que los Deep Ensembles.

3. Principales Contribuciones

• Introducción de SVE: Un nuevo método de ensamble implícito y eficiente en parámetros que crea miembros de ensamble diversos aprendiendo valores singulares por miembro mientras comparte los vectores singulares preentrenados.
• Nuevo Punto de Referencia para la Incertidumbre: Establece a SVE como un fuerte punto de referencia para la cuantificación de la incertidumbre, logrando una calibración de vanguardia manteniendo la precisión predictiva.
• Validación Extensa: Validado a través de tareas de Procesamiento de Lenguaje Natural (NLP) y Visión utilizando arquitecturas que van desde 22M hasta 7B de parámetros (BERT, LLaMA-2-7B, DINOv1/v2). Los resultados demuestran la generalización a través de tamaños de modelo y tipos de tareas.

4. Resultados Experimentales

Los autores evaluaron SVE en tareas de NLP (ARC-Easy, SST-2) y tareas de Visión (Flowers102, CIFAR-100, DTD, Oxford Pets, detección de OOD y corrupciones de CIFAR-100-C).

• Calibración: SVE logra consistentemente un Error de Calibración Esperado (ECE) superior o competitivo comparado con Deep Ensembles, LoRA-Ensemble y métodos Bayesianos (por ejemplo, Bayes-LoRA, BLoB). Notablemente, en ARC-Easy con LLaMA-2-7B, SVE ($M=16$) alcanzó un ECE de 3.8%, superando significativamente a Deep Ensembles (9.9%) y LoRA-Ensemble (9.0%), acercándose a la calibración de los métodos Bayesianos siendo más simple de implementar.
• Precisión: SVE mantiene una precisión predictiva comparable a los ensambles explícitos y otros métodos implícitos. En CIFAR-100, logró un 85.6% de precisión, superando a Deep Ensembles (85.4%) y a los modelos individuales.
• Robustez: Bajo cambios de distribución (CIFAR-100-C) y detección de datos fuera de distribución (OOD) (CIFAR-100 $\to$ CIFAR-10), SVE demostró una fuerte robustez, igualando o superando el rendimiento de LoRA-Ensemble y Deep Ensembles en términos de AUROC y AUPRC, a pesar de utilizar muchos menos parámetros.
• Dependencia de la Arquitectura Base (Backbone): Los beneficios de SVE escalan con la calidad de las representaciones preentrenadas. En modelos con inicialización aleatoria, SVE tuvo un desempeño inferior; sin embargo, con bases sólidas (DINOv2), superó a todos los puntos de referencia, validando la hipótesis de que las bases de vectores singulares con significado son cruciales para el éxito del método.
• Costo Computacional: SVE reduce la sobrecarga de parámetros y memoria por un factor de 10 comparado con LoRA-Ensemble y por un factor de 700 comparado con Deep Ensembles. El tiempo de inferencia es comparable al de LoRA-Ensemble y significativamente más rápido que los métodos de muestreo Bayesianos.

5. Significado y Reivindicaciones

El artículo afirma que SVE democratiza la estimación de la incertidumbre basada en principios para entornos con recursos limitados. Al aprovechar la estructura de subespacio lineal de los modelos fundacionales, SVE permite la creación de ensambles diversos con una sobrecarga de parámetros mínima ($<1\%$).

Los autores posicionan a SVE como un enfoque equilibrado que:

1. Logra una precisión comparable a LoRA-Ensemble.
2. Logra una calibración comparable a los complejos métodos Bayesianos.
3. Opera con la eficiencia computacional del ajuste fino eficiente en parámetros.

El trabajo sugiere que a medida que los modelos fundacionales mejoren, la "base de conocimiento" codificada en sus vectores singulares se vuelve cada vez más valiosa. SVE aprovecha esto al preservar estas representaciones mientras introduce diversidad mediante ajustes ligeros, haciendo que la estimación de la incertidumbre confiable sea accesible para modelos a gran escala donde el ensembling tradicional es inviable.

Limitaciones Reconocidas:
Los autores señalan que la inferencia aún requiere una pasada hacia adelante (forward pass) por cada miembro (similar a otros ensambles implícitos), por lo que los FLOPs siguen siendo comparables a los de Deep Ensembles. La integración con arquitecturas cuantizadas es no trivial debido a la necesidad de descuantizar antes de realizar la SVD. Además, debido a que SVE preserva la base preentrenada, puede heredar sesgos o correlaciones espurias presentes en el backbone.