Model soups need only one ingredient

Resumen Técnico: MonoSoup

Planteamiento del Problema

El paradigma predominante de "pre-entrenamiento seguido de ajuste fino" (pre-train-then-finetune) para los modelos fundacionales a menudo conduce a un compromiso entre la precisión en la distribución (ID) y la robustez fuera de la distribución (OOD). Aunque el ajuste fino mejora el rendimiento en tareas específicas, frecuentemente causa un "colapso de la representación", donde el modelo se especializa excesivamente en los datos de entrenamiento, degradando su conocimiento de propósito general y su rendimiento OOD.

Las soluciones existentes, como Model Soups, mitigan esto promediando los pesos de múltiples puntos de control (checkpoints) ajustados. Sin embargo, este enfoque es computacional y de almacenamiento prohibitivo, ya que requiere el entrenamiento y la retención de docenas de modelos. Otros métodos como Model Stock reducen esto a dos modelos, pero aún asumen el acceso a múltiples puntos de control, lo cual suele ser poco realista en la práctica, donde los repositorios típicamente almacenan solo una única versión con el mejor rendimiento. Además, los métodos de un solo modelo como Wise-FT (interpolación de pesos pre-entrenados y ajustados) aplican una interpolación uniforme, fallando al no abordar la naturaleza fina y anisotrópica de las actualizaciones de peso a través de diferentes capas y direcciones.

La pregunta central abordada es: ¿Podemos retener los beneficios de los model soups cuando solo se dispone de un único modelo ajustado?

Metodología: MonoSoup

El artículo presenta MonoSoup, un método post-hoc, libre de datos y libre de hiperparámetros, que logra un sólido equilibrio ID–OOD utilizando un solo punto de control. El método opera bajo la hipótesis de que la actualización de pesos de un único modelo ajustado contiene tanto direcciones dominantes y específicas de la tarea como componentes más débiles que, aunque potencialmente ruidosos, codifican señales residuales críticas para la robustez OOD.

1. Descomposición Espectral mediante SVD

Para cada capa $\ell$, MonoSoup analiza la matriz de actualización de pesos $\Delta W^{(\ell)} = W^{(\ell)}_{FT} - W^{(\ell)}_{0}$ utilizando la Descomposición en Valores Singulares (SVD):
$$\Delta W^{(\ell)} = U^{(\ell)} \Sigma^{(\ell)} V^{(\ell)\top}$$
El espectro de los valores singulares se particiona en dos componentes complementarios:

• Componente de Alta Energía ($W^{(\ell)}_{High}$): Captura el subespacio principal asociado con la adaptación de la tarea.
• Componente de Baja Energía ($W^{(\ell)}_{Low}$): Captura el complemento ortogonal. Aunque a menudo contiene ruido, el artículo argumenta que estas direcciones preservan información crítica para la generalización OOD.

2. Partición Automática

A diferencia de los métodos que requieren un umbral fijo, MonoSoup determina el índice de partición $k$ automáticamente utilizando el rango efectivo basado en la entropía (Roy & Vetterli, 2007):
$$k^{(\ell)} = \left\lfloor \exp\left( - \sum_i p^{(\ell)}_i \ln p^{(\ell)}_i \right) \right\rfloor$$
donde $p^{(\ell)}_i$ es la distribución de valores singulares normalizada. Esto permite que el método se adapte a las propiedades espectrales heterogéneas de diferentes capas y arquitecturas sin necesidad de ajuste manual.

3. Reponderación Adaptativa

En lugar de descartar el componente de baja energía, MonoSoup repondera ambos componentes utilizando coeficientes por capa $\lambda^{(\ell)}_{High}$ y $\lambda^{(\ell)}_{Low}$:
$$W^{(\ell)}_{MonoSoup} = \lambda^{(\ell)}_{High} W^{(\ell)}_{High} + \lambda^{(\ell)}_{Low} W^{(\ell)}_{Low}$$
El coeficiente para el componente de baja energía, $\lambda^{(\ell)}_{Low}$, se deriva de dos señales:

1. Decaimiento Espectral ($\rho^{(\ell)}$): Mide la inclinación del espectro de valores singulares.
2. Alineación Geométrica ($\cos \alpha^{(\ell)}$): Mide la fracción de la energía de actualización transportada por las direcciones de baja energía.

La regla de ponderación se define como:
$$\lambda^{(\ell)}_{Low} = \rho^{(\ell)} + (1 - \rho^{(\ell)}) \cos \alpha^{(\ell)}$$
$$\lambda^{(\ell)}_{High} = 1 - \lambda^{(\ell)}_{Low}$$
Esta formulación asegura que los componentes de baja energía se retengan solo cuando el espectro es plano o la actualización está bien alineada, suprimiendo eficazmente el ruido mientras se preservan las señales robustas.

Contribuciones Clave

1. Análisis Geométrico de la Fusión: Los autores establecen que la fusión exitosa de múltiples modelos depende de la alineación de las actualizaciones de ajuste fino. Validan esto introduciendo la Similarity-Filtered Greedy Soup (SFGS), una variante libre de datos que selecciona modelos basándose en la alineación geométrica en lugar de métricas de validación, confirmando que la alineación es un proxy fiable para la efectividad de la fusión.
2. Algoritmo MonoSoup: Un método novedoso de un solo punto de control que descompone las actualizaciones de peso en subespacios de alta y baja energía y las repondera de forma adaptativa. Elimina la necesidad de múltiples puntos de control mientras aborda los efectos anisotrópicos que los métodos de interpolación uniforme ignoran.
3. Validación Empírica: Experimentos extensos en modelos de visión (CLIP, ConvNeXt) y lenguaje (Qwen) demuestran que MonoSoup mejora consistentemente la generalización OOD manteniendo o incluso mejorando la precisión ID.

Resultados

• Visión (CLIP ViT-B/32): MonoSoup mejora la precisión promedio OOD del baseline más fuerte en aproximadamente un $\sim 1\%$ y recupera hasta un 8% en checkpoints más débiles con colapso de representación, todo ello manteniendo una fuerte precisión ID. Igual el rendimiento de los métodos de múltiples modelos (Model Soups, Model Stock) utilizando un solo punto de control.
• Lenguaje (Qwen3-0.6B): En benchmarks de razonamiento matemático y QA, MonoSoup supera al baseline ajustado y al método LiNeS. Muestra ganancias significativas en tareas OOD desafiantes como GSMPlus y GSM8KPlatinum (hasta +9.2 puntos).
• Integración: Al combinarse con Wise-FT, MonoSoup proporciona un punto de partida más fuerte para la interpolación, resultando en frentes de Pareto que dominan a los de Wise-FT y LiNeS por sí solos.
• Eficiencia: MonoSoup es una operación de un solo paso y libre de datos. Para un modelo de 14 mil millones de parámetros, reduce el costo de tiempo de ejecución (wall-clock cost) en aproximadamente $10^3$–$10^4\times$ y el almacenamiento en un orden de magnitud en comparación con el entrenamiento de múltiples puntos de control para Model Soups.

Significado y Reivindicaciones

El artículo afirma que MonoSoup ofrece una alternativa práctica de "conectar y usar" (plug-and-play) a la combinación de modelos (ensembling) de múltiples puntos de control. Al comprimir los beneficios de los model soups en un procedimiento de un solo modelo, aborda las barreras computacionales y de almacenamiento para el despliegue de modelos robustos. Los autores enfatizan que su enfoque es particularmente valioso para profesionales que carecen de los recursos para reproducir grandes barridos de hiperparámetros o mantener múltiples puntos de control.

Crucialmente, el artículo señala que, si bien MonoSoup mejora significativamente la robustez contra los desplazamientos de distribución natural, no es un sustituto para las evaluaciones de seguridad específicas de la aplicación contra perturbaciones adversarias. Su principal contribución social es la reducción sustancial de los costos de cómputo y almacenamiento requeridos para desplegar modelos robustos, haciendo que la IA de alto rendimiento y generalizable sea más accesible.