How does the optimizer implicitly bias the model merging loss landscape?

Aquí presento un resumen técnico detallado del artículo "How Does the Optimizer Implicitly Bias the Model Merging Loss Landscape?", publicado como ponencia en ICLR 2026.

1. Planteamiento del Problema

El fusión de modelos (model merging) es una técnica que combina soluciones independientes entrenadas con diferentes capacidades en un único modelo, manteniendo el mismo costo de inferencia. Los métodos populares incluyen la interpolación lineal (promedio de pesos) y la aritmética de tareas (combinación de vectores de tareas).

A pesar de su utilidad práctica, existe una brecha fundamental en la comprensión teórica:

• ¿Por qué algunos modelos, a pesar de tener un rendimiento individual similar, son compatibles para fusionarse mientras que otros fallan?
• Los factores que afectan la dinámica de optimización (tasa de aprendizaje, peso de decaimiento, tamaño de lote, etc.) no se han estudiado exhaustivamente en relación con el paisaje de pérdida de la fusión.
• La práctica actual depende en gran medida de ensayo y error, requiriendo entrenar y evaluar múltiples candidatos para identificar cuáles se fusionan exitosamente.

El objetivo del trabajo es entender cómo la dinámica de optimización moldea la geometría del paisaje de pérdida y cómo esto influye en el éxito de la fusión de modelos.

2. Metodología

Los autores proponen que un único factor subyacente, la escala de ruido efectiva ($\tilde{S}$), unifica el impacto de los diferentes componentes del optimizador en la fusión de modelos.

Definición de la Escala de Ruido Efectiva

Basándose en la teoría de optimización estocástica (SDE), definen la escala de ruido efectiva como:
$$\tilde{S} \propto \frac{\eta}{B(1 - \mu)}$$
Donde:

• $\eta$: Tasa de aprendizaje (Learning Rate).
• $B$: Tamaño del lote (Batch Size).
• $\mu$: Momentum.
• El término también depende de la covarianza del ruido del gradiente, que se ve afectada por la aumentación de datos.

Diseño Experimental

El estudio abarca múltiples arquitecturas (MLP, ResNet18, DenseNet121, Transformers, CLIP), datasets (SVHN, CIFAR-10/100, TinyImageNet, TinyStories) y configuraciones:

1. Interpolación Lineal: Fusión de dos modelos entrenados desde cero en la misma tarea.
2. Aritmética de Tareas: Fusión basada en vectores de tarea, tanto en aprendizaje por transferencia como en entrenamiento desde cero.
3. Análisis de Simetría: Uso de permutaciones para alinear modelos entrenados con inicializaciones aleatorias.
4. Métricas: Se mide la ganancia de precisión (o reducción de pérdida) del modelo fusionado en comparación con los modelos individuales.

3. Contribuciones Clave

1. Unificación a través del Ruido Efectivo: Demuestran que la tasa de aprendizaje, el peso de decaimiento, el tamaño del lote y la aumentación de datos no actúan de forma aislada, sino que modulan la escala de ruido efectiva. Esta escala es el determinante principal de la compatibilidad de fusión.
2. Relación No Monotónica: Descubren que el éxito de la fusión es una función no monótona de la escala de ruido efectiva.
   • Ruido muy bajo: Los modelos convergen a mínimos agudos y estrechos, dificultando la fusión.
   • Ruido muy alto: La inestabilidad del entrenamiento impide la convergencia o genera soluciones incompatibles.
   • Punto Crítico (Ruido Moderado): Existe un régimen óptimo de ruido que maximiza la ganancia de fusión, creando un paisaje de pérdida con "valles" más planos y conectados.
3. Sesgo Implícito del Optimizador: El trabajo extiende la comprensión del sesgo implícito de los optimizadores. No solo afecta la generalización de un solo modelo (encontrar mínimos planos), sino que determina la geometría global entre soluciones independientes, dictando si pueden conectarse mediante caminos de baja pérdida.
4. Análisis de Componentes Individuales:
   • Tasa de Aprendizaje ($\eta$): Tasas más altas (dentro de un rango estable) identifican soluciones más compatibles.
   • Peso de Decaimiento ($\lambda$): En redes invariantes a la escala (con normalización), un mayor $\lambda$ actúa como un aumento de la tasa de aprendizaje efectiva, mejorando la fusión.
   • Tamaño de Lote ($B$): Lotes más pequeños inyectan más ruido, mejorando la fusión hasta cierto punto.
   • Aumentación de Datos: Introduce ruido estocástico adicional que complementa el ruido del gradiente, mejorando la compatibilidad.

4. Resultados Principales

• Interpolación Lineal: En tareas de visión (CIFAR, TinyImageNet), las soluciones entrenadas con una escala de ruido efectiva moderadamente alta muestran ganancias de precisión de hasta +1.5% al fusionarse, mientras que las configuraciones con ruido bajo o excesivo muestran ganancias cercanas a cero o negativas.
• Aritmética de Tareas:
  • En aprendizaje por transferencia (ej. CLIP finetuneado), una mayor tasa de aprendizaje produce soluciones con un paisaje de pérdida más plano y robusto a la interpolación de coeficientes $\alpha$.
  • En la fusión de diferentes tareas, la combinación de modelos entrenados con tasas de aprendizaje similares y moderadamente altas ofrece el mejor rendimiento. Sin embargo, fusionar un modelo con ruido muy alto con uno de ruido bajo resulta en incompatibilidad.
• Simetría de Permutación: Un mayor ruido efectivo simplifica el proceso de "rebasado" (re-basing) mediante permutaciones, alineando mejor las características de modelos entrenados con inicializaciones aleatorias.
• Alineación de Características: Paradójicamente, un mayor ruido efectivo reduce la alineación de características (CKA) entre ramas individuales, lo que sugiere que la fusión se beneficia de la diversidad de características que el ruido promueve, en lugar de la alineación perfecta.

5. Significado e Impacto

Este trabajo transforma la comprensión de la fusión de modelos de un proceso empírico a uno guiado por principios de dinámica de optimización:

• Simplificación de la Búsqueda de Hiperparámetros: Sugiere que para mejorar la fusión, no es necesario buscar combinaciones complejas de hiperparámetros, sino enfocarse en ajustar la escala de ruido efectiva hacia su punto crítico óptimo.
• Diseño de Entrenamiento: Los investigadores pueden manipular intencionalmente la dinámica de entrenamiento (aumentando $\eta$, reduciendo $B$, o ajustando $\lambda$) no solo para mejorar el rendimiento individual, sino para crear modelos que sean intrínsecamente fusionables.
• Generalización de Teoría: Conecta la teoría de la generalización de modelos individuales (mínimos planos) con la teoría de la conectividad de modos entre múltiples modelos, ofreciendo una visión unificada de cómo el ruido estocástico moldea la topología del paisaje de pérdida.

En conclusión, el artículo establece que la escala de ruido efectiva es el factor unificador que controla la geometría del paisaje de pérdida necesario para la fusión exitosa de modelos, proporcionando una hoja de ruta clara para optimizar estrategias de entrenamiento destinadas a la fusión de modelos.