💻 computer science

From Memorization to Parameter Interference: How Overtraining Experts Harms Model Merging

Este artículo desafía la suposición de que optimizar los modelos expertos para el rendimiento individual beneficia la fusión de modelos posterior, demostrando en cambio que el sobreentrenamiento conduce a la memorización y a una interferencia negativa de parámetros que degrada el rendimiento fusionado, un problema mitigado eficazmente mediante la detención temprana dependiente de la tarea.

Autores originales: Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: "Menos es Más" (Incluso para la IA)

Imagina que tienes un equipo de chefs expertos. Cada chef ha sido entrenado para una receta específica: uno hace la pizza perfecta, otro el sushi perfecto y otro el pastel perfecto.

En el mundo de la IA, solemos tomar un modelo "base" (un chef de conocimientos generales) y lo ajustamos para que se convierta en un experto en una tarea específica. Luego, queremos combinar todos estos diferentes chefs expertos en un solo "Súper Chef" que pueda hacerlo todo a la vez. Este proceso se llama Model Merging (Fusión de Modelos).

La creencia común era: "Cuanto mejor se vuelva cada chef individual en su receta específica, mejor será el Súper Chef".

Este artículo demuestra que esa creencia es errónea. De hecho, si entrenas a tus expertos individuales durante demasiado tiempo, el Súper Chef resultante se vuelve peor.

El Problema: El Experto "Sobreentrenado"

Los autores descubrieron un fenómeno que llaman "Overtraining" (Sobreentrenamiento).

Piénsalo como un estudiante que estudia intensamente para un examen.

Al principio del entrenamiento: El estudiante aprende las reglas generales de las matemáticas. Entiende los conceptos.
Al final del entrenamiento: El estudiante deja de aprender nuevos conceptos y comienza a memorizar las preguntas específicas, extrañas y difíciles del examen de práctica. Memoriza la redacción exacta de los problemas más difíciles, incluso aquellos con errores tipográficos o frases confusas.

En términos de IA, cuando un modelo experto es entrenado durante demasiados pasos, deja de aprender patrones generales y comienza a memorizar un pequeño conjunto de ejemplos muy difíciles y extraños de sus datos de entrenamiento.

La Colisión: Por qué la Fusión Falla

Ahora, imagina que intentas combinar estos chefs que "memorizan" en un Súper Chef.

El Chef A memorizó que la "Pizza" siempre tiene una mancha específica y extraña en la corteza debido a una mala foto en sus datos de entrenamiento.
El Chef B memorizó que el "Sushi" siempre tiene una textura específica y extraña debido a una imagen con ruido.

Cuando intentas fusionarlos, sus cerebros (los parámetros de la computadora) comienzan a pelear. El Chef A dice: "¡La corteza debe tener una mancha!". El Chef B dice: "¡No, la textura debe ser extraña!".

Debido a que memorizaron detalles específicos e idiosincrásicos en lugar de reglas generales, sus instrucciones se cancelan entre sí. Esto se llama Interferencia de Parámetros Negativa.

El resultado es que el Súper Chef olvida por completo las cosas difíciles. Puede hacer pizzas y sushi simples (los ejemplos fáciles), pero falla completamente en las tareas difíciles porque las instrucciones memorizadas y conflictivas destruyeron el conocimiento.

La Evidencia: La Trampa de los "Ejemplos Difíciles"

Los investigadores utilizaron una herramienta para medir qué tan "difícil" era un ejemplo de entrenamiento. Descubrieron que:

Al principio del entrenamiento: El modelo aprende los ejemplos fáciles rápidamente.
Al final del entrenamiento: El modelo pasa todo su tiempo obsesionado con los ejemplos más difíciles del 10%.
El Desastre de la Fusión: Cuando fusionaron modelos que habían sido entrenados durante mucho tiempo, los "ejemplos difíciles" fueron los primeros en olvidarse. El modelo perdió la capacidad de manejar casos difíciles porque los datos memorizados y conflictivos los borraron.

Curiosamente, descubrieron que realmente necesitas algo de memorización para obtener buenos resultados. Si eliminas los ejemplos difíciles por completo, el modelo falla. Pero si dejas que el modelo memorice demasiado (entrenándolo por demasiado tiempo), el proceso de fusión se rompe.

La Solución: ¡Detente Temprano!

El artículo sugiere una solución simple: Parada Temprana Agresiva (Aggressive Early Stopping).

En lugar de entrenar tus modelos expertos hasta que sean perfectos en su tarea específica, deberías detener el entrenamiento mucho antes.

La forma antigua: Entrenar hasta que el experto obtenga un 90% de precisión. (Resultado: Mal Súper Chef).
La nueva forma: Entrenar hasta que el experto obtenga un 85% de precisión y luego detenerse. (Resultado: Gran Súper Chef).

Al detenerte temprano, los expertos no han tenido tiempo de memorizar esos ejemplos extraños y difíciles. Retienen las reglas generales que funcionan bien para todos. Cuando los fusionas, coinciden en las reglas generales y el Súper Chef se vuelve mucho más capaz.

Conclusiones Clave

Mejores Expertos $\neq$ Mejores Fusiones: Solo porque un modelo de IA individual sea mejor en su trabajo específico, no significa que ayudará a construir un modelo combinado mejor. A veces, "suficientemente bueno" es en realidad mejor para el equipo.
La Memorización es el Enemigo de la Fusión: Cuanto más memoriza un modelo puntos de datos específicos y difíciles, más difícil es combinarlo con otros modelos.
Detén el Entrenamiento Antes: Ya sea que estés usando entrenamiento de modelo completo o adaptadores "LoRA" eficientes (una forma ligera de entrenar), detener el proceso de entrenamiento temprano produce mejores resultados al fusionar.
Funciona en Todas Partes: Esto sucede tanto con modelos de imagen (como reconocer autos o gatos) como con modelos de lenguaje (como responder preguntas), y ocurre independientemente del tamaño del modelo.

En resumen: No permitas que tus expertos de IA se obsesionen demasiado con los detalles más difíciles. Mantenlos enfocados en el panorama general y, cuando los combines, trabajarán mucho mejor juntos.

Resumen Técnico: De la Memorización a la Interferencia de Parámetros

Planteamiento del Problema

El aprendizaje profundo moderno depende en gran medida de un flujo de trabajo en el que los modelos fundacionales de pesos abiertos se preentrenan con datos generales y, posteriormente, se ajustan finamente (fine-tuning) en tareas especializadas para crear modelos "expertos". Estos expertos suelen fusionarse para combinar capacidades en un único modelo más capaz. Un supuesto prevalente en este flujo de trabajo es que las mejoras en la etapa de ajuste fino (es decir, lograr una mayor precisión en la tarea específica del experto) se propagan hacia abajo para mejorar el rendimiento del modelo fusionado.

Este artículo desafía ese supuesto. Los autores investigan la relación entre la duración del ajuste fino del experto y la eficacia de la fusión de modelos. Postulan que el "sobreentrenamiento" de los expertos —optimizándolos hacia la convergencia o más allá en sus tareas individuales— puede, de hecho, degradar el rendimiento del modelo resultante tras la fusión, a pesar de que los expertos funcionen mejor en sus tareas nativas.

Metodología

El estudio emplea un análisis empírico sistemático a través de modalidades de visión y lenguaje, utilizando diversas familias de modelos (ViT-B-32, ViT-L-14, T5-Base/Large/3B, BERT-Base) y regímenes de adaptación (Ajuste Fino Completo y Adaptación de Bajo Rango/LoRA).

Configuración Experimental:

Datasets: 8 tareas de clasificación de imágenes (p. ej., Cars, MNIST, SVHN) y 7 tareas de NLP (p. ej., QASC, Winogrande).
Duración del Entrenamiento: Los expertos fueron ajustados finamente durante un número variable de pasos ( $s \in \{2, \dots, 2048\}$ ).
Métodos de Fusión: Los autores evaluaron múltiples técnicas de fusión, incluyendo el Promedio Simple de Parámetros, Aritmética de Tareas (TA), TIES, DARE y métodos basados en SVD (Iso-C, Iso-CTS, TSV-M).
Evaluación: La métrica principal es el promedio bruto y no normalizado de la precisión de prueba (test accuracy) en todas las tareas del modelo fusionado. Los autores evitan explícitamente las métricas de precisión normalizada para prevenir inconsistencias derivadas del rendimiento variable de los expertos en los distintos experimentos.

Herramientas Analíticas:
Para explicar los fenómenos observados, los autores utilizan puntuaciones de dificultad de datos (específicamente la puntuación EL2N) para categorizar los ejemplos de entrenamiento en grupos de dificultad (de los más fáciles a los más difíciles). Analizan:

Memorización: Utilizando el marco de memorización de Feldman para medir cuánto depende la confianza de un modelo sobre un ejemplo específico de haber visto dicho ejemplo durante el entrenamiento.
Interferencia de Parámetros: Cuantificando el conflicto entre los vectores de tarea mediante métricas como el porcentaje de conflicto de signo, el solapamiento de parámetros, la relación de magnitud y la varianza por parámetro.
Aislamiento Causal: Realizando experimentos donde subconjuntos específicos de datos (fáciles, medios, difíciles) son excluidos para medir su impacto individual en el comportamiento del modelo y en los resultados de la fusión.

Hallazgos Clave

1. El Sobreentrenamiento Perjudica la Fusión

Contrario al supuesto de que mejores expertos producen mejores fusiones, los autores encuentran que un entrenamiento más largo conduce a una degradación en el rendimiento de la fusión.

Visión y Lenguaje: En ambos dominios, la precisión de la fusión alcanza su máximo en pasos de entrenamiento intermedios (p. ej., 256 pasos para T5, 128 para ViT-LoRA) y declina significamente a medida que el entrenamiento continúa hasta los 2048 pasos.
Magnitud del Impacto: La degradación es severa. Para modelos adaptados con LoRA, la precisión de la fusión puede caer más de un 16% (p. ej., método TIES) al pasar de un punto de parada temprana óptimo a puntos de control (checkpoints) sobreentrenados.
Rendimiento del Experto vs. Fusionado: Mientras que la precisión del experto en sus tareas específicas continúa mejorando con un entrenamiento más largo, el rendimiento del modelo fusionado se deteriora. Por ejemplo, en NLP, la precisión del experto mejoró un 3.7% de 256 a 2048 pasos, mientras que la precisión de la fusión cayó al menos un 2.4% en todos los métodos.

2. El Mecanismo: Memorización e Interferencia

El artículo atribuye esta degradación a la memorización de ejemplos difíciles durante las etapas tardías del entrenamiento.

Memorización de Ejemplos Difíciles: Las etapas tempranas del entrenamiento están dominadas por el aprendizaje de características comunes (ejemplos fáciles). Las etapas finales del entrenamiento son impulsadas por la memorización de una pequeña fracción de "ejemplos difíciles" (valores atípicos o etiquetas ruidosas).
Actualizaciones Idiosincrásicas: La memorización de estos ejemplos difíciles conduce a actualizaciones de parámetros idiosincrásicas que no generalizan entre tareas.
Interferencia Negativa de Parámetros: Al fusionar, estas actualizaciones de parámetros específicas de la tarea y memorizadas causan una interferencia negativa. Los autores demuestran que los ejemplos difíciles son desproporcionadamente olvidados durante el proceso de fusión (más del 50% de los puntos de datos olvidados pertenecen al 30% de los ejemplos más difíciles), mientras que los ejemplos fáciles se clasifican correctamente.
Evidencia Cuantitativa: Las métricas de interferencia de parámetros (conflicto de signo, solapamiento, varianza) aumentan sistemáticamente con la duración del entrenamiento, confirmando que un entrenamiento más largo crea actualizaciones de parámetros más conflictivas.

3. La Necesidad de Algo de Memorización

Los autores demuestran que, si bien la memorización excesiva es perjudicial, cierta memorización es necesaria para una fusión óptima. Eliminar los ejemplos más difíciles del entrenamiento perjudica consistentemente el rendimiento de la fusión, lo que sugiere que se requiere un equilibrio donde se aprendan características generalizables sin sobreajustarse al ruido idiosincrásico.

4. La Parada Temprana (Early Stopping) como Solución

El artículo propone la parada temprana agresiva como un principio general para mitigar el sobreentrenamiento.

Estrategias Dependientes de la Tarea: Al detener el entrenamiento cuando la precisión de validación se estanca (en lugar de entrenar por un número fijo de pasos), los autores logran un rendimiento de fusión que iguala o supera los mejores resultados obtenidos con el entrenamiento de pasos fijos, aun cuando los expertos individuales son menos precisos en sus tareas específicas.
Especificidades de LoRA: La parada temprana es particularmente efectiva para los adaptadores LoRA, recuperando la precisión de fusión óptima que de otro modo se perdería con un entrenamiento estándar de larga duración.

Significado y Reivindicaciones

El artículo afirma introducir una nueva dimensión crítica al campo de la fusión de modelos: la duración del entrenamiento del experto.

Cambio de Paradigma: Desafía la práctica estándar de entrenar expertos hasta la convergencia antes de fusionarlos. Los autores argumentan que el "mejor" experto para la fusión es a menudo un experto "subentrenado" que aún no ha memorizado ejemplos difíciles e idiosincrásicos.
Guía Práctica: El trabajo proporciona orientación accionable para profesionales:
1. Publicar Puntos de Control Intermedios: Dado que el punto óptimo de fusión suele preceder a la convergencia, la publicación de puntos de control intermedios es crucial.
2. Priorizar la Parada Temprana: Al entrenar expertos para la fusión, la parada temprana agresiva puede producir mejores resultados derivados que el entrenamiento de larga duración estándar.
Eficiencia: Al reducir la duración del entrenamiento requerida para la fusión óptima, estos hallazgos pueden reducir significamente los costos computacionales y ambientales asociados con el entrenamiento y la fusión de modelos de IA.
Generalizabilidad: El fenómeno se muestra robusto a través de escalas de modelos (desde 220M hasta 3B de parámetros), arquitecturas (ViT, T5, BERT) y métodos de adaptación (FFT, LoRA), así como estrategias de upcycling alternativas como Model MoErging.

Los autores concluyen que la gestión cuidadosa de la dinámica de entrenamiento de los expertos, específicamente evitando la memorización de ejemplos difíciles en las etapas finales, es esencial para desbloquear todo el potencial de los flujos de trabajo de fusión de modelos.