🤖 machine learning

Multi-Objective Bayesian Optimization for Model Merging

Este artículo presenta MOBO-Merge, un marco de trabajo que emplea la optimización bayesiana multiobjetivo para seleccionar eficientemente los parámetros de fusión al combinar múltiples modelos en el espacio de pesos, demostrando un rendimiento superior sobre la búsqueda aleatoria a través de varios operadores de fusión y configuraciones de modelos.

Autores originales: Utkarsh Agarwal, Vamshi Bonagiri, Raul Astudillo, Monojit Choudhury

Publicado 2026-08-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Utkarsh Agarwal, Vamshi Bonagiri, Raul Astudillo, Monojit Choudhury

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef que ha pasado años perfeccionando dos recetas diferentes: una es el mejor pastel de chocolate del mundo y la otra es la lasaña más sabrosa y compleja. Tienes una cocina mágica donde no puedes simplemente mezclar los ingredientes en un bol y esperar lo mejor; en su lugar, tienes que mezclar los pasteles y las lasañas ya terminados capa por capa para crear un nuevo plato. Este es el mundo de la fusión de modelos de Inteligencia Artificial (IA). En este rincón de la informática, los investigadores toman dos o más modelos de IA que ya han sido entrenados para realizar tareas específicas —como uno que es excelente resolviendo problemas matemáticos y otro que es excelente escribiendo código— e intentan combinar en uno solo un modelo súper inteligente sin tener que reentrenarlos desde cero.

La parte difícil es averiguar cómo mezclarlos. Si los mezclas 50-50, podrías obtener un pastel-lasaña mediocre que no sabe ni a uno ni a otro. Si los mezclas 90-10, podrías perder por completo el sabor de la lasaña. Esto se llama el problema del parámetro de fusión. Normalmente, encontrar la mezcla perfecta es como intentar encontrar una aguja en un pajar agarrando puñados de paja al azar. Es costoso, consume mucho tiempo y suele ser frustrante porque no puedes ver la "receta" (las matemáticas detrás de la IA) para guiarte. Este artículo plantea una pregunta simple pero poderosa: ¿Podemos usar una estrategia inteligente basada en conjeturas para encontrar las mejores mezclas mucho más rápido que simplemente adivinando al azar?

La Guía del Chef Inteligente para Mezclar Modelos de IA

Conoce a MOBO-Merge, el nuevo "chef inteligente" presentado en este artículo. Los autores, un equipo de la Universidad Universitaria de Inteligencia Artificial Mohamed bin Zayed, se dieron cuenta de que mezclar modelos de IA es un poco como intentar encontrar el equilibrio perfecto entre dos sabores opuestos. Quieres que tu nueva IA sea buena en ambas cosas (seguir instrucciones —escucharte— y razonamiento matemático —resolver problemas—), pero generalmente, hacerla mejor en una la hace ligeramente peor en la otra.

En lugar de intentar encontrar una única mezcla "perfecta", los autores decidieron buscar el frente de Pareto. Piensa en esto como un mapa de todos los "mejores compromisos posibles". En este mapa, cada punto representa una mezcla donde no puedes obtener más habilidad matemática sin perder algo de habilidad de instrucción, y viceversa. El objetivo no es elegir un solo ganador, sino descubrir todo el panorama de grandes opciones para que puedas elegir la que mejor se adapte a tus necesidades.

El Problema: La Cocina de "Caja Negra"

El desafío es que probar una nueva mezcla es increíblemente costoso. Para ver si una mezcla funciona, tienes que construir el nuevo modelo de IA y someterlo a cientos de preguntas de prueba. Es como hornear un pastel entero solo para probar una cucharada. No puedes probarlo mientras se está horneando (no hay "gradientes" que te guíen) y solo tienes un número limitado de ingredientes (un presupuesto limitado para pruebas).

Si simplemente probaras mezclas aleatorias (como lanzar dardos a una tabla), podrías tener suerte, pero desperdiciarías mucho tiempo e ingredientes. Si la receta de mezcla es simple (como mezclar dos modelos con un solo mando), adivinar al azar no es tan malo. Pero si la receta es compleja —como tener diferentes mandos para diferentes capas del pastel—, adivinar al azar se convierte en un desastre.

La Solución: La Máquina de "Adivinación Inteligente"

Los autores crearon MOBO-Merge, un marco de trabajo que utiliza la Optimización Bayesiana Multiobjetivo. En lenguaje sencillo, esto es una máquina de "adivinación inteligente".

Así es como funciona:

El Modelo Sustituto: En lugar de hornear un pastel cada vez, la máquina construye un "mapa de predicción" basado en las pocas mezclas que ya ha probado. Aprende: "Ah, cuando mezclamos 30% del Modelo A y 70% del Modelo B, la puntuación de matemáticas sube, pero la de instrucción baja".
La Función de Adquisición: Esta es la intuición de la máquina. Mira el mapa y pregunta: "¿Dónde debería probar la próxima vez para aprender lo máximo posible?". No busca solo la puntuación más alta; busca los puntos que le ayudarán a dibujar el mejor "mapa de compromiso" (el frente de Pareto).
El Bucle: Elige una nueva mezcla, la prueba, actualiza su mapa y repite el proceso.

Los autores probaron esto en dos familias de IA famosas: Qwen3-4B y Llama-3.1-8B. Intentaron mezclarlas de diferentes maneras:

Lineal: Una mezcla simple (un mando).
TIES: Un método más complejo que intenta corregir las "instrucciones en conflicto" entre los modelos (cuatro mandos).
Block-Linear: Un método que trata las diferentes capas de la IA como bloques separados, permitiendo una mezcla muy refinada (cuatro u ocho mandos).

Lo que Encontraron

Los resultados fueron como una búsqueda del tesoro con un mapa muy inteligente.

Mezclas Simples: Cuando la mezcla era simple (solo un mando), la "adivinación inteligente" (MOBO-Merge) era solo ligeramente mejor que el azar. De hecho, en una prueba específica con el modelo Qwen, el azar fue un poco mejor. Esto sugiere que para recetas simples, no necesitas una supercomputadora para encontrar la mezcla.
Mezclas Complejas: Pero cuando la mezcla se complicó (usando TIES o Block-Linear con múltiples mandos), MOBO-Merge brilló. Encontró mezclas mucho mejores que la búsqueda aleatoria. Por ejemplo, con el modelo Llama usando el método TIES, MOBO-Merge encontró una mezcla que era significativamente mejor de lo que la búsqueda aleatoria podría encontrar.
El Desafío de los "Tres Modelos": Los autores también intentaron mezclar tres modelos a la vez (Instrucción + Matemáticas + Código). Aquí, la ventaja de la adivinación inteligente fue enorme. En un caso con el modelo Llama, MOBO-Merge encontró una mezcla que era más del doble de buena que la mejor mezcla aleatoria.

Uno de los descubrimientos más interesantes fue que no existe un único "mejor" método de mezcla. A veces, el método simple Lineal funciona mejor; otras veces, los métodos complejos TIES o Block-Linear ganan. Depende enteramente de qué modelos de IA estés mezclando y qué quieras lograr.

Por Qué Esto Importa

El artículo sugiere que MOBO-Merge es una herramienta poderosa para cualquiera que intente combinar modelos de IA. No inventa una nueva forma de mezclar los modelos; en su lugar, proporciona una forma más inteligente de buscar la mezcla adecuada.

Al usar este método, los investigadores pueden encontrar combinaciones de capacidades de IA de alta calidad sin necesidad de realizar miles de pruebas costosas. Convierte un proceso que antes era un juego de suerte en una exploración sistemática. Los autores descubrieron que, en 11 de los 12 escenarios de prueba, MOBO-Merge encontró mejores "mapas de compromiso" que la búsqueda aleatoria.

Sin embargo, los autores advierten que esto no es una varita mágica que lo soluciona todo. El método sigue requiriendo la ejecución de pruebas, lo que cuesta dinero y tiempo. Funciona mejor cuando la receta de mezcla es compleja, y no garantiza que la mezcla funcione perfectamente en cada tarea individual. Pero para aquellos que buscan construir sistemas de IA flexibles y multihabilidad sin tener que reentrenarlos desde cero, este enfoque de "adivinación inteligente" ofrece un camino mucho más eficiente hacia adelante.

Al final, el artículo demuestra que, aunque no siempre podemos predecir la receta perfecta para una super-IA, ciertamente podemos dejar de adivinar a ciegas y empezar a explorar las posibilidades con un poco de intuición matemática.

Resumen Técnico: Optimización Bayesiana Multiobjetivo para la Fusión de Modelos

Formulación del Problema

La fusión de modelos ofrece una alternativa computacionalmente eficiente al ajuste fino (fine-tuning) adicional al combinar modelos entrenados directamente en el espacio de pesos. Sin embargo, la selección de los parámetros de fusión es un desafío porque las evaluaciones posteriores son costosas, los gradientes con respecto a los parámetros de fusión no están disponibles y los modelos de origen suelen poseer capacidades conflictivas (por ejemplo, seguimiento de instrucciones frente a razonamiento matemático).

Los autores formulan la selección de parámetros de fusión como un problema de optimización multiobjetivo de caja negra costosa. En este entorno:

Entrada: Un espacio de parámetros de fusión de baja dimensión $X$ (por ejemplo, pesos globales, coeficientes por bloques) y un conjunto de modelos de origen $\theta_1, \dots, \theta_K$ .
Proceso: Un operador de fusión $M$ combina los modelos de origen en un modelo fusionado $\theta(x) = M(\theta_1, \dots, \theta_K; x)$ .
Objetivo: Maximizar un vector de métricas de rendimiento $f(x) = (f_1(\theta(x)), \dots, f_M(\theta(x)))$ , donde cada $f_i$ corresponde a una capacidad distinta (por ejemplo, instrucción, matemáticas, código).
Restricción: Las evaluaciones son costosas y ruidosas, lo que limita el número total de configuraciones que pueden ser probadas.
Meta: En lugar de encontrar una única solución óptima, el objetivo es aproximar eficientemente el frente de Pareto —el conjunto de soluciones no dominadas que exponen los compromisos óptimos entre capacidades competitivas.

Metodología: MOBO-Merge

El artículo introduce MOBO-Merge, un marco que aplica la optimización bayesiana multiobjetivo (MOBO) a la tarea de fusión de modelos. El marco es agnóstico al operador de fusión, lo que significa que puede aplicarse a diversas estrategias de fusión (Lineal, SLERP, TIES, por bloques) sin modificaciones en el núcleo de optimización.

El algoritmo opera de la siguiente manera:

Modelado de Sustituto Probabilístico: MOBO-Merge mantiene un modelo probabilístico de las funciones objetivo basado en los parámetros de fusión evaluados previamente. En los experimentos, esto se instancia utilizando modelos de Procesos Gaussianos (GP) independientes para cada objetivo.
Función de Adquisición: Para seleccionar la siguiente configuración de fusión, el marco utiliza una función de adquisición de Mejora de Hipervolumen Esperada con Ruido (NEHVI). Esta función califica los parámetros candidatos basándose en su contribución esperada a la calidad de la aproximación actual del frente de Pareto, apuntando específicamente a la expansión del hipervolumen dominado.
Optimización Secuencial: El proceso itera:
- Ajustar el modelo sustituto al conjunto de datos actual.
- Optimizar la función de adquisición para seleccionar el siguiente parámetro de fusión $x_{t+1}$ .
- Instanciar el modelo fusionado, evaluarlo en benchmarks posteriores y actualizar el conjunto de datos.
Salida: El algoritmo devuelve el conjunto de soluciones no dominadas encontradas durante la búsqueda, aproximando el frente de Pareto.

Configuración Experimental

Los autores evaluaron MOBO-Merge en dos familias de modelos: Qwen3-4B y Llama-3.1-8B.

Configuraciones:
- Dos modelos (AB): Fusionar un checkpoint de seguimiento de instrucciones y un checkpoint de razonamiento matemático.
- Tres modelos (ABC): Añadir un checkpoint de generación de código a la mezcla.
Operadores de Fusión:
- Lineal: Promedio ponderado global.
- SLERP: Interpolación lineal esférica (restringida a configuraciones de dos modelos en la comparación principal).
- TIES: Fusión consciente de la interferencia que recorta y resuelve conflictos de signo.
- Block-Linear 4x: Una interpolación lineal por bloques donde las capas se particionan en cuatro bloques disjuntos, cada uno con su propio coeficiente de mezcla.
Líneas Base: MOBO-Merge (usando NEHVI) se comparó contra la búsqueda aleatoria uniforme sobre el mismo espacio de parámetros y presupuesto de evaluación (100 pasos secuenciales).
Métricas: El rendimiento se midió en particiones no utilizadas de IFEval (instrucción), GSM8K (matemáticas) y HumanEval (código). La métrica principal para comparar las estrategias de búsqueda fue el hipervolumen del frente de Pareto recuperado.

Resultados Clave

Los experimentos demuestran que la búsqueda multiobjetivo guiada supera significativamente a la búsqueda aleatoria, particularmente en espacios de parámetros de mayor dimensión:

Superioridad sobre la Búsqueda Aleatoria: A través de 12 configuraciones experimentales distintas (combinaciones de familia de modelos, conjunto de objetivos y operador de fusión), MOBO-Merge logró un hipervolumen medio de held-out más alto que la búsqueda aleatoria en 11 de los 12 casos.
Dependencia de la Dimensionalidad:
- Una dimensión (Lineal): La ganancia fue marginal. Para Qwen AB, la búsqueda aleatoria superó ligeramente a MOBO-Merge; para Llama AB, la ganancia fue pequeña. Esto sugiere que para la interpolación global simple, la búsqueda aleatoria ya es competitiva.
- Dimensiones superiores (TIES, Block-Linear): Las ganancias fueron sustanciales. Por ejemplo, en la configuración Llama ABC, MOBO-Merge con Block-Linear 4x alcanzó un hipervolumen de 0.0634 frente a 0.0289 de la búsqueda aleatoria. Del mismo modo, para Llama AB con TIES, MOBO-Merge alcanzó 0.1145 frente a 0.0764 de la búsqueda aleatoria.
Variabilidad del Operador: Ningún operador de fusión fue uniformemente el mejor.
- TIES funcionó mejor en tres de las cuatro combinaciones de configuración de familia.
- Block-Linear 4x fue el mejor ejecutor para la fusión de tres modelos (ABC) de Llama.
Calidad del Frente de Pareto: Las visualizaciones de los frentes de Pareto mostraron que MOBO-Merge descubrió consistentemente configuraciones que ofrecían mejores compromisos que las encontradas por la búsqueda aleatoria. En algunos casos (por ejemplo, Qwen), el método encontró fusiones que superaban simultáneamente a ambos modelos de origen en sus respectivas tareas principales.

Significado y Reivindicaciones

El artículo afirma que MOBO-Merge proporciona un marco de trabajo principista, general y eficiente en muestras para la composición de modelos. Sus principales contribuciones y significancia son:

Reencuadre de la Fusión como Optimización: Establece la fusión de modelos no como un procedimiento fijo, sino como un problema de optimización multiobjetivo de caja negra, lo que permite el descubrimiento sistemático de compromisos de capacidad.
Eficiencia en Espacios Expresivos: El marco es particularmente valioso para parametrizaciones de fusión "expresivas" (como TIES y la mezcla por bloques) donde el espacio de búsqueda es demasiado grande para que la búsqueda exhaustiva o aleatoria sea efectiva. Permite a los profesionales encontrar compromisos de alta calidad con significativamente menos evaluaciones.
Agnosticismo del Operador: Al desacoplar la estrategia de búsqueda del operador de fusión, MOBO-Merge permite una comparación justa de diferentes estrategias de fusión y facilita el descubrimiento de qué operador funciona mejor para familias de modelos y conjuntos de objetivos específicos.
Utilidad Práctica: El método reemplaza el ajuste ad-hoc de los pesos de fusión con un proceso automatizado que expone compromisos controlables, permitiendo a los profesionales seleccionar modelos que mejor se adapten a sus necesidades bajo presupuestos de cómputo fijos.

Los autores concluyen que, si bien la interpolación lineal simple puede no requerir una optimización compleja, la creciente complejidad de las estrategias de fusión modernas (por bloques, conscientes de la interferencia) hace que la optimización bayesiana multiobjetivo sea una herramienta necesaria para desbloquear fuertes compromisos de rendimiento.