Black-Box Optimization of Mixed Binary-Continuous Variables: Challenges and Opportunities in Evolutionary Model Merging

Resumen Técnico: Optimización de Caja Negra de Variables Binarias-Continuas Mixtas en la Fusión Evolutiva de Modelos

Definición del Problema
El artículo aborda los desafíos de optimización inherentes a la Fusión Evolutiva de Modelos, específicamente dentro del Espacio de Flujo de Datos (DFS). Si bien la fusión de modelos ofrece una alternativa rentable al entrenamiento de Modelos de Lenguaje Grandes (LLMs) desde cero, la búsqueda automatizada de configuraciones de fusión óptimas mediante algoritmos evolutivos sigue siendo poco comprendida. Los autores identifican que la fusión en DFS implica un espacio de búsqueda complejo que comprende:

1. Variables Binarias-Continuas Mixtas: El problema requiere optimizar simultáneamente decisiones discretas (qué capas incluir, representadas por un vector binario $z$) y parámetros continuos (pesos de escala para las capas seleccionadas, representados por un vector $x$).
2. Alta Dimensionalidad: Los LLMs modernos involucran cientos de capas a través de múltiples modelos, creando espacios de búsqueda con miles de dimensiones.
3. Dependencias Condicionales (Interacción Tipo-I): Un desafío estructural crítico donde la dimensionalidad efectiva de las variables continuas depende enteramente de la configuración binaria. Si una capa no es seleccionada ($z_{i,j}=0$), su peso de escala correspondiente ($x_{i,j}$) se vuelve irrelevante para la función objetivo.

El artículo argumenta que los métodos estándar de optimización de caja negra, como CMA-ES, son inadecuados para este problema porque están diseñados principalmente para variables continuas y no tienen en cuenta estas interacciones de variables mixtas y dependencias condicionales.

Metodología y Formulación
Los autores caracterizan formalmente el problema de fusión en DFS como un problema de optimización de caja negra con variables binarias-continuas mixtas. El objetivo es minimizar una función $f(x, z)$ que representa el rendimiento del modelo fusionado en una tarea objetivo, sujeto a:

• $z \in \{0, 1\}^m$ (Selección binaria de capas)
• $x \in \mathbb{R}^n$ (Pesos de escala continuos)

La formulación destaca explícitamente la interacción Tipo-I (según la definición de Akimoto et al. [11]), donde las dimensiones continuas activas son condicionales al vector binario. El artículo contrasta dos enfoques:

• DFS No Estructurado: Trata el problema como una búsqueda genérica de caja negra, optimizando todos los grupos de parámetros independientemente de su estado de selección, desperdiciando así evaluaciones en dimensiones irrelevantes.
• DFS Estructurado: Respeta la dependencia condicional seleccionando primero las capas activas (optimizando $z$) y luego optimizando los pesos de escala solo para esas capas seleccionadas (optimizando $x|z$).

Contribuciones Clave

1. Encuesta Estructurada: El artículo categoriza las técnicas existentes de fusión evolutiva de modelos en tres grupos distintos: fusión en Espacio de Parámetros (PS), fusión en Espacio de Flujo de Datos (DFS) y enfoques híbridos.
2. Caracterización Formal: Proporciona la primera definición formal del problema de fusión en DFS como un problema de optimización de caja negra de variables binarias-continuas mixtas, identificando explícitamente las dependencias condicionales que obstaculizan a los solucionadores estándar.
3. Conexión de Comunidades: El trabajo conecta la comunidad de fusión de modelos con la literatura más amplia de computación evolutiva y optimización de caja negra, destacando específicamente la relevancia de algoritmos como CatCMA e ICatCMA (que abordan desafíos de interacción similares) para el contexto de fusión de modelos.

Resultados Experimentales
Los autores realizaron una validación empírica preliminar utilizando dos modelos preentrenados (google/flan-t5-small y declare-lab/flan-alpaca-large) en una prueba de 15 preguntas. Compararon un enfoque de DFS no estructurado contra un enfoque de DFS estructurado durante 10 iteraciones:

• Precisión: El enfoque DFS Estructurado logró una precisión del 26.7%, igualando la línea base (solo el Modelo A), mientras que el enfoque DFS No Estructurado se degradó al 20.0%. Esto representa una mejora del 6.7% sobre el método no estructurado.
• Eficiencia de Búsqueda: El enfoque estructurado redujo el espacio de búsqueda efectivo en un 51.4%. Mientras que el método no estructurado modificó todos los 192 grupos de parámetros en cada iteración, el método estructurado se centró dinámicamente en un promedio de 93.3 capas por iteración.
• Dimensionalidad Dinámica: Los experimentos confirmaron que el número de capas activas varió dinámicamente (de 53 a 125) a través de las iteraciones, validando la hipótesis de que la dimensionalidad continua efectiva cambia según la configuración binaria.

Significado y Afirmaciones
El artículo afirma que los desafíos de optimización identificados, específicamente la estructura de variables binarias-continuas mixtas con dependencias condicionales, no son exclusivos de la fusión de modelos, sino que surgen en cualquier dominio que requiera la optimización simultánea de variables combinatorias y continuas en un entorno de caja negra (por ejemplo, Búsqueda de Arquitectura Neuronal, descubrimiento de fármacos).

Los autores posicionan su trabajo como un paso fundamental para:

• Explicar por qué los enfoques actuales de fusión evolutiva de modelos (que a menudo ignoran estas propiedades estructurales) pueden ser ineficientes o subóptimos.
• Motivar la aplicación de optimizadores avanzados de variables mixtas (como ICatCMA con técnicas de arranque en caliente y hiperrepresentación) a la fusión de modelos.
• Proponer direcciones de investigación futura, incluyendo la adaptación de CatCMA para la selección de capas, el desarrollo de garantías teóricas de convergencia para la búsqueda DFS de variables mixtas y la escalabilidad de estos métodos a modelos más grandes (por ejemplo, 7B de parámetros) utilizando búsqueda asistida por sustitutos.

Los autores mantienen una postura modesta respecto a sus hallazgos actuales, reconociendo que el estudio es preliminar, utiliza modelos pequeños (76M–247M de parámetros) y se basa en muestreo aleatorio en lugar de algoritmos evolutivos completos. Enmarcan los resultados como una validación empírica de la formulación teórica, motivando un trabajo futuro a mayor escala.