Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los investigadores intentan constantemente construir máquinas que puedan hacer muchas cosas a la vez. Imagine a un estudiante que ha pasado años dominando las matemáticas, a otro que se ha convertido en un mago de la programación y a un tercero que es un experto en seguir instrucciones complejas. En el pasado, para usar todas estas habilidades, una computadora necesitaría ejecutar tres programas separados, cada uno dedicado a una materia. Esto es ineficiente, ya que requiere una cantidad masosa de memoria de computadora y energía. Una solución más elegante es combinar estos expertos separados en un único modelo versátil. Este proceso, conocido como fusión de modelos (model merging), intenta mezclar el "conocimiento" de diferentes programas especializados en un único cerebro unificado sin necesidad de reentrenarlo desde cero. Sin embargo, esta mezcla es notoriamente difícil. Cuando se mezclan dos conjuntos distintos de instrucciones, estas suelen chocar. La computadora se confunde y el modelo resultante tiene un desempeño deficiente en todas las tareas, como si las diferentes habilidades estuvieran luchando por el mismo espacio en la memoria de la máquina.

El núcleo de este problema reside en cómo estos cerebros artificiales almacenan la información. Dentro de una red neuronal, las diferentes habilidades suelen compartir los mismos caminos físicos, un fenómeno que los investigadores llaman superposición. Es como si múltiples ideas distintas intentaran ocupar el mismo pasillo estrecho al mismo tiempo. Cuando los investigadores intentan simplemente sumar los pesos de dos modelos, estas ideas superpuestas interfieren entre sí, creando un lío enredado donde se pierde información útil. Los intentos previos para solucionar esto consistieron en intentar desenredar el lío dentro del espacio original y congestionado, a menudo recortando partes del modelo o reescalando números. Pero cuando la interferencia es severa, estos métodos son como intentar ordenar una pila de cables mezclados mirando únicamente los nudos; no pueden separar completamente los hilos individuales sin dañar el circuito.

Un equipo de investigadores ha propuesto una nueva forma de resolver esto cambiando la perspectiva por completo. En lugar de intentar desenredar los cables en el pasillo congestionado, sugieren trasladar los cables a una habitación mucho más grande y vacía donde haya suficiente espacio para extenderlos por separado. Llaman a este enfoque Fusión de Desentrelazamiento Disperso de Alta Dimensionalidad (High-Dimensional Sparse Disentanglement Merging). Los investigadores utilizaron una herramienta conocida como Autoencoder Disperso (Sparse Autoencoder), que actúa como un traductor. Toma las instrucciones enredadas de una tarea específica y las convierte en una larga lista de características simples y distintas. Debido a que esta nueva lista es mucho más larga que el conjunto original de instrucciones, cada característica obtiene su propio espacio dedicado, lo que permite a la computadora ver exactamente qué partes del conocimiento pertenecen a las matemáticas, cuáles a la programación y cuáles a seguir instrucciones. Una vez que la información se separa en esta habitación espaciosa y de alta dimensionalidad, los investigadores pueden combinar cuidadosamente las partes relevantes sin que las diferentes habilidades se estorben entre sí. Una vez completada la combinación, el traductor convierte la lista limpia y separada de nuevo al formato original para que el modelo pueda utilizarla.

Sin embargo, traducir cada una de las capas de un modelo masivo a este nuevo formato sería increíblemente lento y costoso. Para resolver esto, los investigadores introdujeron un método de selección inteligente llamado Optimizador de Orden Cero de Rango de Grupo (Group-Ranked Zeroth-Order Optimizer). Esta herramienta actúa como un explorador, probando rápidamente qué partes del modelo son más críticas para una tarea específica. Lo hace realizando pequeños ajustes aleatorios en diferentes secciones del modelo y observando cuánto cambia el rendimiento, sin necesidad de calcular gradientes complejos. Al identificar solo las capas más importantes, el sistema aplica el proceso costoso de traducción y separación solo donde es verdaderamente necesario, dejando el resto del modelo para ser fusionado mediante métodos más simples y rápidos. Esto asegura que el sistema siga siendo eficiente mientras sigue obteniendo los beneficios de la separación profunda.

Los investigadores probaron este nuevo marco utilizando la serie de modelos de lenguaje Qwen2.5, que son sistemas de inteligencia artificial muy potentes. Crearon modelos expertos para tareas como el razonamiento matemático, la generación de código y el seguimiento de instrucciones complejas. Cuando fusionaron estos expertos utilizando métodos tradicionales, los resultados fueron a menudo decepcionantes, con una caída significativa del rendimiento en tareas difíciles. En contraste, su nuevo método superó consistentemente a las técnicas existentes. En un modelo de 7 mil millones de parámetros, su enfoque logró una puntuación promedio de 68.49 en tareas de matemáticas, programación y seguimiento de instrucciones, superando al mejor método anterior por un margen claro. La mejora fue aún más dramática en escenarios altamente conflictivos. Cuando intentaron fusionar cuatro tareas diferentes, incluyendo el alineamiento de seguridad, en un modelo más pequeño de 1.5 mil millones de parámetros, los métodos tradicionales vieron sus puntuaciones promedio colapsar hasta tan solo 15.45. El nuevo método mantuvo una puntuación de 36.48, preservando efectivamente la capacidad del modelo para hacer matemáticas y programar mientras también cumple con estrictas pautas de seguridad.

El estudio sugiere que la clave para una fusión de modelos exitosa no es solo cómo mezclamos los números, sino dónde los mezclamos. Al proyectar la información de la tarea en un espacio de mayor dimensionalidad donde las características puedan distinguirse claramente, los investigadores pudieron reducir la interferencia que suele afectar a estos sistemas. Encontraron que su autoencoder mejorado, que utiliza una técnica específica para mantener activas las características más importantes e ignorar el resto, fue crucial para este éxito. Además, su herramienta de selección de capas demostró que no es necesario aplicar esta separación compleja a cada parte del modelo; centrarse en las capas críticas fue suficiente para capturar los beneficios. Los resultados indican que este enfoque ofrece una forma robusta de construir modelos generalistas que pueden manejar múltiples tareas conflictivas sin la necesidad de datos de entrenamiento adicionales o un reentrenamiento costoso. Si bien el método requiere cierto esfuerzo computacional inicial para configurar las herramientas de traducción, la recompensa es un modelo que conserva sus habilidades especializadas mucho mejor que aquellos creados con técnicas más antiguas. Este trabajo proporciona un camino concreto hacia la creación de sistemas de inteligencia artificial más capaces y versátiles que puedan navegar el complejo panorama de múltiples tareas humanas sin perder el rumbo.