💬 NLP

MeRoTune: RoPE-Safe Merging with a Tunable Dial

MeRoTune introduce una técnica de fusión de modelos que resuelve el desalineamiento del subespacio de atención en modelos equipados con RoPE mediante el aprendizaje de matrices de corrección restringidas y conmutativas con RoPE, permitiendo la mezcla ajustable post-hoc de modelos ajustados sin modificar los pesos base.

Autores originales: Salman Faroz

Publicado 2026-09-09✓ Author reviewed ⓘ

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Salman Faroz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, los investigadores a menudo se enfrentan a un dilema: tienen un cerebro computacional potente y de propósito general, y han entrenado versiones separadas y especializadas de este para sobresalir en tareas específicas, como escribir código en un lenguaje o responder preguntas en otro. El objetivo es combinar estos especialistas en un único modelo versátil sin el coste de ejecutar múltiples programas a la vez. La forma estándar de hacer esto es simplemente mezclar los pesos matemáticos de los dos modelos, como si se mezclaran dos lotes de pintura. Sin embargo, esta mezcla simple asume que la lógica interna de ambos modelos está perfectamente alineada. Si un modelo piensa en un concepto utilizando un sistema de coordenadas interno ligeramente diferente al del otro, la mezcla directa puede crear un resultado confundido que es peor que cualquiera de los modelos originales. Esto es particularmente complicado en los modelos modernos que utilizan un mecanismo específico para comprender el orden de las palabras, un sistema que rota la información basándose en la posición. Si el proceso de mezcla ignora esta rotación, rompe silenciosamente la capacidad del modelo para comprender el contexto, a menudo de formas invisibles durante el entrenamiento.

Un investigador ha desarrollado un nuevo método llamado MeRoTune para resolver este problema. En lugar de promediar ciegamente los dos modelos, primero enseña a cada modelo a ajustar su propio sistema de coordenadas internas para que puedan ponerse de acuerdo sobre cómo manejar el orden de las palabras antes de ser mezclados. Descubrieron que, para que este ajuste funcione sin romper el modelo, los cambios deben seguir un conjunto de reglas muy específico y estrecho. Demostraron matemáticamente que la única forma segura de corregir estos modelos es aplicar un tipo específico de rotación que respete la forma única en que el modelo maneja la posición. Construyeron un sistema donde dos modelos especializados aprenden estos ajustes precisos por su cuenta y luego pueden combinarse en cualquier proporción que el usuario desee, actuando como un dial ajustable en lugar de una mezcla fija.

Probaron este enfoque en dos versiones distintas de un modelo de lenguaje: una entrenada para ser experta en indonesio y programación, y otra entrenada para ser experta en japonés. Antes de intentar fusionar los modelos, aplicaron una estricta comprobación matemática para asegurar que los dos modelos eran lo suficientemente diferentes como para justificar el complejo proceso. Verificaron que cada modelo era genuinamente mejor en su propia especialidad y peor en la del otro, confirmando que existía un conflicto real que necesitaba ser resuelto. Rechazaron varios pares candidatos que no cumplían con este criterio, asegurándose de trabajar solo con un problema real. Una vez que confirmaron que el par era adecuado, entrenaron los modelos para que aprendieran sus propios factores de corrección únicos. Estos factores fueron diseñados para ser rotaciones simples, asegurando que los modelos permanecieran estables y no se distorsionaran durante el proceso.

Cuando combinaron los modelos utilizando su nuevo método, los resultados fueron superiores a las técnicas existentes. Probaron el modelo fusionado a través de una amplia gama de ratios de mezcla, desde mayoritariamente indonesio hasta mayoritariamente japonés, y encontraron que su enfoque nunca funcionó peor que los métodos estándar utilizados por otros investigadores. De hecho, en la mayoría de las pruebas, su método superó un alto listón de fiabilidad estadística, mientras que un método competidor funcionó peor que el modelo base original, sin fusionar, en al menos una tarea. También exploraron si la ratio de mezcla podía dividirse en dos controles independientes, permitiendo que cada modelo contribera más libremente. Descubrieron que hacer esto causaba el colapso del rendimiento, demostrando que mantener la ratio de mezcla vinculada era esencial para que el método funcionara.

El estudio también reveló detalles interesantes sobre lo que los modelos realmente aprendieron durante el proceso. La mayoría de los ajustes que los modelos realizaron fueron muy pequeños, rotaciones ínfimas de apenas unos pocos grados, lo que sugiere que los modelos estaban mayoritariamente alineados desde el principio. Sin embargo, un pequeño número de partes específicas de los modelos requirió cambios mucho mayores, de hasta ochenta y seis grados, y estas partes también disminuyeron en magnitud. Esto indica que, si bien la estructura general era similar, hubo desacuerdos profundos y específicos en cómo los modelos manejaban ciertos conceptos que requirieron una realineación significativa. Observaron que este método no es una solución mágica para todos los pares posibles de modelos; solo funciona cuando los modelos están verdaderamente especializados de formas conflictivas y cuando la estructura interna del modelo incluye el mecanismo específico de manejo de posición que abordaron.

En última instancia, este trabajo demuestra que fusionar modelos de IA no es solo una cuestión de promediar números. Requiere comprender la geometría oculta de cómo el modelo procesa la información. Al respetar las reglas específicas de cómo estos modelos manejan el orden de las palabras, crearon una herramienta que permite al usuario navegar suavemente entre diferentes capacidades expertas sin perder la calidad de ninguna de ellas. El método proporciona una forma fiable de combinar cerebros de IA especializados, asegurando que el resultado final sea un modelo coherente y de alto rendimiento, en lugar de una mezcla confusa. El código y los datos de este trabajo están disponibles públicamente, lo que permite a otros verificar los hallazgos y aplicar el mismo enfoque cuidadoso y matemáticamente fundamentado a sus propias combinaciones de modelos.

Resumen Técnico: MEROTUNE: FUSIÓN SEGURA PARA ROPE CON UN DIAL SINTONIZABLE

1. Planteamiento del Problema

La fusión de modelos (model merging) tiene como objetivo combinar múltiples modelos ajustados (fine-tuned) en un único conjunto de pesos, preservando las capacidades especializadas de cada uno sin el coste de servir múltiples modelos. Los métodos estándar (por ejemplo, promedio de pesos, TIES, DARE) operan directamente sobre los tensores de pesos brutos, asumiendo implícitamente que los sistemas de coordenadas internos (específicamente los subespacios de atención) de los modelos que se fusionan ya están alineados.

Un trabajo reciente [13] intentó corregir las desalineaciones mediante el aprendizaje de una matriz de corrección invertible, $M$ , para las proyecciones de consulta ( $W_q$ ) y clave ( $W_k$ ). Teóricamente, aplicar $M$ a $W_q$ y $M^{-\top}$ a $W_k$ es una operación nula ("no-op") de forma aislada porque $(Mq)^\top (M^{-\top}k) = q^\top k$ . Sin embargo, esta cancelación depende de la suposición de que nada interviene entre la proyección y el producto punto.

El Conflicto Central: Casi todos los modelos de lenguaje de pesos abiertos modernos (por ejemplo, Qwen, Llama 3) utilizan Incrustaciones de Posición Rotatorias (RoPE, por sus siglas en inglés) exactamente en este espacio intermedio. RoPE aplica una rotación dependiente de la posición a los vectores de consulta y clave. Si la matriz de corrección aprendida $M$ no conmuta con la rotación de RoPE, la propiedad de "no-op" se rompe. La corrección distorsiona inadvertidamente las dependencias de posición relativa que RoPE está diseñado para codificar, una distorsión que es invisible para las pérdidas de entrenamiento estándar que no derivan explícitamente la interacción de RoPE.

2. Metodología

2.1 Derivación Teórica: La Clase de Conmutatividad de RoPE

El artículo deriva la clase específica de matrices $M$ para las cuales la cancelación $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ se mantiene exactamente en presencia de RoPE.

Condición: $M$ debe conmutar con la matriz de rotación de RoPE $R(\Delta\theta)$ para todas las posiciones relativas $\Delta$ .
Resultado: Las matrices válidas forman un subconjunto estricto y de baja dimensión de matrices invertibles. Específicamente, para cada par de frecuencias de RoPE (un subespacio 2D), $M$ debe ser una rotación escalada que actúa independientemente dentro de ese par.
Estructura: $M$ es una matriz diagonal por bloques donde cada bloque $2\times2$ toma la forma $aI + bJ$ (donde $J$ es la rotación por $\pi/2$ ). Esto reduce el espacio de búsqueda de $d^2$ parámetros por cabeza a $d$ parámetros (una escala y un ángulo de rotación por par de frecuencias).
Propiedades:
- Seguridad: Aplicar tal transformación a un solo modelo es una operación nula exacta (Corolario 1).
- Estabilidad: Estas matrices siempre tienen un número de condición de exactamente 1, evitando los problemas de mal condicionamiento comunes en el aprendizaje de matrices no restringidas (Corolario 2).

2.2 El Algoritmo MeRoTune

Basándose en esta clase, el autor propone MeRoTune (Fusión + RoPE + Sintonizable):

Alineación de Doble Lado: Dos modelos ajustados ( $A$ y $B$ ) aprenden cada uno sus propias matrices de corrección compatibles con RoPE ( $M_a$ y $M_b$ ).
Operador de Fusión: Los pesos fusionados en una razón de mezcla $\alpha$ $α$ se computan como:
- $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
- $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
- Otros pesos (MLP, embeddings, etc.) se interpolan linealmente.
Dial Sintonizable: El método permite ajustar el ratio de mezcla final $\alpha$ post-hoc. El objetivo de entrenamiento minimiza la pérdida sobre un rango elegido de $\alpha$ (por defecto, un $\alpha=0.5$ fijo, similar al escalado fijo de LoRA), permitiendo que el modelo fusionado se sintonice a diferentes puntos de operación sin reentrenar.
Validación de Pre-entrenamiento: El artículo introduce una condición matemática (Ec. 7) para verificar si un par de ajustes finos realmente vale la pena alinear. Un par es un objetivo válido solo si cada modelo mejora respecto al base en su propia especialidad ( $\Delta > 0$ ) pero rinde peor o igual en la especialidad del otro ( $\Gamma \le 0$ ). Si este "vacío de capacidad bidireccional genuino" no existe, el proceso de alineación añade ruido sin beneficio.

3. Contribuciones Clave

Prueba de Correcciones Seguras para RoPE: Una prueba autónoma que identifica la clase exacta de matrices (rotaciones escaladas dentro de los pares de frecuencias) que preservan la estructura de posición relativa de Rops durante la fusión.
Método MeRoTune: Un algoritmo de fusión de doble lado que entrena estas correcciones restringidas para actuar como un dial de tiempo de ejecución, permitiendo el ajuste post-hoc del ratio de mezcla.
Condición de Validación: Una condición matemática de forma cerrada para verificar empíricamente la existencia de un vacío de capacidad genuino entre dos ajustes finos antes de comprometerse con el entrenamiento, evitando el gasto de computación en pares inválidos.
Evaluación Exhaustiva: Una evaluación frente a TIES y DARE-TIES en un par verificado de Qwen2.5-1.5B-Instruct (Indonesio/Código vs. Japonés), demostrando robustez a través de los ratios de mezcla.

4. Resultados Experimentales

El método fue probado en un par de modelos Qwen2.5-1.5B-Instruct: uno especializado en indonesio y código, el otro en japonés.

Rendimiento vs. Baselines:
- MeRoTune nunca perdió contra las implementaciones oficiales de mergekit de TIES o DARE-TIES en ningún ratio de mezcla probado.
- DARE-TIES desempeñó significativamente peor que el modelo base sin fusionar en al menos un eje de benchmark.
- MeRoTune superó el umbral de ruido estadístico en la mayoría de los benchmarks (MMLU, Indonesio, Japonés), mientras que TIES cayó por debajo del modelo base en tres de cuatro benchmarks.
Comportamiento del Ratio de Mezcla:
- El ratio de mezcla $\alpha$ funcionó efectivamente como un dial. Las métricas generalmente tendieron de forma monótona hacia el modelo más fuerte para esa tarea específica a medida que $\alpha$ cambiaba.
- Entrenar con un ratio de mezcla fijo ( $\alpha=0.5$ ) generalmente superó o igualó a una variante donde $\alpha$ se remuestreaba aleatoriamente en cada paso.
Ablación de Desacoplamiento:
- El artículo probó relajar la restricción de ratio de mezcla vinculado ( $\alpha$ ) en dos factores de escala independientes ( $s_a, s_b$ ).
- Resultado: El desacoplamiento causó una degradación fiable del rendimiento en todos los benchmarks. Empujar ambos factores al máximo simultáneamente complicó los deltas no controlados, llevando al rendimiento a niveles peores que el azar en algunos casos. Esto confirma que la restricción convexa vinculada es necesaria para la estabilidad.
Transformaciones Aprendidas:
- Las correcciones aprendidas fueron predominantemente rotaciones pequeñas (mediana $\approx 10^\circ$ ) con escalas cercanas a 1.
- Una pequeña cola de bloques exhibió rotaciones mayores ( $>45^\circ$ ) acompañadas de una escala significativa (reducción), lo que sugiere que, aunque el método es teóricamente seguro, el optimizador ocasionalmente utilizó la capacidad para remodelar el comportamiento más allá de un simple realineamiento geométrico.

5. Significado y Reivindicaciones

El artículo sostiene que las Incrustaciones de Posición Rotatorias no son un detalle menor, sino una restricción fundamental que dicta qué correcciones de fusión son matemáticamente seguras. Al derivar la clase de "conmutatividad de RoPE", MeRoTune proporciona un método que:

Garantiza la Seguridad: A diferencia de los métodos no restringidos, no puede corromper silenciosamente la lógica de posición relativa del modelo.
Ofrece Flexibilidad: Produce un modelo que puede sintonizarse post-hoc como un dial, en lugar de quedar bloqueado en una única fusión fija.
Evita el Desperdicio: La condición de pre-entrenamiento asegura que los recursos solo se gasten en pares con especializaciones conflictivas genuinas.

El autor enfatiza la modestia en sus afirmaciones: los resultados son específicos para la arquitectura Qwen2.5-1.5B y el par verificado probado. Señala que, aunque el método es robusto, los márgenes de rendimiento específicos dependen del umbral de ruido estadístico de los benchmarks utilizados, y que el "impuesto de alineación" (donde los ajustes finos regresan por debajo del base) sigue siendo un filtro crítico para la aplicabilidad. El código, los datos y los scripts están disponibles públicamente.