Signature-Guided Capacity Occupancy for Dense Expert Merging

Resumen Técnico: SigMerge (Ocupación de Capacidad Guiada por Firma)

Declaración del Problema
La fusión de expertos densos busca combinar múltiples modelos de lenguaje especializados en un único checkpoint sin necesidad de entrenamiento adicional, operando típicamente sobre vectores de tareas en el espacio de pesos. Sin embargo, los métodos existentes enfrentan una limitación fundamental: un único conjunto de parámetros compartidos debe codificar habilidades adquiridas de forma aislada, lo que provoca la "interferencia de expertos", donde las actualizaciones para un dominio borran las capacidades aprendidas por otro.

Aunque las estrategias actuales abordan esto parcialmente, no logran responder tres preguntas críticas respecto a la admisión del soporte de vectores de tareas:

1. Dónde: ¿En qué capas se debe abrir la capacidad y cuánto?
2. Quién: ¿Qué dominios deben ocupar esa capacidad basándose en la demanda?
3. Cómo: ¿Cómo se debe admitir el soporte sin depender de búsquedas costosas sobre recetas de fusión?

El análisis empírico revela que las fusiones densas dejan una "brecha de experto residual" significativa (un promedio de 12.13 puntos porcentuales en varios entornos), lo que indica que las capacidades especializadas no se retienen por completo. Los métodos actuales suelen aplicar reglas uniformes o depender de proxies basados en búsqueda que pueden no capturar el rendimiento real del especialista, fallando al no dirigir la capacidad hacia los dominios que más la necesitan.

Metodología: SigMerge
Los autores proponen SigMerge, un operador libre de entrenamiento que recupera la habilidad especialista mediante la asignación de un número limitado de coordenadas de vectores de tareas a través de capas y dominios. El método opera sobre una fusión base densa (el "ancla") y consta de tres componentes principales:

1. Del Conflicto a la Capacidad (Dónde):
   SigMerge determina la capacidad de cada capa ($C_i$) basándose en el desacuerdo entre expertos. Agrega tres visiones complementarias de conflicto en cada capa:

   • Geometría de estados ocultos: Medida mediante el Alineamiento de Kernel Centrado (CKA) de los estados ocultos agrupados.
   • Dirección del vector de tarea: Medida mediante la similitud de coseno entre las actualizaciones de los expertos.
   • Demanda de coordenadas con signo: Medida por la frecuencia de signos opuestos en pesos individuales.
     Estas señales se normalizan y promedian para formar una puntuación de conflicto ($\bar{S}_i$). La capacidad de la capa se deriva entonces linealmente: las capas con alto conflicto reciben menos capacidad (para evitar la interferencia), mientras que las capas con bajo conflicto reciben más.

2. Del Déficit a la Asignación (Quién):
   El método asigna la capacidad abierta entre los dominios basándose en los "déficits de expertos residuales". Para cada dominio $d$, el déficit $g_d$ se define como la brecha de rendimiento entre el modelo base fusionado y el mejor experto del grupo para ese dominio específico. La parte de la capacidad ($\rho_d$) asignada a cada dominio es proporcional a su déficit. Los dominios que el modelo base fusionado ya iguala perfectamente reciben cero capacidad, asegurando que la reparación apunte solo a las capacidades faltantes.

3. Ocupación Secuencial (Cómo):
   Para llenar el presupuesto de capa-dominio sin búsqueda, SigMerge emplea una regla de reclamo secuencial. Los dominios se ordenan por la magnitud de su déficit (primero el mayor déficit). Cada dominio reclama su cuota asignada de coordenadas del conjunto de coordenadas aún no reclamadas dentro de una capa, seleccionando aquellas con la mayor magnitud en su vector de tarea ($\Delta_{d,i}$). Esto evita que múltiples dominios compitan por las mismas coordenadas de alta magnitud y asegura que los dominios más desatendidos tengan prioridad de acceso a las actualizaciones más impactantes.

El modelo final fusionado se construye como $\hat{\theta} = \theta_{base} + \sum_d V_d$, donde $V_d$ representa el incremento acotado admitido por la regla de ocupación secuencial.

Contribuciones Clave

1. Caracterización Empírica: Los autores demuestran que los déficits de especialistas en la fusión densa son grandes y heterogéneos a través de modelos, dominios y familias de fusión, argumentando que la reparación requiere la asignación de coordenadas en lugar de simplemente mejores reglas de promediado.
2. Marco Libre de Entrenamiento: SigMerge resuelve los tres desafíos de la asignación de capacidad (dónde, quién, cómo) sin entrenamiento ni búsqueda. Utiliza señales medibles (firmas de conflicto y déficits de rendimiento) para construir una matriz de presupuesto de rango uno ($B = C\rho^\top$).
3. Garantías Teóricas y Algorítmicas: El artículo proporciona una prueba (Teorema 1) de que la regla de ocupación secuencial es óptima por etapas para maximizar la masa de vectores de tareas admitida dados los cupos fijos y un orden de precedencia.
4. Evaluación Exhaustiva: El método se evalúa en 21 configuraciones emparejadas (7 anclas $\times$ 3 grupos de modelos) y se compara contra seis líneas base, incluyendo métodos conscientes del conflicto, por capas y basados en búsqueda.

Resultados

• Mejora del Rendimiento: SigMerge mejora cada una de las 21 configuraciones emparejadas, logrando una mejora relativa promedio del 15.0% en las puntuaciones Macro-5.
• Reducción de la Brecha: La brecha de experto residual promedio se reduce de 12.13 a 5.77 puntos porcentuales.
• Clasificación: SigMerge logra el mejor rango promedio (1.67) entre seis métodos de fusión, superando a todas las líneas base en tres categorías (conscientes del conflicto, por capas y basadas en búsqueda).
• Estudios de Ablación: Eliminar ya sea la capacidad derivada del conflicto o la asignación impulsada por el déficit causa caídas significativas en el rendimiento (comparables a la ganancia total), confirmando que ambas señales son esenciales. La elección específica de coordenadas (ocupación secuencial) representa aproximadamente el 80% de la ganancia con un presupuesto fijo.
• Eficiencia: El método añade aproximadamente 0.6 horas de GPU al costo del ancla, situándolo entre las líneas base libres de búsqueda y siendo significativamente más rápido que los métodos basados en búsqueda como MERGE3 (que toma ~26.8 horas).

Significancia y Reivindicaciones
El artículo afirma que SigMerge ofrece un enfoque basado en principios y libre de entrenamiento para la fusión de expertos densos que aborda explícitamente la heterogeneidad de los déficits de dominio y los conflictos por capa. Al fundamentar las decisiones de capacidad en señales medibles en lugar de en la búsqueda o heurísticas uniformes, SigMerge recupera eficazmente las capacidades especialistas perdidas en las fusiones densas estándar.

Los autores señalan modestamente que el método no determina el ancla ni el grupo de expertos; opera dentro del intervalo definido por ellos. Además, la evaluación actual está limitada a cinco dominios, y la escalabilidad a grupos más grandes o la necesidad de matrices de presupuesto de mayor rango sigue siendo una pregunta abierta. Sin embargo, los resultados sugieren que medir y dirigir basándose en los déficits de rendimiento reales es una estrategia más efectiva que confiar únicamente en la geometría de los vectores de tareas o en procedimientos de búsqueda costosos.