Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

Resumen Técnico: Los Conjuntos de Acceso Importan: Un Experto en Presupuestos Lee para la Fusión Escalable de Modelos en el Espacio de Pesos

1. Declaración del Problema

A medida que el desarrollo de Modelos de Lenguaje Grandes (LLM) depende cada vez más de familias de puntos de control —incluyendo modelos base, variantes ajustadas con instrucciones, expertos de dominio y actualizaciones delta—, la tarea de consolidar estos en un único modelo desplegable mediante fusión en el espacio de pesos se ha vuelto crítica. Mientras que la investigación existente se centra en cómo combinar los pesos (por ejemplo, mediante promedios, TIES o DARE), ha surgido un cuello de botella significativo en la ejecución a escala: el costo de leer los parámetros de los expertos.

En scripts de fusión ingenuos, el sistema trata los puntos de control como archivos opacos, escaneando todos los parámetros de los expertos independientemente de su contribución real a la fusión final. A medida que crece el número de expertos ($K$), la E/S de lectura de expertos escala casi linealmente, lo que convierte al proceso de fusión en un proceso limitado por E/S en lugar de limitado por computación. Esto limita la escalabilidad de los flujos de trabajo de fusión iterativa, particularmente al tratar con grandes conjuntos de expertos en almacenamiento residente en disco.

2. Metodología: MergePipe

Los autores introducen MergePipe, una capa de ejecución consciente del presupuesto que replantea la fusión de modelos como un problema de conjunto de acceso de expertos. En lugar de tratar la regla de fusión como la restricción principal, MergePipe desacopla la combinación lógica de los pesos del acceso físico a dichos pesos.

Abstracción Central:
MergePipe opera bajo la suposición de que los expertos están alineados en un sistema de coordenadas de pesos compartido (por ejemplo, ajustados finamente a partir de una base compartida). Introduce una máscara de acceso ($A$) que determina qué bloques delta de expertos se leen físicamente.

• Fusión de Lectura Completa: $A = 1$ (se leen todos los expertos).
• Fusión con Presupuesto: Seleccionar una máscara $A$ tal que el costo de lectura de expertos $C_{expert}(A) \leq B$, donde $B$ es un presupuesto de E/S definido por el usuario.
• Ejecución: El sistema ejecuta un operador consciente de la máscara $\Psi_{op}$. Las entradas omitidas se representan mediante la propia máscara y no desencadenan lecturas de almacenamiento.

Componentes del Sistema:

1. Catálogo: Expone los puntos de control como datos estructurados en bloques en lugar de archivos opacos. Almacena metadatos (tamaño, diseño, hashes, bocetos, indicaciones de cobertura) para permitir la estimación de costos sin escanear puntos de control completos.
2. Planificador: Construye una máscara de acceso determinista $A$ que satisface la restricción de presupuesto. Clasifica los deltas candidatos de expertos utilizando estadísticas del catálogo (por ejemplo, normas, bocetos) y emplea heurísticas de ganancia por byte o puntuación para seleccionar bloques. No altera la lógica del operador de fusión, sino que decide qué deltas se materializan.
3. Ejecutor: Transmite bloques base y utiliza un DeltaIterator para materializar solo los deltas de expertos seleccionados. Aplica el operador consciente de la máscara y registra un manifiesto reproducible que contiene la máscara de acceso, el hash del plan y la línea de ascendencia.

Garantías Teóricas:

• Solidez del Presupuesto: La traza de ejecución garantiza mantenerse dentro del presupuesto especificado $B$ por construcción.
• Consistencia de Presupuesto Completo: Si el presupuesto se establece para cubrir todos los expertos ($A=1$), el sistema recupera exactamente la fusión de lectura completa estándar.
• Límites de Error: Para operadores aditivos de coeficientes fijos, el error de actualización omitida está acotado por la norma de los deltas omitidos. Para operadores no aditivos (como TIES o DARE), el sistema proporciona la misma abstracción, con la fidelidad evaluada empíricamente.

3. Contribuciones Clave

1. Conjuntos de Acceso de Expertos como Objeto Presupuestado: El artículo propone tratar el acceso de expertos como un recurso de primera clase y presupuestado, separando el "qué" (acceso) del "cómo" (combinación).
2. Análisis Teórico: Los autores demuestran la solidez del presupuesto, la consistencia de presupuesto completo y derivan un límite de actualización omitida para fusiones aditivas, justificando el uso de puntuaciones de acceso basadas en normas.
3. Implementación de MergePipe: Un sistema concreto que implementa esta abstracción, logrando reducciones de un orden de magnitud en la E/S de lectura de expertos y aceleraciones significativas sin requerir cambios en los operadores de fusión subyacentes.

4. Resultados Experimentales

Los autores evaluaron MergePipe en familias de puntos de control de Qwen y Llama (que van desde 0.6B hasta 8B de parámetros) con hasta 25 expertos.

• E/S y Velocidad: MergePipe reduce la E/S de lectura de expertos hasta en un orden de magnitud. En escenarios específicos (por ejemplo, fusión TIES con 20 expertos), logra aceleraciones de hasta 11× en comparación con las líneas base de lectura completa ingenuas.
• Escalabilidad: Mientras que la fusión ingenua muestra un crecimiento casi lineal en la E/S y el tiempo de pared a medida que aumenta el número de expertos, MergePipe mantiene las lecturas de expertos casi planas al imponer el límite de presupuesto.
• Generalidad del Operador: El enfoque es compatible con varios operadores (AVG, TIES, DARE). Los métodos dispersos como TIES se benefician más, con una caída de la E/S de ~174GB a ~3.5GB en escenarios de alto número de expertos.
• Fidelidad:
  • Desviación de Parámetros: Al 50% del presupuesto de lectura completa, la desviación relativa $\ell_2$ respecto a la fusión de lectura completa permanece en el orden de $O(10^{-3})$.
  • Rendimiento Posterior: Las pruebas (HumanEval, IFEval, DROP) no muestran degradación monótona. En algunos casos, el rendimiento fluctúa ligeramente por encima de la línea base de lectura completa, lo que indica una frontera favorable velocidad-fidelidad.
• Sobrecarga: La sobrecarga del sistema es mínima; el tiempo de planificación representa ~1% del tiempo de ejecución, y el almacenamiento de metadatos es una pequeña fracción de la E/S total.

5. Significado y Afirmaciones

El artículo afirma que para familias de puntos de control a escala de LLM, el recurso limitante en la fusión a menudo es el conjunto de pesos de expertos que deben leerse, no el cálculo requerido para combinarlos.

• Cambio de Paradigma: Los autores argumentan que la fusión a escala de LLM requiere una abstracción de acceso a pesos, no solo mejores reglas de fusión. Al tratar los pesos como datos estructurados y presupuestados en lugar de archivos opacos, MergePipe expone una frontera práctica velocidad-fidelidad.
• Complementariedad: MergePipe se presenta como complementario a los métodos existentes de alineación por simetría o permutación. Una vez que los pesos están alineados, MergePipe optimiza la ejecución física.
• Implicación Futura: A medida que las familias de modelos continúan creciendo, los autores sugieren que los métodos en el espacio de pesos deben ir acompañados de capas de ejecución que gestionen explícitamente los patrones de E/S de parámetros para mantenerse escalables.

El trabajo no afirma inventar nuevos algoritmos de fusión, sino proporcionar la infraestructura de ejecución necesaria para hacer que los algoritmos de fusión existentes sean escalables en la era de los grandes conjuntos de expertos.