Resumen Técnico: DeltaMoE – Un Camino Eficiente en Datos hacia LLMs Multilingües

1. Declaración del Problema

Expandir los Modelos de Lenguaje Grandes (LLM) a nuevos idiomas es actualmente un proceso intensivo en recursos. La tubería estándar implica Pre-Entrenamiento Continuo (CPT) sobre corpus multilingües masivos, seguido de una compleja fase de alineación post-entrenamiento (por ejemplo, SFT y RL). Este enfoque exige un replay extenso de datos para evitar el olvido catastrófico de las capacidades originales y requiere grandes cantidades de datos de instrucciones de alta calidad para la alineación.

Técnicas recientes de fusión "libres de datos" intentan eludir la fase de alineación fusionando un modelo mejorado con CPT y un modelo instructivo existente. Sin embargo, estos métodos enfrentan una compensación crítica:

• Promedio Lineal (Sopas de Modelos): Diluye el conocimiento de idioma recién adquirido, limitando las ganancias en los idiomas expandidos.
• Fusión Delta: Aplicar directamente cambios de parámetros a menudo causa un olvido catastrófico de las capacidades de idioma original del modelo.

El desafío central es adquirir nuevas capacidades de idioma y alineación de manera eficiente sin sacrificar el rendimiento original del modelo.

2. Metodología: DeltaMoE

Los autores proponen DeltaMoE, un marco de dos etapas que recicla un modelo denso en una arquitectura de Mezcla de Expertos (MoE) para resolver la compensación mencionada anteriormente.

Etapa 1: Pre-Entrenamiento Continuo mediante Reciclaje Escaso

El modelo base denso se transforma en una arquitectura MoE creando copias profundas de las Redes de Alimentación Avanzada (FFN) originales para servir como "expertos".

• Arquitectura: El modelo consiste en $N$ expertos y un enrutador. Los parámetros originales (específicamente el experto 0) se congelan para actuar como un repositorio dedicado del conocimiento de idioma original.
• Entrenamiento: Solo los nuevos expertos de expansión añadidos y el enrutador se actualizan durante el CPT sobre los datos del nuevo idioma.
• Objetivo: El modelo minimiza la pérdida de Predicción del Siguiente Token (NTP) mientras utiliza una pérdida de balanceo de carga (LLB) para garantizar una distribución eficiente de tokens entre los expertos. Esto asegura que el conocimiento original permanezca intacto mientras los nuevos idiomas son aprendidos por los expertos activos.

Etapa 2: Fusión de Modelos MoE (Integración Delta)

Una vez que el modelo base MoE se entrena en nuevos idiomas, carece de capacidades de alineación. En lugar de un costoso post-entrenamiento, los autores injertan un delta de parámetros ($\Delta_{post}$) de un modelo instructivo denso bien alineado.

• Cálculo del Delta: $\Delta_{post} = \theta_{post-trained} - \theta_{base}$, representando el conocimiento de alineación ganado durante el entrenamiento del modelo instructivo.
• Injerto por Componentes:
  • Parámetros Compartidos: Para capas comunes a ambas arquitecturas densas y MoE (por ejemplo, Atención, Incrustaciones), el delta se aplica directamente.
  • Parámetros de Expertos: Para las capas FFN, se calcula un único delta específico de FFN a partir de los pesos FFN del modelo denso. Este delta se aplica luego uniformemente a todos los expertos en la arquitectura MoE.
• Fundamento: Esta estrategia trata a todos los expertos como herederos de la misma estructura fundamental, permitiendo que el conocimiento de alineación se difunda a través de todos los expertos sin diluir el conocimiento de idioma específico almacenado en los expertos congelados o entrenados.

3. Contribuciones Clave

1. Marco Novel: Introducción de DeltaMoE, que integra el reciclaje MoE con una estrategia refinada de fusión delta para expandir idiomas y adquirir capacidades de alineación sin procedimientos de post-entrenamiento pesados.
2. Resolución de Compensaciones: El método desacopla efectivamente la adquisición de conocimiento (vía nuevos expertos) de la retención de conocimiento (vía expertos congelados) y la transferencia de alineación (vía injerto delta), resolviendo el conflicto entre expandir capacidades y preservar las originales.
3. Generalizabilidad: El enfoque se valida en diferentes modelos base (Qwen2.5-7B, LLaMA-3.1-8B) y diferentes fuentes de deltas de alineación (instructivo estándar, Tulu3 SFT), demostrando robustez.

4. Resultados Experimentales

Se realizaron experimentos expandiendo Qwen2.5-7B y LLaMA-3.1-8B a húngaro, serbio y bengalí, evaluados frente a líneas base con datos, FLOPs y conteos de parámetros coincidentes.

• Rendimiento en Idiomas Expandidos: DeltaMoE logró un rendimiento de vanguardia (SOTA), mejorando los puntajes promedio en idiomas expandidos en 1.7 puntos sobre otros métodos basados en delta con parámetros comparables.
• Preservación de Capacidades Originales: A diferencia de la fusión delta densa que causó un olvido significativo, DeltaMoE preservó el rendimiento en idioma original, superando a las líneas base de delta densa en 1.5 puntos en métricas de retención.
• Eficiencia: Incluso cuando las líneas base densas se entrenaron con el doble de datos de CPT (para igualar los FLOPs del entrenamiento MoE), DeltaMoE mantuvo una ventaja significativa (aprox. 1.94 puntos) en el rendimiento de idiomas expandidos.
• Estudios de Ablación:
  • Estrategia de Fusión: El promedio lineal dentro de una arquitectura MoE no logró resolver la compensación, confirmando la necesidad del enfoque de fusión delta.
  • Ajuste del Enrutador: Una estrategia mínima de replay de datos (0.15B tokens) combinada con el ajuste del enrutador permitió a DeltaMoE superar a las líneas base de promedio denso en retención de conocimiento.
  • Escalabilidad: Aumentar el número de expertos entrenables más allá de tres produjo ganancias insignificantes, sugiriendo que 3 expertos entrenables son suficientes para múltiples idiomas expandidos.

5. Significado y Afirmaciones

El artículo afirma que DeltaMoE ofrece una ruta práctica y escalable para extender la alineación multilingüe de LLMs existentes. Mediante el reciclaje de modelos densos en arquitecturas MoE y el injerto de deltas de alineación, el método:

• Elimina la necesidad de conjuntos masivos de datos de instrucciones y fases complejas de alineación RL para nuevos idiomas.
• Resuelve el dilema "olvido vs. aprendizaje" inherente a las técnicas de fusión actuales.
• Proporciona una alternativa eficiente en datos que logra un rendimiento superior con una sobrecarga computacional significativamente menor en comparación con escalar los datos de entrenamiento densos.

Los autores reconocen limitaciones, señalando que los idiomas evaluados no representan completamente la diversidad lingüística global y que la arquitectura MoE introduce una sobrecarga computacional no trivial en comparación con los modelos densos durante la inferencia. Sin embargo, el marco se presenta como una solución robusta para la expansión multilingüe eficiente.