Resumen Técnico: COMPASS

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) a menudo muestran disparidades de rendimiento significativas entre idiomas, especialmente en idiomas de recursos bajos (LRLs). El ajuste fino (fine-tuning) multilingüe ingenuo suele degradar el rendimiento en el idioma objetivo debido a la interferencia cruzada negativa.

Las causas fundamentales de este problema incluyen:

• Desalineación Distribucional: Los datos de entrenamiento multilingüe a menudo difieren de los patrones de uso real en producción (sesgos de muestreo, variaciones temáticas). Esto expone al modelo a patrones irrelevantes y lo subexpone a patrones cruciales para el idioma objetivo.
• Competencia de Capacidades: Cuando se entrena un modelo único con múltiples idiomas, estos "compiten" por los parámetros compartidos, lo que lleva a representaciones subóptimas.
• Limitaciones de los Enfoques Actuales:
  • El ajuste fino monolingüe por separado es costoso en memoria.
  • El uso indiscriminado de todos los datos multilingües causa interferencia negativa.
  • Los métodos basados en similitud lingüística (familia de idiomas) no siempre capturan la necesidad semántica específica del dominio de uso.

2. Metodología: COMPASS

COMPASS es un marco centrado en los datos para adaptar LLMs preentrenados a idiomas objetivo mediante Ajuste Fino Eficiente de Parámetros (PEFT) y Muestreo Semántico Adaptativo.

Componentes Clave:

A. Selección de Datos Guiada por Distribución

En lugar de usar todos los datos auxiliares o basarse solo en la similitud lingüística, COMPASS identifica y rellena los "huecos" semánticos entre los datos de entrenamiento y la distribución de uso real.

1. Representación Embebida: Se utiliza un modelo de incrustación multilingüe (Jina-Embeddings-v3) para codificar datos de entrenamiento objetivo ($D_t$), datos auxiliares ($D_{aux}$) y un conjunto de validación que actúa como proxy del uso en vivo ($E_t$).
2. Clustering Semántico: Se agrupan los datos en clusters temáticos ($C_k$) utilizando algoritmos como HDBScan.
3. Cálculo de Desajuste: Se calcula la discrepancia entre la densidad de datos en cada cluster para el entrenamiento vs. la evaluación. Si un cluster está subrepresentado en el entrenamiento pero presente en el uso real ($\rho_k > 1$), se prioriza.
4. Estrategia de Muestreo Adaptativo:
   • Ponderación de Clusters: Se asignan pesos a los clusters basados en la magnitud del desajuste.
   • Ponderación de Instancias: Dentro de cada cluster, se priorizan ejemplos "prototípicos" (cerca del centroide) cuando el desajuste es alto, y se incorporan gradualmente ejemplos "ambiguos" (cerca del límite de decisión) a medida que se cubre el cluster, siguiendo un currículo de aprendizaje de fácil a difícil.
   • Diversidad: Se penaliza la selección de ejemplos redundantes dentro del mismo cluster para asegurar diversidad semántica.

B. Adaptación Continua (COMPASS-ECDA)

Reconociendo que las distribuciones de datos cambian con el tiempo (nuevos jergas, tendencias, estacionalidad), COMPASS se extiende a un marco de aprendizaje continuo:

• Detección de Desplazamiento: Se monitorea la divergencia Jensen-Shannon entre la distribución de los datos entrantes y la distribución de referencia del adaptador.
• Actualización con ECDA (Elastic Consolidation and Distributional Anchoring): Cuando se detecta un cambio, el adaptador se actualiza utilizando:
  1. Anclajes Distribucionales: Un buffer de memoria con ejemplos prototípicos de clusters estables anteriores (rehearsal dirigido).
  2. Regularización EWC: Penaliza cambios en los parámetros importantes para tareas anteriores.
  3. Pérdida de Tarea: Se adapta a los nuevos datos seleccionados mediante COMPASS.

C. Arquitectura

• Utiliza DoRA (Weight-Decomposed Low-Rank Adaptation) para entrenar adaptadores ligeros y específicos por idioma sobre una base de modelo compartida.
• En inferencia, un modelo de identificación de idioma enruta las consultas al adaptador correspondiente.

3. Contribuciones Clave

1. Estrategia de Muestreo Consciente de la Distribución: Un método novedoso que utiliza clustering y comparación de distribuciones para seleccionar datos auxiliares, superando a las estrategias basadas en similitud lingüística.
2. Marco de Aprendizaje Continuo (COMPASS-ECDA): Una solución sostenible que permite actualizar adaptadores en producción para manejar desplazamientos de distribución sin olvidar conocimientos previos.
3. Validación Empírica Exhaustiva: Pruebas en tres arquitecturas diferentes (Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B) y múltiples benchmarks (Global-MMLU, MMLU-ProX, OneRuler).
4. Eficiencia y Escalabilidad: Logra mejoras significativas sin el costo computacional de reentrenar modelos completos o mantener múltiples modelos completos.

4. Resultados Experimentales

• Rendimiento Superior: COMPASS supera consistentemente a los métodos base (ajuste fino solo en idioma objetivo, muestreo aleatorio, y selección basada en similitud lingüística como LangRank/LangSim) en benchmarks de comprensión y razonamiento multilingüe.
  • En Global-MMLU, COMPASS mostró mejoras estadísticamente significativas ($p<0.05$) sobre el ajuste fino monolingüe, con tamaños de efecto medios a grandes.
  • Superó al método "All-data" (todos los idiomas mezclados), que a menudo degrada el rendimiento debido a la interferencia.
• Idiomas de Recursos Bajos: Las mejoras fueron más pronunciadas en idiomas con menos datos, donde la transferencia cruzada positiva es más crítica.
• Tareas de Contexto Largo: Aunque el ajuste fino se realizó en datos de contexto corto (Aya), COMPASS mejoró la capacidad de los modelos para manejar contextos largos (hasta 128k tokens) en idiomas de recursos bajos, sugiriendo una mejor alineación de representaciones compartidas.
• Aprendizaje Continuo: En escenarios de desplazamiento de distribución, COMPASS-ECDA logró un equilibrio óptimo (Pareto) entre aprender nuevas tareas y retener el conocimiento antiguo, superando a la reentrenamiento completo (en eficiencia) y al ajuste fino ingenuo (en retención).
• Análisis de Presupuesto: Se identificó que un presupuesto de datos auxiliares del 80% del tamaño de los datos objetivo suele ser óptimo, evitando el rendimiento decreciente por ruido de datos irrelevantes.

5. Significado e Impacto

• Solución a la Desigualdad Lingüística: COMPASS ofrece una vía práctica para mejorar el rendimiento de LLMs en idiomas de recursos bajos sin depender de la creación masiva de nuevos datos de entrenamiento desde cero, sino optimizando el uso de datos existentes.
• Eficiencia Operativa: Al utilizar adaptadores ligeros y un modelo base compartido, reduce drásticamente los costos de almacenamiento y computación en comparación con enfoques de "un modelo por idioma".
• Adaptabilidad en Producción: La capacidad de detectar y adaptarse a cambios en la distribución de datos en tiempo real hace que el método sea viable para despliegues reales donde los patrones de usuario evolucionan constantemente.
• Limitaciones y Futuro: El método depende de la calidad de los modelos de incrustación (encoders) y no resuelve problemas inherentes de tokenización o escasez de datos de preentrenamiento. El futuro trabajo debe abordar la mitigación de sesgos en la selección de datos y la integración con métodos de preservación de parámetros más avanzados.

En conclusión, COMPASS representa un avance significativo hacia modelos multilingües más equitativos, eficientes y robustos, demostrando que la selección inteligente de datos basada en la distribución semántica es más efectiva que la simple acumulación de datos o la dependencia de la similitud lingüística superficial.