Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque

1. El Problema

Los Modelos de Lenguaje Grande (LLM) de código abierto siguen estando predominantemente centrados en el inglés, lo que genera una brecha significativa de rendimiento para la mayoría de los idiomas del mundo, especialmente los de recursos limitados (low-resource).

• Limitaciones actuales: Los modelos instructados (instruction-tuned) suelen tener capacidades degradadas en idiomas como el euskera.
• Falta de datos: No existen conjuntos de datos de instrucciones de alta calidad en euskera (ni manuales ni generados automáticamente de buena calidad).
• Incertidumbre metodológica: No está claro cuál es la estrategia óptima para adaptar modelos instructados a idiomas de bajos recursos: ¿debería seguirse el pipeline estándar (pre-entrenamiento continuo + ajuste de instrucciones)? ¿Es posible transferir capacidades de seguimiento de instrucciones directamente desde un modelo instructado en inglés sin datos de instrucciones nativos?

2. Metodología

Los autores realizaron un estudio sistemático utilizando el euskera como caso de estudio, dado que es un idioma aislado con recursos limitados (aprox. 1/1000 del inglés en Common Crawl) y sin datasets de instrucciones preexistentes.

Recursos Disponibles:

• Corpus: Textos en euskera de alta calidad (4.3M de documentos, ~3.5B tokens) utilizados previamente para entrenar Latxa.
• Modelos Base (Backbones):
  • BASE_EN: Llama 3.1 (inglés).
  • BASE_EU: Llama 3.1 con pre-entrenamiento continuo en euskera.
  • INSTRUCT_EN: Llama 3.1 Instruct (inglés).
• Generación Sintética:
  • Instrucciones en Inglés: Generadas mediante la técnica Magpie (Xu et al., 2025) usando el modelo INSTRUCT_EN.
  • Instrucciones en Euskera: Traducción de las instrucciones en inglés utilizando el modelo BASE_EU con few-shot prompting, evitando sistemas de traducción externos (como NLLB) que fallan en contextos complejos (código, matemáticas).

Diseño Experimental:
Se exploraron 18 configuraciones distintas combinando:

1. Backbone: BASE_EN, BASE_EU, INSTRUCT_EN.
2. Datos de Entrenamiento:
   • Corpus en euskera (Corpus_EU).
   • Instrucciones en inglés (Instructions_EN).
   • Instrucciones en euskera (Instructions_EU).
   • Combinaciones de los anteriores.

Evaluación:

• Benchmarks Estáticos: 27 pruebas en euskera, inglés y español (comprensión, razonamiento, matemáticas, conocimiento local).
• Evaluación Humana (Arena): Un evento comunitario masivo con 1.680 participantes que generaron 12.890 anotaciones de preferencia. Se evaluó calidad de contenido, calidad lingüística y calidad global.
• Seguridad y Sesgo: Evaluación de tasas de violación (VR) y rechazo falso (FRR) usando datasets adaptados (XSTest, BasqBBQ).

3. Contribuciones Clave

1. Latxa Instruct: Lanzamiento de la primera familia de modelos instructados específicamente para euskera, en tamaños de 8B y 70B parámetros.
2. Datasets Abiertos:
   • Conjuntos de instrucciones sintéticas en inglés y euskera.
   • El primer dataset de preferencias humanas en euskera (prompts reales, respuestas y anotaciones).
3. Insights Metodológicos: Identificación de la ruta óptima para adaptar LLMs a idiomas de bajos recursos, desafiando el pipeline tradicional.

4. Resultados Principales

A. Importancia del Corpus en Idioma Objetivo:

• El uso del corpus en euskera (Corpus_EU) es esencial. Los modelos sin exposición a texto plano en euskera mostraron degradación severa, independientemente de otras técnicas.
• Sin embargo, si el backbone ya es BASE_EU (ya pre-entrenado en euskera), añadir más corpus durante el ajuste de instrucciones tiene un beneficio marginal o incluso negativo.

B. Estrategia de Instrucciones (Idioma y Tipo):

• Instructados vs. Base: Comenzar desde un modelo ya instructado en inglés (INSTRUCT_EN) y adaptarlo a euskera supera significativamente a entrenar un modelo base (BASE_EN) para seguir instrucciones desde cero. Esto desafía el enfoque estándar de "pre-entrenar en el idioma objetivo primero".
• Bilingüismo: Aunque las instrucciones solo en inglés funcionan bien, la combinación de instrucciones en inglés y euskera (I_EN + I_EU) produce los modelos más robustos y consistentes tanto en benchmarks como en evaluación humana.

C. Escalabilidad (8B vs 70B):

• El modelo de 70B parámetros (INSTRUCT_EN + Corpus_EU + I_EN+EU) alcanza un rendimiento cercano a los modelos frontera comerciales (GPT-4o, Claude 3.5 Sonnet) en tareas de conocimiento local y competencia lingüística en euskera, sin haber utilizado nunca instrucciones nativas en euskera para su entrenamiento inicial.
• En la Arena, el modelo de 70B compite de igual a igual con modelos comerciales en calidad lingüística, aunque queda ligeramente por detrás en calidad de contenido global.

D. Seguridad y Sesgo:

• La alineación de seguridad y reducción de sesgos se transfiere eficazmente desde el modelo base en inglés (INSTRUCT_EN) al modelo adaptado en euskera.
• Los modelos de 70B muestran tasas de violación (VR) muy bajas y tasas de rechazo falso (FRR) cercanas a cero, indicando que la seguridad no se sacrifica por la adaptación lingüística.

5. Significado e Impacto

Este trabajo demuestra que es posible crear modelos de lenguaje instructados de alta calidad para idiomas de recursos limitados sin depender de datos de instrucciones nativos costosos o manuales.

• Paradigma Cambiante: Sugiere que la ruta más eficiente no es "aprender el idioma y luego las instrucciones" (pipeline secuencial tradicional), sino "aprender las instrucciones en un idioma rico y luego adaptar el modelo al idioma objetivo" (transferencia directa desde un backbone instructado).
• Reproducibilidad: Al liberar modelos, datos y código, el estudio establece un nuevo estándar para la investigación en adaptación de LLMs para comunidades lingüísticas minoritarias.
• Correlación Benchmark-Humano: Se encontró una fuerte correlación (>0.80) entre los benchmarks automáticos en euskera y las preferencias humanas, lo que valida el uso de métricas automáticas como proxy para evaluaciones costosas en futuros trabajos.

En resumen, el estudio valida que la combinación de un backbone instructado en inglés, corpus nativo y instrucciones sintéticas bilingües es la estrategia óptima para cerrar la brecha de rendimiento en idiomas como el euskera, acercándose al estado del arte comercial sin necesidad de datos de instrucciones nativos masivos.