LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

Resumen Técnico: LLiMba — Adaptación de un Modelo de Lenguaje de 3B al Sardo

Planteamiento del Problema
El sardo (sardu), una lengua romance hablada por aproximadamente un millón de personas, sufre una ausencia casi total en el Procesamiento del Lenguaje Natural (PLN) moderno. Los servicios comerciales no lo soportan y los modelos de lenguaje grandes (LLM) existentes no lo generan de forma fiable, recurriendo habitualmente al italiano, al español u otras lenguas romances principales. La escasez de datos en sardo en los corpus a escala web impide que los modelos abiertos estándar aprendan la lengua, mientras que los modelos propietarios consideran que la base de usuarios es demasiado pequeña para la adquisición de datos. Además, los conjuntos de datos estándar de recursos limitados (por ejemplo, OSCAR, Leipzig Corpora) contienen un texto en sardo usable negligible. El desafío consiste en adaptar un modelo multilingüe preentrenado a una lengua romance de recursos limitados y estrechamente relacionada, utilizando datos mínimos y hardware de grado de consumo, evitando al mismo tiempo el olvido catastrófico y garantizando la fundamentación factual.

Metodología
Los autores presentan LLiMba, un modelo listo para el sardo de 3 mil millones de parámetros adaptado a partir de Qwen2.5-3B-Instruct. La tubería de adaptación se ejecuta en una única NVIDIA RTX 4090 (24 GB de VRAM) mediante un proceso de dos etapas:

1. Preentrenamiento Continuo (CPT):

   • Datos: Un corpus de ~11,5 millones de tokens en sardo (abarcando las variantes LSC, logudorese y campidanés) aumentado con ~2,4 millones de tokens de texto romance relacionado (italiano, español, portugués, catalán) para prevenir el olvido catastrófico y la difuminación del registro.
   • Técnica: Ajuste fino completo (todos los parámetros actualizados) en bfloat16. Los autores eligieron el ajuste fino completo sobre los adaptadores eficientes en parámetros para esta etapa porque el cambio de dominio (aprender una nueva lengua) es grande, y trabajos anteriores sugieren que LoRA rinde menos que el ajuste fino completo cuando la distribución objetivo está distante del preentrenamiento.
   • Restricciones de Hardware: Para ajustar el modelo de 3B en 24 GB de VRAM, los autores utilizaron optimizadores AdamW de 8 bits paginados, checkpointing de gradientes y un tamaño de lote efectivo de 16 mediante acumulación de gradientes. El empaquetado de secuencias se desactivó para evitar la fuga de atención a través de tipos de documentos heterogéneos.

2. Ajuste Fino Supervisado (SFT):

   • Datos: ~14.404 pares de instrucciones derivados de datos Capybara traducidos por máquina, pares de traducción paralela, instrucciones sintetizadas curadas por nativos y consultas relacionadas con canciones.
   • Comparación de Configuraciones: Se compararon cinco configuraciones de SFT bajo condiciones emparejadas (mismos datos, hardware e hiperparámetros):
     • Ajuste Fino Completo.
     • LoRA (Rango 64, $\alpha=128$).
     • rsLoRA (Rango 128, $\alpha=128$, utilizando escalado $\alpha/\sqrt{r}$).
     • rsLoRA (Rango 256, $\alpha=256$, utilizando escalado $\alpha/\sqrt{r}$).
     • DoRA (Rango 256, $\alpha=256$, descomponiendo los pesos en magnitud y dirección).

Resultados Clave

• Rendimiento en Traducción: El preentrenamiento continuo proporcionó la mayor parte de la ganancia de rendimiento, mejorando las puntuaciones BLEU entre 4 y 7 veces sobre el modelo base. El SFT proporcionó mejoras incrementales.

  • Mejor Rendimiento: rsLoRA en Rango 256 logró las puntuaciones más altas para la traducción al sardo (por ejemplo, 28,47 BLEU para inglés-a-sardo, comparado con 17,26 después del CPT solo y 21,04 para ajuste fino completo).
  • Ablación de Rango: El rendimiento en las métricas de traducción escaló suavemente con el rango: rsLoRA r256 > rsLoRA r128 > LoRA r64.
  • Rendimiento Insuficiente de DoRA: A pesar de tener el mismo rango (256) que la mejor configuración de rsLoRA, DoRA rindió menos que LoRA r64 en cuatro de las seis direcciones de traducción y no logró igualar las ganancias del ajuste fino completo.

• Hallazgos Cualitativos y Modos de Fallo:

  • Fundamentación Factual: Las métricas de traducción (BLEU/chrF) no se correlacionaron con la precisión factual. rsLoRA r256 produjo hechos biográficos y culturales verificables y precisos. En contraste, LoRA r64 produjo detalles confiables pero fabricados, y DoRA r256 produjo las fabricaciones más agresivas, contradiciendo su premisa de diseño de preservar la estructura del modelo base.
  • Fidelidad Léxica: Aunque rsLoRA r256 fue superior factualmente, exhibió "alucinación morfológica" en prompts largos y abiertos, generando palabras en sardo fonotácticamente plausibles pero no atestiguadas. El ajuste fino completo permaneció más cercano al vocabulario atestiguado.
  • Fuga de Escritura: La configuración rsLoRA r128 introdujo un modo de fallo único: fuga de tokens de escritura no latina (chino/inglés) en oraciones en sardo, un fenómeno no observado en otras variantes.

• Métricas de Pérdida vs. Realidad: Las pérdidas de entrenamiento y evaluación fueron similares entre los métodos y no predijeron las diferencias cualitativas en la factualidad o la integridad de la escritura. El artículo señala que las métricas de perplejidad pueden ser artificialmente disminuidas por la tokenización de fallback de bytes en escrituras no latinas (un problema conocido en la adaptación del tibetano), aunque la escritura latina del sardo evita este artefacto específico.

Significado y Contribuciones
El artículo establece que adaptar un modelo de 3 mil millones de parámetros a una lengua romance de recursos limitados es factible en una sola GPU de consumo utilizando una tubería de dos etapas de CPT completo seguida de SFT eficiente en parámetros.

Las contribuciones clave incluyen:

1. Evidencia Empírica sobre la Capacidad de los Adaptadores: El estudio demuestra que para adaptar una base preentrenada en romance a un objetivo romance de recursos limitados, el rango del adaptador importa más que la variante específica del adaptador. Escalar rsLoRA a Rango 256 produjo ganancias significativas, mientras que DoRA al mismo rango no logró resultados comparables, lo que sugiere que la parametrización específica (actualizaciones de bajo rango sin restricciones frente a descomposición magnitud-dirección) interactúa críticamente con la tarea.
2. Limitaciones de las Métricas Estándar: El trabajo destaca que las métricas de traducción (BLEU/chrF) y las curvas de pérdida pueden ordenar las configuraciones suavemente mientras enmascaran diferencias categóricas en el comportamiento cualitativo, como la alucinación factual y la fuga de escritura.
3. Eficiencia de Recursos: Proporciona una tubería reproducible para la adaptación de lenguas de recursos limitados que no requiere clusters de computación masivos, confiando en su lugar en una curación cuidadosa de datos y optimización consciente del hardware (optimizadores de 8 bits, checkpointing de gradientes).

Los autores concluyen que, aunque rsLoRA r256 es la configuración óptima para la traducción y la fundamentación factual en este escenario específico, la divergencia entre las métricas cuantitativas y la realidad cualitativa requiere estrategias de evaluación que incluyan sondas de hablantes nativos y verificaciones de factualidad, especialmente cuando las métricas basadas en pérdida pueden ser engañosas o insuficientes.