Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation

Resumen Técnico: Inicialización de Embeddings para Lenguas No Presentes en Modelos de NMT Multilingües

Planteamiento del Problema
Los modelos de Traducción Automática Neuronal (NMT) multilingües, como el NLLB-200 de Meta, admiten 200 idiomas pero dejan miles sin soporte, incluyendo la mayoría de las lenguas bantúes de los Grassfields en Camerún. Cuando los investigadores intentan realizar un ajuste fino (fine-tuning) de estos modelos para una lengua no presente, se enfrentan a un obstáculo práctico crítico: el modelo carece de un token de lenguaje específico para la nueva lengua. El recurso habitual consiste en reutilizar el token de una lengua "proxy" tipológicamente relacionada. Sin embargo, no existe un método fundamentado para seleccionar el proxy óptimo, y no existe una comparación sistemática de las estrategias de selección. Esta brecha obliga a los profesionales a depender de elecciones heurísticas que pueden no ofrecer un rendimiento óptimo.

Metodología
Los autores proponen una estrategia de inicialización de embeddings que elimina la necesidad de seleccionar una única lengua proxy. En lugar de mapear una nueva lengua a un único token existente, el método inicializa el embedding del nuevo token de la lengua como el promedio aritmético de los embeddings de k lenguas tipológicamente relacionadas ya presentes en el modelo.

• Procedimiento: Dado un modelo preentrenado $M$ con un conjunto de tokens de lenguaje $L$ y una nueva lengua $L_{new} \notin L$, el nuevo embedding $e_{L_{new}}$ se calcula como:
  $$e_{L_{new}} = \frac{1}{k} \sum_{i=1}^{k} e_{P_i}$$
  donde $P_i$ son k lenguas proxy del mismo grupo lingüístico presentes en el modelo. La arquitectura del modelo se modifica únicamente añadiendo el nuevo token al vocabulario y redimensionando la matriz de embeddings.
• Caso de Estudio: El método fue evaluado en Limbum (ISO 639-3: 'lmp'), una lengua bantú de los Grassfields que no contaba previamente con recursos computacionales (sin árbol de lenguas, embeddings de palabras o corpus paralelo).
• Selección de Proxies: Para el Limbum, los autores seleccionaron tres lenguas bantúes presentes en NLLB-200: suajili (swh), luganda (lug) y lingala (lin). Cabe destacar que ninguna de estas es un pariente cercano dentro del subgrupo Grassfields, aunque comparten la pertenencia a la familia bantú más amplia.
• Protocolo de Entrenamiento: Los autores realizaron el ajuste fino de NLLB-200-distilled-600M utilizando un esquema de dos fases para el modelo de embedding promediado (S2b): una fase de calentamiento (warm-up) congelando todos los parámetros excepto el nuevo embedding y las capas de atención cruzada, seguida de un ajuste fino completo.
• Datos: El estudio utilizó el primer corpus paralelo Limbum-Inglés, compuesto por 8.837 pares de frases derivadas del Nuevo Testamento en Limbum (7.380 pares) y un diccionario Limbum-Inglés (1.457 pares).

Configuración Experimental y Baselines
El estudio comparó cuatro sistemas:

1. S0 (Zero-shot): NLLB-200 sin ajuste fino, mapeando la entrada de Limbum a un token de suajili.
2. S1 (Desde cero): Un Transformer entrenado desde cero con el corpus Limbum-Inglés.
3. S2a (Único Proxy): NLLB-200 ajustado utilizando el token de suajili como único proxy.
4. S2b (Inicialización por Promedio): NLLB-200 ajustado con el nuevo token de Limbum inicializado mediante el promedio de los embeddings de suajili, luganda y lingala.

Resultados Clave

• Dominio de la Transferencia Multilingüe: El hallazgo más significativo es la brecha de rendimiento entre el modelo entrenado desde cero (S1, chrF2++ = 14.5) y las variantes de NLLB-200 con ajuste fino (S2a/S2b, chrF2++ $\approx$ 47). La transferencia multilingüe supuso una mejora de 32 puntos, mientras que la elección de la estrategia de inicialización (proxy único frente a promedio) supuso menos de un punto.
• Equivalencia de Estrategias: La inicialización por promedio (S2b) alcanzó un chrF2++ de 46.7, lo cual es estadísticamente comparable al enfoque de proxy único de suajili (S2a, chrF2++ = 47.3). Los intervalos de confianza del 95% se solapan significativamente.
• Eficiencia de Datos: La curva de aprendizaje demostró rendimientos decrecientes. Utilizando solo el 25% de los datos de entrenamiento (1.768 pares), el S2b alcanzó un chrF2++ de 32.12, casi el doble del baseline de entrenamiento desde cero.
• Cobertura Léxica: Un estudio de ablación que eliminó los datos del diccionario (dejando solo el texto del Nuevo Testamento) causó una caída drástica en el rendimiento sobre los ítems de prueba del dominio del diccionario (de 25.48 a 15.30 chrF2++), confirmando que los recursos léxicos suplementarios son críticos para la cobertura fuera del dominio.
• Fallo Sistémico en Tonos: Todos los sistemas, incluidos los modelos con ajuste fino, lograron una precisión del 0.0% en la preservación de los diacríticos tonales. Aunque las puntuaciones de chrF2++ fueron altas, los modelos fallaron al reproducir las marcas de tono contrastivas esenciales para la claridad semántica en Limbum (por ejemplo, distinguir "venir" de "ser").

Significación y Contribuciones
El artículo realiza cinco contribuciones principales:

1. Creación de Recursos: La publicación del primer corpus paralelo Limbum-Inglés (8.837 pares) y el código asociado para apoyar la investigación de PLN para esta lengua de escasos recursos.
2. Validación Empírica: Demostración de que el ajuste fino de NLLB-200 en lenguas bantúes de escasos recursos produce un alto rendimiento (chrF2++ $\approx$ 47) utilizando una cantidad mínima de datos (7.070 pares) en hardware de consumo (GPU Google Colab T4).
3. Innovación Metodológica: Propuesta de un método de promediado de embeddings que iguala el rendimiento del ajuste fino con un único proxy, eliminando la necesidad de una selección heurística de proxies. Esto proporciona una "opción por defecto segura" para investigadores que trabajan con lenguas no presentes.
4. Análisis de Ablación: Cuantificación de la contribución de las fracciones de datos y el valor específico de los recursos léxicos suplementarios (diccionarios) en entornos de bajos recursos.
5. Identificación de Desafíos Abiertos: Documentación del fallo total de los sistemas NMT actuales en la preservación de los diacríticos tonales, identificando una brecha crítica para las lenguas tonales africanas donde las métricas estándar como chrF2++ y BLEU no logran penalizar la ambigüedad semántica causada por la ausencia de marcas tonales.

Conclusión
El estudio concluye que, para la traducción de lenguas bantúes de escasos recursos, la transferencia multilingüe es el factor dominante en el rendimiento, lo que hace que la elección específica de la estrategia de inicialización (promediado frente a proxy único) sea secundaria. El método de promediado ofrece una alternativa fundamentada y robusta a la selección de proxies, permitiendo la adaptación sin complejidad arquitectónica. Sin embargo, la incapacidad de estos modelos para manejar los diacríticos tonales sigue siendo un desafío importante y sin resolver para la NMT en lenguas tonales.