Building a Functional Machine Translation Corpus for Kpelle

Resumen Técnico: Construcción de un Corpus Funcional de Traducción Automática para el Kpelle

Planteamiento del Problema
A pesar de contar con más de un millón de hablantes en Liberia y Guinea, la lengua Kpelle permanece severamente subrepresentada en la investigación de Procesamiento de Lenguaje Natural (NLP). Como lengua de bajos recursos, el Kpelle sufre de escasez de datos, una falta de ortografía estandarizada y variaciones dialectales (específicamente entre el Kpelle liberiano y el guineano). Mientras que iniciativas como Masakhane, el Fondo Lacuna y el proyecto "No Language Left Behind" (NLLB) de Meta han avanzado en recursos para otras lenguas africanas, el Kpelle ha sido excluido en gran medida, dejando a los hablantes sin acceso a herramientas digitales como la traducción automática (MT) o el reconocimiento de voz.

Metodología
Para abordar esta brecha, los autores construyeron el primer corpus bilingüe inglés-kpelle disponible públicamente. La metodología consistió en un proceso de múltiples etapas:

1. Recolección de Datos: El conjunto de datos se compiló a partir de tres fuentes primarias:
   • Viajes y Turismo: Frases comunes obtenidas de sitios web de aprendizaje de idiomas establecidos.
   • Textos Religiosos: Extractos de literatura religiosa traducida disponible públicamente.
   • Materiales Educativos: Contenido de libros de texto y diccionarios, incluyendo A Learner Directed Approach to Kpelle y el English-Kpelle Dictionary.
2. Procesamiento y Alineación:
   • Traducción: Hablantes nativos de Kpelle con experiencia lingüística tradujeron párrafos en inglés que carecían de su correspondiente texto en Kpelle.
   • Segmentación: Los párrafos se segmentaron en pares de oraciones para aumentar la granularidad para las tareas de MT.
   • Limpieza y Normalización: Los datos brutos se sometieron a corrección ortográfica, eliminación de duplicados y estandarización de la ortografía basada en el alfabeto latino. Se prestó especial atención a las marcas diacríticas para representar con precisión el sistema tonal del Kpelle (tonos altos, medios, bajos y de contorno).
   • Verificación: Todas las traducciones fueron revisadas por expertos en la lengua para asegurar la corrección gramatical y la adecuación contextual.
3. Configuración Experimental:
   • Los autores utilizaron el modelo NLLB-200 de Meta como línea base.
   • Se crearon dos versiones del conjunto de datos: la Versión 1 (V1) con 1,518 pares de traducción (1,667 oraciones en Kpelle/1,638 en inglés), y la Versión 2 (V2) con 2,005 pares de traducción (2,202 Kpelle/2,167 inglés), lograda mediante la aumentación de datos.
   • Los conjuntos de datos se dividieron en una proporción 9:1 para entrenamiento y prueba.
   • Los modelos se ajustaron (fine-tuning) para 10k, 30k y 60k pasos utilizando el optimizador Adafactor en una GPU Quadro RTX 6000.
   • Se entrenó un tokenizador SentencePiece personalizado para el Kpelle para manejar tokens fuera del vocabulario.
   • La evaluación se realizó mediante sacreBLEU, chrF2++ y métricas de precisión.

Contribuciones Clave
El artículo describe tres contribuciones primarias:

1. Creación de Conjunto de Datos: El lanzamiento de un corpus bilingüe inglés-kpelle que contiene un total de 3,234 pares de traducción únicos (a través de las versiones del conjunto de datos), que comprende más de 30,000 palabras. Este es actualmente el recurso más grande disponible públicamente para el Kpelle.
2. Marco Metodológico: Los autores proporcionan un marco replicable para la recolección, limpieza y alineación de datos, diseñado específicamente para lenguas de bajos recursos con tradiciones escritas limitadas e inconsistencias ortográficas.
3. Evaluación Comparativa (Benchmarking): El conjunto de datos fue evaluado frente al modelo NLLB, estableciendo líneas base de rendimiento para la traducción automática del Kpelle.

Resultados
Los experimentos de ajuste fino arrojaron los siguientes resultados:

• De Kpelle a Inglés (kpe_Latn → eng_Latn): El mejor rendimiento se logró con la Versión 2 del conjunto de datos a los 60k pasos de entrenamiento, alcanzando una puntuación BLEU de 30.28 (y un chrF2++ de 44.28).
• De Inglés a Kpelle (eng_Latn → kpe_Latn): El mejor resultado fue una puntuación BLEU de 24.46, logrado con la Versión 1 a los 30k pasos. Aunque la Versión 2 mostró mejoras en un mayor número de pasos (alcanzando 20.79 a los 60k pasos), no superó el rendimiento máximo de la Versión 1 en esta dirección.
• Impacto de la Aumentación de Datos: La expansión del corpus de V1 a V2 generalmente mejoró el rendimiento, particularmente en la dirección de Kpelle a inglés en pasos de entrenamiento más altos. Sin embargo, para la traducción de inglés a Kpelle, el artículo señala que las ganancias fueron modestas, con la V1 superando a la V2 en la marca de los 30k pasos.
• Análisis Comparativo: Las puntuaciones BLEU alcanzadas (que oscilan aproximadamente entre 20 y 30) son consistentes con el rendimiento de NLLB-200 en otras lenguas africanas de bajos recursos (por ejemplo, wolof, luo, yoruba), aunque permanecen por debajo de las lenguas de alto rendimiento como el suajili.

Significancia y Reivindicaciones
Los autores afirman que este trabajo sienta las bases para la investigación intensiva en el Kpelle y otras lenguas liberianas de bajos recursos. Al demostrar que es posible lograr un rendimiento de MT competitivo a pesar del estatus de bajos recursos de la lengua, el artículo subraya el potencial para el desarrollo de tecnología lingüística inclusiva.

La significancia del trabajo se enmarca en torno a:

• Habilitación de Aplicaciones de NLP: El conjunto de datos sirve como un recurso necesario para el desarrollo no solo de la traducción automática, sino también de herramientas de reconocimiento de voz y modelado de lenguaje.
• Comunidad e Inclusión: El proyecto contribuye al objetivo más amplio de promover la diversidad e inclusión lingüística, abordando específicamente la marginación de las lenguas mande en el NLP.
• Hoja de Ruta Futura: Los autores enfatizan que, si bien los resultados actuales son prometedores, el trabajo futuro debe centrarse en la consistencia ortográfica, la expansión de la cobertura de dominios (específicamente en salud, educación y religión) y la validación impulsada por la comunidad para mejorar aún más el rendimiento del modelo.

El artículo concluye con un llamado a la acción para que investigadores y lingüistas colaboren en el refinamiento del conjunto de datos y en el desarrollo de técnicas novedosas de NLP para cerrar la brecha digital para los hablantes de Kpelle.