OpenLID-v3: Improving the Precision of Closely Related Language Identification -- An Experience Report

Resumen Técnico: OpenLID-v3: Mejorando la Precisión de la Identificación de Lenguas Cercanamente Relacionadas

Planteamiento del Problema
La identificación de lenguas (LID, por sus siglas en inglés) es un paso de preprocesamiento crítico para la construcción de conjuntos de datos multilingües de alta calidad a partir de datos de la web, particularmente para el preentrenamiento de Modelos de Lenguaje de Gran Escala (LLM). Sin embargo, las herramientas existentes como OpenLID y GlotLID luchan contra dos problemas principales: distinguir entre lenguas cercanamente relacionadas y diferenciar el lenguaje natural válido del ruido (por ejemplo, código, codificación rota o contenido generado por máquinas). Estos fallos provocan la contaminación de los subconjuntos específicos de cada lengua, un problema exacerbado para las lenguas de bajos recursos. Además, los benchmarks de evaluación estándar suelen depender de corpus paralelos limpios (por ejemplo, FLORES+, UDHR) que no logran capturar la complejidad y ambigüedad de los documentos reales de la web, ocultando un bajo rendimiento ante variedades lingüísticas similares.

Metodología
Los autores presentan OpenLID-v3, una extensión del sistema OpenLID (basado en la arquitectura fastText), el cual es totalmente de código abierto. El desarrollo de la v3 fue impulsado por una inspección manual del rendimiento de OpenLID-v2 en el conjunto de datos HPLT 3.0, la cual reveló modos de fallo específicos. La metodología consistió en tres intervenciones técnicas fundamentales:

1. Expansión y Limpieza de Datos de Entrenamiento: Los autores extendieron los datos de entrenamiento para lenguas específicas, notablemente reintroduciendo el latín y añadiendo el serbio escrito en alfabeto latino (que anteriormente faltaba, causando una clasificación errónea como bosnio o croata). También incorporaron subconjuntos de los datos de entrenamiento de GlotLID reportados como libres de ruido y añadieron volcados recientes de Wikipedia.
2. Reestructuración del Inventario de Clases:
   • Fusión de Variantes: Para reducir la confusión, ocho dialectos árabes se fusionaron en un único macrolenguaje ara_Arab, y dos variedades persas se fusionaron en fas_Arab. Del mismo modo, las lenguas mutuamente inteligibles bambara y dyula fueron fusionadas.
   • Etiquetado de Ruido: Se introdujo una clase dedicada zxx_Zxxx ("no es una lengua") utilizando los datos und_* y zxx_* de GlotLID para modelar explícitamente el ruido no lingüístico, abordando el "fenómeno del cubo de la basura" donde el texto no lingüístico era forzado en las clases de lenguas existentes.
3. Enfoques de Ensamblaje: Los autores experimentaron con el ensamblaje de OpenLID-v3 y GlotLID utilizando estrategias de acuerdo de top-1 y top-3 para mejorar la precisión, aunque se encontró que el acuerdo de top-3 degradaba los resultados para modelos de etiqueta única.

Estrategia de Evaluación
El artículo sostiene que los benchmarks convencionales son insuficientes para evaluar la LID en lenguas similares. En consecuencia, la estrategia de evaluación incluyó:

• Benchmarks Estándar: FLORES+, UDHR y FastSpell.
• Benchmarks Personalizados/Específicos: Se crearon o utilizaron nuevos conjuntos de datos de evaluación para tres grupos específicos de lenguas cercanamente relacionadas:
  • BCMS (Bosnio, Croata, Montenegrino, Serbio): Utilizando datos de usuarios de Twitter, ParlaSent (transcripciones parlamentarias) y datos de HPLT-LID re-anotados.
  • Variedades Romances: Centrándose en el ligur, el occitano y el francoprovenzal utilizando el conjunto de datos ITDI.
  • Lenguas Escandinavas: Evaluando el noruego Bokmål, Nynorsk, el danés y el sueco utilizando los conjuntos de datos SLIDE y Nordic DSL.
• Métricas: Énfasis en la Tasa de Falsos Positivos (FPR) y la precisión, junto con la exhaustividad (recall) y la puntuación F1, para reflejar mejor el desequilibrio de clases presente en las extracciones reales de la web.

Resultados Clave

• Rendimiento en Benchmarks: OpenLID-v3 tiene un rendimiento similar o ligeramente superior al de OpenLID-v2 y GlotLID en los benchmarks estándar (FLORES+, UDHR). La introducción de un umbral de softmax (0.5) mejoró generalmente los resultados para OpenLID-v3.
• Lenguas Cercanamente Relacionadas:
  • BCMS: OpenLID-v3 mejoró significativamente la identificación del serbio en alfabeto latino, un fallo importante de la v2. Sin embargo, la confusión entre el bosnio y el serbio sigue siendo alta debido al solapamiento léxico y las raíces compartidas. Los métodos de ensamblaje (OpenLID-v3 + GlotLID) mejoraron la precisión pero redujeron drásticamente la cobertura (recall) para las variantes de bajos recursos.
  • Lenguas Romances: En el conjunto de datos ITDI, el ensamblaje de OpenLID-v3 y GlotLID logró la mayor precisión y la menor FPR, aunque a costa de eliminar muchas muestras de veneciano.
  • Escandinavas: GlotLID logró la mejor exhaustividad (recall), mientras que OpenLID-v3 mostró mejor precisión y FPR. Las dos variedades noruegas (Bokmål y Nynorsk) siguieron siendo el par más fácilmente confundido.
• Análisis de Errores: El análisis manual de los errores de BCMS reveló que las entidades nombradas, el solapamiento léxico (las raíces compartidas pesan más que los marcadores ortográficos como jat), las formas históricas y la sintaxis agramatical son las principales fuentes de clasificación errónea. Las secuencias cortas y los artefactos web se identificaron como particularmente difíciles para todos los modelos.

Significancia y Reivindicaciones
El artículo sostiene que, si bien los benchmarks multilingües a gran escala muestran puntuaciones agregadas altas, estos ocultan deficiencias significativas en la identificación de lenguas cercanas. OpenLID-v3 demuestra que:

1. Compromiso entre Precisión y Cobertura: Los enfoques de ensamblaje pueden mejorar significativamente la precisión (reduciendo la contaminación de los subconjuntos de lenguas), pero reducen sustancialmente la cobertura para las lenguas de bajos recursos, una consideración crítica para la curación de datos.
2. Necesidad de Evaluación Especializada: La evaluación fiable de los modelos de LID, especialmente para lenguas similares, requiere benchmarks específicos para esos grupos lingüísticos en lugar de conjuntos de datos multilingües generales.
3. Viabilidad del Código Abierto: Al priorizar licencias permisivas, OpenLID-v3 ofrece una alternativa robusta a los modelos de propiedad exclusiva o de licencia restringida, capaz de manejar el ruido y variaciones de escritura específicas (como el serbio en alfabeto latino) cuando se entrena adecuadamente.

Los autores concluyen que para la identificación general de lenguas escandinavas, se recomienda OpenLID-v3 si se prioriza la precisión, mientras que GlotLID es preferible para la exhaustividad (recall). Para distinguir entre variedades altamente similares (por ejemplo, Bokmål vs. Nynorsk), todavía son necesarios modelos entrenados específicamente para esa separación. El trabajo destaca la necesidad continua de datos de entrenamiento multietiqueta y de benchmarks para manejar la ambigüedad inherente a los documentos de la web.