ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition

Este artículo presenta ANCHOLIK-NER, el primer conjunto de datos de referencia para el reconocimiento de entidades nombradas en dialectos regionales del bengalí, evaluando modelos de transformadores que demuestran un rendimiento prometedor aunque con desafíos persistentes en ciertas variantes dialectales.

Lo esencial

Imagina que el idioma bengalí (Bangla) es un gigante con muchas caras. Todos sabemos que habla, pero esa "cara" estándar, la que se ve en los libros de texto y en las noticias oficiales, es solo una de ellas. En realidad, en Bangladesh hay muchas otras caras: la de Chittagong, la de Sylhet, la de Barishal, etc. Cada una tiene su propio acento, sus propias palabras y su propia forma de contar las cosas.

El problema es que la Inteligencia Artificial (IA) actual, que es como un estudiante muy inteligente pero un poco rígido, solo ha estudiado la "cara estándar". Si le preguntas a este estudiante quién es el presidente o dónde está una ciudad usando el dialecto de Chittagong, se queda confundido. No entiende que "Dhaka" en ese dialecto suena como "Daha" o que "Sylhet" se escribe de forma diferente.

Aquí es donde entra este paper, que presenta ANCHOLIK-NER. Vamos a desglosarlo con una analogía sencilla:

1. El Problema: El Estudiante Ciego a los Acentos

La "Reconocimiento de Entidades Nombradas" (NER) es simplemente la capacidad de un programa para leer un texto y decirte: "¡Eh! 'Lionel Messi' es una Persona y 'Estadio Wankhede' es un Lugar".

Hasta ahora, los programas de IA para el bengalí funcionaban bien con el idioma formal, pero fallaban estrepitosamente con los dialectos regionales. Era como si un traductor que solo habla inglés de Londres intentara entender un chiste en jerga de Nueva York: la estructura es similar, pero las palabras cambian y el significado se pierde.

2. La Solución: El "Diccionario de las 5 Caras" (ANCHOLIK-NER)

Los autores de este estudio decidieron crear el primer diccionario de entrenamiento específico para estas "caras" regionales.

• ¿Qué hicieron? Recopilaron y etiquetaron 17,405 frases de cinco regiones clave: Chittagong, Sylhet, Barishal, Noakhali y Mymensingh.
• La analogía: Imagina que en lugar de darle al estudiante un solo libro de gramática, le dieron cinco libros de cuentos populares, uno escrito por un abuelo de cada región. Además, aseguraron que si en el cuento de Sylhet se menciona a "Juan", en el de Barishal también se mencione a "Juan" (o su equivalente dialectal), manteniendo la coherencia.
• El proceso: Contrataron a hablantes nativos de cada región (como "detectives de la lengua") para que marcaran manualmente dónde estaban los nombres de personas, lugares, organizaciones, comida, animales, etc. Fue un trabajo de artesanía, no de máquina.

3. La Prueba: ¿Quién es el Mejor Estudiante?

Una vez que tuvieron este nuevo "diccionario", decidieron poner a prueba a tres "estudiantes" (modelos de IA) muy famosos:

1. Bangla BERT: Un estudiante que solo estudió bengalí.
2. Bangla BERT Base: Una versión más ligera del anterior.
3. BERT Multilingüe: Un estudiante que habla 100 idiomas, incluido el bengalí, pero no es un experto en ninguno.

Los resultados fueron interesantes:

• El estudiante multilingüe (BERT Multilingüe) fue el más astuto en general. Logró entender mejor los matices de las diferentes regiones, especialmente en Mymensingh y Sylhet, alcanzando un nivel de comprensión del 82.6%.
• Sin embargo, el estudiante especializado (Bangla BERT) también brilló en ciertas áreas, demostrando que a veces un experto local es mejor que un generalista.
• El desafío: Hubo regiones, como Chittagong, donde incluso los mejores estudiantes se confundieron un poco. Es como si el dialecto de Chittagong tuviera un acento tan fuerte y rápido que incluso los expertos tardaron en adaptarse.

4. ¿Por qué es importante esto?

Piensa en esto como un paso hacia la inclusión digital.

• Si quieres que una app de salud entienda los síntomas que un paciente describe en su dialecto local, necesitas que la IA entienda ese dialecto.
• Si quieres analizar noticias locales o redes sociales de una región específica, no puedes usar un modelo que solo entiende el bengalí de los periódicos de la capital.

En resumen

Este paper es como la construcción de un puente. Antes, la tecnología de Inteligencia Artificial estaba en una isla (el bengalí estándar) y los hablantes de dialectos estaban en otra. Los autores construyeron un puente (el dataset ANCHOLIK-NER) y probaron qué tan bien podían cruzar los modelos de IA.

Aunque el puente no es perfecto todavía (aún hay zonas donde la IA tropieza), es el primer paso fundamental para que la tecnología deje de ser "ciega" a la diversidad cultural y lingüística de Bangladesh, asegurando que la inteligencia artificial sirva a todos los bengalíes, no solo a los que hablan el idioma "de libro".

Resumen técnico

Resumen Técnico: ANCHOLIK-NER

1. Planteamiento del Problema

El Reconocimiento de Entidades Nombradas (NER) es una tarea fundamental en el Procesamiento del Lenguaje Natural (PLN) para extraer información estructurada de texto no estructurado. Aunque existen avances significativos en NER para el bengalí estándar, la comunidad científica ha ignorado casi por completo los dialectos regionales de Bangladesh (como Sylhet, Chittagong, Barishal, Noakhali y Mymensingh).

Estos dialectos presentan variaciones únicas en vocabulario, gramática, pronunciación y semántica que los modelos entrenados exclusivamente con bengalí formal no pueden manejar eficazmente. Esta brecha genera:

• Sesgo lingüístico y exclusión de grandes segmentos de la población.
• Bajo rendimiento en aplicaciones prácticas como análisis de redes sociales, noticias regionales y servicios digitales localizados.
• Falta de corpus anotados de alta calidad ("gold standard") para dialectos específicos, lo que impide el desarrollo de modelos robustos.

2. Metodología

Los autores proponen un enfoque centrado en los datos para abordar estas limitaciones, siguiendo un pipeline sistemático:

• Construcción del Dataset (ANCHOLIK-NER):

  • Recopilación: Se reunieron 17,405 oraciones distribuidas en cinco dialectos regionales. La fuente principal fue el corpus Vashantor (12,500 oraciones), complementado con el dataset ONUBAD (2,940 oraciones) y 1,965 oraciones traducidas manualmente para equilibrar la representación de dialectos no cubiertos (Noakhali y Mymensingh).
  • Preprocesamiento: Se desarrolló un script en Python para limpiar ruido (puntuación inconsistente, caracteres en inglés, espacios extra) y tokenizar el texto. Se reemplazaron numerales en inglés por sus equivalentes en bengalí.
  • Esquema de Anotación: Se utilizó el esquema BIO (Beginning, Inside, Outside). Se definieron 10 tipos de entidades: Persona (PER), Ubicación (LOC), Organización (ORG), Comida (FOOD), Animal (ANI), Color (COL), Rol (ROLE), Relación (REL), Objeto (OBJ) y No-Entidad (O).
  • Control de Calidad: Se emplearon 10 anotadores nativos (graduados y pre-graduados en lingüística y PLN). Se calculó el Coeficiente Kappa de Cohen para medir el acuerdo inter-anotador, obteniendo puntuaciones altas que garantizan la consistencia. Además, se implementó un algoritmo de detección de valores atípicos (outliers) para corregir etiquetas mal formateadas (ej. "o" en minúscula en lugar de "O").

• Modelos Evaluados:
  Se evaluaron tres modelos basados en transformadores (fine-tuning) sobre el dataset:

  1. Bangla BERT: Modelo pre-entrenado específicamente en datos bengalíes.
  2. Bangla BERT Base: Variante optimizada para eficiencia computacional.
  3. BERT Base Multilingual Cased: Modelo multilingüe pre-entrenado en más de 100 idiomas.

• Métricas: Se utilizaron Precisión, Recall y la F1-Score (media armónica) para evaluar el rendimiento, dado el desequilibrio inherente en los datos de NER.

3. Contribuciones Clave

1. Primer Dataset de NER para Dialectos Bengalíes: ANCHOLIK-NER es el primer corpus de referencia que cubre sistemáticamente cinco dialectos regionales principales, llenando un vacío crítico en los recursos de PLN de bajo recurso.
2. Corpus Híbrido con Alineación de Entidades: Se construyó un corpus paralelo entre el bengalí estándar y los dialectos, asegurando que las entidades nombradas se preserven y alineen correctamente a través de las traducciones, mitigando problemas de inconsistencia.
3. Detección de Anomalías y Refinamiento: Implementación de estrategias sistemáticas para detectar y corregir ruido en los datos, asegurando un conjunto de entrenamiento de alta calidad.
4. Benchmarking Exhaustivo: Evaluación comparativa de modelos de transformadores en contextos dialectales, proporcionando una línea base para futuras investigaciones.

4. Resultados

Los experimentos se realizaron con diferentes tamaños de lote (8, 16) y épocas (5, 10, 15, 20). Los hallazgos principales incluyen:

• Rendimiento General: El modelo BERT Base Multilingual Cased obtuvo el mejor rendimiento global, destacando especialmente en la región de Mymensingh con una F1-Score de 82.611% (época 20).
• Desempeño por Modelo:
  • Bangla BERT: Logró su mejor puntuación en Mymensingh (82.268%) y Barishal (81.481%).
  • Bangla BERT Base: Mostró resultados sólidos, alcanzando un 80.916% en Mymensingh.
  • Multilingual Cased: Superó a los otros en la mayoría de las regiones, incluyendo Sylhet (82.315%) y Noakhali (81.553%).
• Desafíos Regionales: Las regiones de Chittagong y Noakhali presentaron un rendimiento más bajo (F1-Score ~75% para Chittagong), indicando que los modelos tienen dificultades con las características lingüísticas más complejas o divergentes de estos dialectos.
• Análisis de Errores: Las matrices de confusión revelaron que los modelos tienen dificultades específicas para distinguir entre entidades de Rol (ROLE) y Organización (ORG), mostrando tasas más altas de falsos positivos en estas categorías.

5. Significado e Impacto

Este trabajo representa un paso fundamental hacia la inclusividad lingüística en el PLN para el idioma bengalí.

• Técnico: Demuestra que los modelos multilingües pueden adaptarse mejor a la diversidad dialectal que los modelos monolingües estándar, aunque el fine-tuning específico sigue siendo necesario.
• Social: Al mejorar el reconocimiento de entidades en dialectos regionales, se habilitan aplicaciones de IA más justas y precisas para millones de hablantes que no usan el bengalí formal, beneficiando sectores como la salud pública, el periodismo local y los servicios digitales.
• Futuro: El estudio señala la necesidad de expandir el dataset a más sub-dialectos, mejorar la adaptación de dominio para regiones de bajo rendimiento (como Chittagong) y explorar técnicas de aprendizaje no supervisado o híbrido para capturar mejor las variaciones dialectales.

En conclusión, ANCHOLIK-NER establece una nueva línea base para la investigación en NER de bajo recurso, demostrando que la calidad y la diversidad de los datos son tan críticas como la arquitectura del modelo para lograr sistemas de PLN robustos y equitativos.