💬 NLP

YoNER: A New Yorùbá Multi-domain Named Entity Recognition Dataset

Este artículo presenta YoNER, un nuevo conjunto de datos multicanal de reconocimiento de entidades nombradas en yoruba que abarca cinco dominios, junto con el modelo de lenguaje OyoBERT, para abordar la escasez de recursos y mejorar el rendimiento en tareas de NLP para este idioma.

Autores originales: Peace Busola Falola, Jesujoba O. Alabi, Solomon O. Akinola, Folashade T. Ogunajo, Emmanuel Oluwadunsin Alabi, David Ifeoluwa Adelani

Publicado 2026-04-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Peace Busola Falola, Jesujoba O. Alabi, Solomon O. Akinola, Folashade T. Ogunajo, Emmanuel Oluwadunsin Alabi, David Ifeoluwa Adelani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que la Inteligencia Artificial (IA) es como un niño muy inteligente que está aprendiendo a leer y entender el mundo. Hasta ahora, este niño ha leído millones de libros en inglés, pero cuando le mostramos un texto en Yorùbá (un idioma hablado por más de 50 millones de personas en Nigeria y alrededores), se queda confundido.

Este paper, llamado YoNER, es como una nueva biblioteca gigante diseñada específicamente para ayudar a este niño a entender el Yorùbá en todas sus formas, no solo en las noticias.

Aquí te explico la historia con analogías sencillas:

1. El Problema: El Niño Solo Conoce el "Noticiero"

Antes de este trabajo, la IA solo tenía dos tipos de libros en Yorùbá:

Noticias: Textos muy formales y serios.
Wikipedia: Artículos enciclopédicos.

Imagina que le enseñamos al niño a reconocer nombres de personas y lugares solo leyendo noticias de política. Si luego le mostramos una película de acción, un blog de chismes, un sermón de la Biblia o un programa de radio, el niño se pierde. No entiende que "Buhari" en un blog es la misma persona que en las noticias, o que "Liverpool" en una conversación de fútbol es un equipo, no un lugar.

2. La Solución: La Gran Biblioteca "YoNER"

Los autores crearon YoNER, que es como una caja de juguetes con 5 tipos diferentes de historias en Yorùbá:

La Biblia: Llena de nombres antiguos y lugares sagrados.
Blogs: Lenguaje callejero, jerga y opiniones personales.
Películas: Diálogos rápidos, gritos y emociones.
Radio: Mezcla de noticias y charlas informales.
Wikipedia: Información formal.

En total, recolectaron unas 5,000 frases (como 100,000 palabras). Tres nativos hablantes de Yorùbá leyeron cada frase y pusieron "etiquetas" (como pegatinas) para decir: "¡Oye! Esto es una Persona, esto es un Lugar y esto es una Organización".

3. El Experimento: ¿Funciona lo que aprendió en las noticias?

Los investigadores hicieron una prueba interesante:

Paso 1: Entrenaron a la IA usando solo las noticias (como antes).
Paso 2: Le mostraron las películas y los blogs.

Resultado: ¡La IA casi se ahoga! Cuando pasó de las noticias a las películas o blogs, su rendimiento cayó drásticamente. Es como si alguien que solo sabe hablar en un salón de clases formal, intentara entender una fiesta de cumpleaños llena de gritos y risas; se le escapan muchas cosas.

La buena noticia: La IA funcionó mucho mejor cuando pasó de las noticias a la Wikipedia, porque ambos son textos formales y serios. Son como "primos cercanos".

4. El Nuevo Héroe: "OyoBERT"

Además de la biblioteca, los autores crearon un nuevo cerebro para la IA llamado OyoBERT.

Imagina que los modelos anteriores (como XLM-R) son como un turista multilingüe: habla 100 idiomas, pero no es experto en ninguno.
OyoBERT es como un nativo de Yorùbá que solo habla ese idioma, pero lo conoce a la perfección, incluyendo sus modismos y cultura.

¿Quién ganó?

En tareas generales, el nativo (OyoBERT) fue mejor que el turista.
Sin embargo, cuando se trata de entender muy bien los detalles en textos muy variados, el turista (que ha visto más tipos de datos en general) a veces gana. Pero para el Yorùbá puro, el nativo es el rey.

5. La Lección Principal

El paper nos enseña dos cosas importantes:

El idioma importa, pero el contexto es rey: No basta con saber el idioma; hay que saber dónde se usa. Una IA entrenada solo en noticias no sirve para entender una película de Yorùbá.
Datos pequeños vs. Datos grandes: Si tienes muy pocos ejemplos de un tema (como 200 frases de una película), es mejor tener un modelo que ya conoce bien el idioma (OyoBERT) que intentar aprender desde cero. Pero si tienes muchos datos, un modelo multilingüe grande puede ser más flexible.

En Resumen

Los autores han creado el primer "diccionario de contextos" para la IA en Yorùbá. Han demostrado que para que la inteligencia artificial realmente entienda a los hablantes de Yorùbá, no podemos limitarnos a las noticias; debemos enseñarle a entender desde la Biblia hasta los chismes de la radio.

¿Por qué es importante? Porque hasta ahora, la IA ignoraba la riqueza cultural y los nombres africanos en contextos informales. Con YoNER y OyoBERT, la IA por fin empieza a "escuchar" y entender al pueblo Yorùbá tal como realmente habla.

1. Problema y Motivación

El Reconocimiento de Entidades Nombradas (NER) es una tarea fundamental en el Procesamiento del Lenguaje Natural (PLN), pero su desarrollo para el idioma yorùbá (hablado por más de 50 millones de personas) ha estado severamente limitado por la escasez de recursos.

Limitaciones actuales: Los conjuntos de datos existentes, como MasakhaNER (enfocado en noticias) y WikiAnn (generado automáticamente a partir de Wikipedia), son valiosos pero carecen de cobertura de dominio. Están restringidos principalmente a textos de noticias o enciclopédicos, dejando fuera dominios informales y culturales ricos como blogs, películas, transmisiones de radio y textos bíblicos.
Brecha de investigación: No existen datos anotados manualmente que cubran múltiples dominios en yorùbá, lo que dificulta la evaluación de la transferencia de modelos entre diferentes géneros textuales y la adaptación a contextos culturales específicos.

2. Metodología

A. Creación del Dataset YoNER

Los autores desarrollaron YoNER, el primer conjunto de datos de NER multi-dominio para yorùbá.

Dominios: Se recopilaron datos de cinco dominios distintos: Biblia, Blogs, Películas, Radio y Wikipedia.
Volumen: El corpus contiene aproximadamente 5,000 oraciones y 100,000 tokens.
Entidades: Se etiquetaron tres tipos de entidades siguiendo las directrices de CoNLL: Persona (PER), Organización (ORG) y Ubicación (LOC).
Proceso de Anotación: La anotación fue realizada manualmente por tres hablantes nativos de yorùbá. Se utilizó el esquema IOB2.
- Calidad: Se logró un acuerdo inter-anotador (Fleiss' Kappa) superior a 0.70 a nivel de token, aunque hubo mayor discrepancia en los límites exactos de las entidades (nivel de entidad).
- Estadísticas: Se observó que las entidades PER son las más frecuentes, mientras que ORG es escasa en dominios como Biblia y Películas.

B. Entrenamiento de Modelos (OyoBERT)

Para abordar la falta de modelos monolingües robustos, los autores pre-entrenaron un nuevo modelo BERT específico para yorùbá llamado OyoBERT.

Datos de Pre-entrenamiento: Se utilizó un corpus de ~1.93 GB que incluye datos del corpus mC4, Wikipedia en yorùbá, noticias (BBC Yorùbá, Alaroye) y datos sintéticos generados mediante traducción automática (MT) desde inglés utilizando el modelo NLLB-200.
Variantes: Se crearon versiones Base (110M parámetros) y Large (337M parámetros). También se entrenó un modelo YoBERT sin datos sintéticos para comparación.
Técnica: Se empleó el objetivo de "token dropping" para eficiencia durante el pre-entrenamiento.

C. Configuración Experimental

Se diseñaron experimentos para responder tres preguntas de investigación:

Transferencia de Dominio: ¿Qué tan bien se transfiere un modelo entrenado en noticias (MasakhaNER 2.0) a otros dominios de YoNER?
Impacto de Datos In-Domain: ¿Mejora la transferencia de dominio con pequeños conjuntos de datos in-domain (ej. 200 oraciones)?
Monolingüe vs. Multilingüe: ¿Superan los modelos monolingües (OyoBERT) a los multilingües (AfroXLMR, XLM-R) en entornos de bajos recursos?
Comparación Cruzada: Se comparó la transferencia cruzada de idiomas (inglés $\to$ yorùbá) frente a la transferencia de dominio dentro del mismo idioma.

3. Resultados Clave

Rendimiento de OyoBERT:
- En tareas de clasificación de secuencias (temas, sentimientos), OyoBERT superó a los modelos multilingües africanos (AfroXLMR) y generales (mBERT, XLM-R), a pesar de tener menos parámetros.
- Sin embargo, en tareas de clasificación de tokens (NER), los modelos africanos centrados en el continente (AfroXLMR-large) aún mostraron un rendimiento ligeramente superior en la evaluación in-domain, aunque OyoBERT demostró ser competitivo.
Desafíos en la Transferencia de Dominio:
- La transferencia desde el dominio de Noticias a otros dominios es difícil.
- Los dominios Blogs y Películas mostraron el mayor deterioro en el rendimiento (caída significativa de F1), probablemente debido a su lenguaje informal, jerga y menor densidad de entidades.
- Los dominios formales y relacionados (Noticias y Wikipedia) mostraron una transferencia más efectiva entre sí.
Transferencia de Idioma vs. Dominio:
- La transferencia intra-idioma (entrenar en noticias de yorùbá y probar en otros dominios de yorùbá) fue más efectiva que la transferencia inter-idioma (entrenar en inglés y probar en yorùbá), incluso cuando el conjunto de datos de entrenamiento en inglés era más grande.
- Esto sugiere que la proximidad del dominio fuente y la coincidencia del idioma son factores críticos.
Datos In-Domain Pequeños:
- La adición de pequeños conjuntos de datos in-domain (200 oraciones) mejoró significativamente el rendimiento en el dominio objetivo, pero no siempre compensó la falta de datos de entrenamiento masivos en el dominio fuente.
Tipos de Entidades:
- El tipo de entidad ORG (Organización) fue consistentemente el más difícil de reconocer, especialmente en dominios donde es escaso (Biblia, Películas).

4. Contribuciones Clave

YoNER Dataset: Publicación de un nuevo dataset de NER multi-dominio para yorùbá con anotación manual de alta calidad, cubriendo cinco dominios diversos (Biblia, Blogs, Películas, Radio, Wikipedia).
OyoBERT: Introducción de un modelo de lenguaje pre-entrenado específico para yorùbá, disponible en versiones base y large, que demuestra el potencial de los modelos monolingües en tareas de NLP africanas.
Análisis de Transferencia: Un estudio exhaustivo sobre cómo los modelos NER se comportan al transferirse entre dominios en un idioma de bajos recursos, revelando que la similitud del dominio es tan importante como la cantidad de datos.
Recursos Abiertos: Liberación pública del dataset YoNER y los modelos OyoBERT en Hugging Face para fomentar la investigación futura.

5. Significado e Impacto

Este trabajo es fundamental para el avance del PLN en África y específicamente para el yorùbá.

Superación de la limitación de dominio: Demuestra que los modelos entrenados solo en noticias no generalizan bien a contextos culturales y conversacionales reales (películas, blogs), lo cual es crucial para aplicaciones prácticas como asistentes virtuales o análisis de redes sociales.
Validación de modelos monolingües: Proporciona evidencia de que, en configuraciones de bajos recursos, desarrollar modelos monolingües específicos (como OyoBERT) puede ser más beneficioso que depender únicamente de modelos multilingües masivos, especialmente para tareas de clasificación de secuencias.
Base para investigación futura: El dataset y los modelos sirven como un nuevo estándar (benchmark) para evaluar técnicas de few-shot learning y transferencia cruzada en lenguas africanas, invitando a la comunidad a explorar dominios adicionales y tipos de entidades más variados.

En resumen, el artículo no solo proporciona datos y modelos, sino que ofrece una comprensión profunda de las dinámicas de transferencia de dominio en lenguas africanas, destacando la necesidad de recursos diversificados para construir sistemas de IA culturalmente competentes.