Resumen Técnico: DunbaaBERT: Del Sacrificio a la Semántica

Declaración del Problema

A pesar del rápido avance de los Modelos de Lenguaje Grandes (LLM) en el aprendizaje con cero ejemplos y con pocos ejemplos, el urdu sigue siendo un idioma significativamente subrecursado en el ecosistema de Procesamiento del Lenguaje Natural (NLP). Aunque lo hablan más de 100 millones de personas, el urdu enfrenta desafíos debido a la escasez de datos de entrenamiento de alta calidad, entornos de evaluación fragmentados y la falta de modelos de solo codificador de código abierto evaluados sistemáticamente. Los recursos existentes a menudo varían en escritura (urdu estándar vs. urdu romanizado), dominio y esquemas de anotación, lo que dificulta las comparaciones justas. Además, los modelos específicos para el urdu disponibles anteriormente en plataformas como Hugging Face a menudo adolecen de documentación deficiente, configuraciones de entrenamiento poco claras o un posible entrenamiento insuficiente, mientras que los masivos modelos multilingües (por ejemplo, mBERT, XLM-R) distribuyen su capacidad entre muchos idiomas, potencialmente diluyendo el rendimiento para estructuras lingüísticas específicas como la rica morfología del urdu.

Metodología

Construcción del Corpus

Los autores construyeron un corpus de pre-entrenamiento en urdu dedicado de 17 GB integrando múltiples fuentes:

• Datos Web Principales: Texto derivado de la web a gran escala de mC4 y CulturaX (subconjuntos de OSCAR), proporcionando una amplia diversidad temática y estilística.
• Wikipedia: Artículos de Wikipedia en urdu, utilizados tanto como un corpus de referencia limpio como una fuente de texto de alta calidad.
• Datos Auxiliares: Texto en urdu filtrado extraído de datos paralelos derivados de NLLB (OPUS).
• Estrategia de Filtrado: Para manejar el ruido en los datos auxiliares de NLLB sin anotación manual, los autores emplearon una tubería de filtrado no supervisada. Esto implicó entrenar un modelo fastText skip-gram en líneas limpias de Wikipedia en urdu para crear un centroide de referencia. Las líneas candidatas se puntuaron en función de la similitud del coseno con este centroide menos un término de penalización heurístico ($P(x)$) que cuenta el ruido a nivel superficial (por ejemplo, longitud corta, alta proporción de caracteres latinos, patrones de texto estándar). Este proceso conservó aproximadamente el 92,6 % de los datos auxiliares mientras eliminaba valores atípicos claros.
• Deduplicación: El corpus final experimentó una deduplicación exacta a nivel de línea, reduciendo el tamaño de aproximadamente 22,3 GB a 17 GB.

Arquitectura del Modelo y Entrenamiento

El estudio introduce DunbaaBERT, una familia de modelos RoBERTa-base entrenados desde cero.

• Arquitectura: Configuración estándar RoBERTa-base con enmascaramiento dinámico y Enmascaramiento de Palabras Completas (WWM).
• Ablación de Vocabulario: Se entrenaron tres variantes con tamaños de vocabulario Byte-BPE distintos: 32k, 52k y 96k tokens.
• Configuración de Entrenamiento: Los modelos se entrenaron durante 100k pasos de actualización con una longitud de secuencia de 512 tokens. El entrenamiento utilizó precisión mixta (FP16) en GPUs NVIDIA H100. Todos los hiperparámetros (calentamiento de la tasa de aprendizaje, decaimiento, tamaño de lote) se mantuvieron idénticos entre las variantes para aislar los efectos del tamaño del vocabulario.

Marco de Evaluación

Los modelos se evaluaron en puntos de referencia intrínsecos y posteriores:

• Evaluación Intrínseca: URBLIMP, un punto de referencia de 5.696 pares mínimos que sondea 19 fenómenos lingüísticos de grano fino (por ejemplo, concordancia, orden de las palabras, estructura argumental).
• Tareas Posteriores:
  • Clasificación de Noticias (COUNT19): Clasificación multiclase de artículos de noticias en siete dominios.
  • Detección de Lenguaje Ofensivo (USADC): Clasificación binaria de texto abusivo frente a texto normal en escritura urdu nativa.
  • Análisis de Sentimiento: Evaluado en dos conjuntos de datos: PSL–Kabaddi (sentimiento en Twitter sobre deportes) e IMDB Urdu (reseñas de películas a nivel de documento).
• Métricas: Precisión, Macro-F1 y una nueva métrica de Eficiencia Normalizada (Norm. Eff.), definida como $(Macro\text{-}F1/100) \times (SPS / \max(SPS))$, que equilibra el rendimiento predictivo con el rendimiento de inferencia.

Contribuciones Clave

1. Modelos DunbaaBERT: El lanzamiento de tres modelos codificadores monolingües en urdu de última generación (vocabularios de 32k, 52k, 96k) entrenados desde cero sobre un corpus curado de 17 GB, publicados bajo la licencia MIT.
2. Análisis Sistemático del Vocabulario: Una investigación exhaustiva sobre cómo el tamaño del vocabulario afecta al NLP en urdu, desafiando la suposición de que los vocabularios más grandes siempre producen un mejor rendimiento posterior.
3. Evaluación de Eficiencia: La introducción de métricas de eficiencia normalizada para evaluar la compensación entre el rendimiento del modelo y el costo computacional, demostrando que los modelos más pequeños y especializados pueden superar a las bases multilingües más grandes en rentabilidad.
4. Corpus Curado: Una metodología detallada para construir un corpus en urdu de alta calidad y deduplicado utilizando técnicas de filtrado no supervisado, abordando la escasez de datos de entrenamiento limpios.

Resultados

Aceptabilidad Lingüística (URBLIMP)

• Las variantes de DunbaaBERT superaron significativamente a las bases multilingües (mBERT, XLM-R, mmBERT).
• La variante con vocabulario de 52k logró la puntuación general más alta (97,0), seguida de 32k (95,1) y 96k (94,6).
• Cabe destacar que el modelo de 96k, a pesar de lograr la menor perplejidad de pre-entrenamiento, no tradujo esto en una competencia lingüística posterior superior. El modelo de 52k mostró el rendimiento más equilibrado en categorías gramaticales complejas.

Tareas Posteriores

• Rendimiento: Las variantes de DunbaaBERT lograron resultados competitivos o superiores en comparación con bases multilingües sólidas. Por ejemplo, en la tarea de detección de lenguaje ofensivo USADC, DunbaaBERT32k logró un Macro-F1 de 94,08, superando a los modelos multilingües y a los resultados previamente reportados basados en GPT-4.
• Eficiencia: La variante de 32k proporcionó consistentemente la Eficiencia Normalizada más fuerte en la mayoría de los puntos de referencia (por ejemplo, 0,944 en COUNT19, 0,897 en IMDB Urdu).
• Impacto del Vocabulario: Los vocabularios más grandes (96k) no mejoraron consistentemente la efectividad posterior. En varios casos, el modelo de 32k ofreció la mejor compensación entre precisión y velocidad de inferencia.

Eficiencia frente al Costo de Búsqueda

• El análisis de los costos de búsqueda de hiperparámetros reveló que los modelos DunbaaBERT, particularmente las variantes de 32k y 52k, ocupan regiones favorables en el espacio de rendimiento-eficiencia-coste. Requieren menos tiempo total de búsqueda para encontrar configuraciones óptimas en comparación con modelos multilingües más grandes como XLM-Rlarge o HPLT-BERTur.

Significado y Afirmaciones

El artículo afirma que los modelos codificadores específicos para el urdu, cuidadosamente curados, pueden seguir siendo altamente competitivos para aplicaciones prácticas de NLP, incluso con escalas de modelo y entrenamiento comparativamente compactas. Los autores argumentan que el escalado del vocabulario por sí solo no es suficiente para garantizar una mejora en la efectividad posterior; en cambio, un tamaño de vocabulario equilibrado (alrededor de 32k–52k) combinado con una curación de corpus de alta calidad ofrece la compensación óptima para el urdu.

El estudio destaca que para idiomas ricos en morfología como el urdu, el "sacrificio" de utilizar un vocabulario más pequeño y especializado a menudo produce una mejor generalización semántica y sintáctica que simplemente aumentar la cantidad de tokens. Los autores posicionan a DunbaaBERT como una alternativa robusta y eficiente a los masivos modelos multilingües, particularmente en escenarios de implementación con recursos limitados. Reconocen limitaciones relacionadas con el enfoque en puntos de referencia de clasificación y la falta de variación dialectal en el corpus, pero enfatizan que su trabajo proporciona una base reproducible para futuras investigaciones en NLP en urdu.