SindBERT, the Sailor: Charting the Seas of Turkish NLP

Resumen Técnico: SindBERT, el Marinero: Navegando por los Mares del PLN Turco

Planteamiento del Problema
Si bien los modelos basados en transformadores han revolucionado el Procesamiento del Lenguaje Natural (PLN), las lenguas morfológicamente ricas como el turco siguen estando subrepresentadas en los esfuerzos de preentrenamiento a gran escala. Los modelos turcos existentes, como BERTurk y varias variantes de ELECTRA o ConvBERT, a menudo dependen de corpus más pequeños, métodos de entrenamiento de generaciones anteriores o arquitecturas que no son implementaciones de RoBERTa totalmente escaladas. Aunque existen algunos modelos de estilo RoBERTa para el turco, generalmente fueron entrenados con tamaños de lote pequeños durante periodos relativamente cortos, careciendo de los extensos regímenes de preentrenamiento observados en sus contrapartes inglesas o multilingües. En consecuencia, el PLN para el turco carece de un modelo de solo codificador a gran escala y de alta calidad entrenado desde cero utilizando principios modernos de RoBERTa.

Metodología
Para abordar esta brecha, los autores presentan SindBERT, un modelo codificador basado en RoBERTa preentrenado específicamente para el turco. La metodología involucra tres componentes principales:

• Construcción de Datos: SindBERT fue entrenado desde cero sobre un corpus combinado de aproximadamente 312 GB de texto en turco, proveniente de mC4 (242 GB), OSCAR23 (69 GB) y Wikipedia (0.6 GB). Los datos se sometieron a un filtrado ligero, restringido a la eliminación de documentos con codificaciones de caracteres inválidas.
• Tokenización y Arquitectura: A diferencia de los modelos que utilizan tokenizadores genéricos, los autores construyeron un vocabulario BPE a nivel de bytes dedicado y optimizado para el turco utilizando 40 GB de texto muestreado aleatoriamente, lo que resultó en un inventario de subpalabras de 52k. Se entrenaron dos configuraciones de modelo: SindBERTbase y SindBERTlarge.
• Régimen de Entrenamiento: El entrenamiento se llevó a cabo utilizando el marco fairseq en un pod de TPUv4 de 128 núcleos. Ambos modelos fueron entrenados en precisión completa (fp32) para asegurar que la dinámica de entrenamiento fuera atribuible al tamaño del modelo y no a optimizaciones numéricas. El preentrenamiento siguió un esquema estándar de RoBERTa con 100k pasos de actualización, un tamaño de lote global de 8k y un decaimiento de la tasa de aprendizaje polinómico. SindBERTbase se entrenó en ~29.2 horas, mientras que SindBERTlarge requirió ~6.0 días.

Contribuciones Clave

1. Lanzamiento de SindBERT: Los autores lanzan los primeros modelos de lenguaje de solo codificador a gran escala y de estilo RoBERTa para el turco (tanto en variantes base como large), entrenados desde cero sobre un corpus masivo y diverso de texto web.
2. Evaluación Exhaustiva: SindBERT es evaluado frente a una amplia gama de modelos turcos y multilingües existentes (incluyendo BERTurk, ELECTRA, ConvBERT, XLM-R y EuroBERT) a través de cuatro tareas descendentes distintas:
   • Etiquetado de Partes de la Oración (PoS) (Universal Dependencies).
   • Reconocimiento de Entidades Nombradas (WikiANN).
   • Detección de Lenguaje Ofensivo (OffensEval-TR 2020).
   • Aceptabilidad Lingüística (TURBLIMP).
3. Análisis Empírico de Escalamiento: El estudio proporciona un caso de estudio empírico sobre los límites del escalamiento en lenguas morfológicamente ricas, comparando el rendimiento de corpus ruidosos a gran escala frente a conjuntos de datos más pequeños y curados.

Resultos

• Desempeño Competitivo: SindBERT se desempeña de manera competitiva con los modelos actuales de vanguardia en turco y multilingües.
  • SindBERTlarge alcanzó las mejores puntuaciones en dos de las cuatro tareas: etiquetado de PoS (94.63 F1) y Detección de Lenguaje Ofensivo (82.29 macro-F1).
  • SindBERTbase logró resultados sólidos, particularmente en el etiquetado de PoS (94.47 F1), comparables con las bases de referencia de alto nivel.
• Tendencias de Escalamiento: Los resultados indican una tendencia de escalamiento plana. Si bien SindBERTlarge superó a los modelos base en tareas específicas, no mostró una ventaja consistente en todos los benchmarks. En algunos casos, como en NER y TURBLIMP, modelos más pequeños o con arquitecturas diferentes (por ejemplo, BERTurk128k, XLM-Rlarge) funcionaron igual de bien o mejor.
• Calidad del Corpus vs. Volumen: Las comparaciones con BERTurk (entrenado en un corpus más pequeño y limpio de 35 GB) revelaron que la calidad y la diversidad del corpus pueden superar al mero volumen de datos. Las variantes de BERTurk a menudo superaron a SindBERT en tareas de aceptabilidad lingüística (TURBLIMP), lo que sugiere que los datos curados son altamente efectivos para el turco.
• Especificidad Lingüística: SindBERT demostró una fuerza particular en fenómenos morfosintácticos específicos del turco (por ejemplo, el scrambling, la afijación suspendida, la concordancia de sujeto) en la evaluación de TURBLIMP, aunque tuvo dificultades con ciertos fenómenos sintácticos complejos como la elipsis en comparación con los modelos multilingües.

Significancia y Reivindicaciones
El artículo posiciona a SindBERT como un recurso significativo para la comunidad de PLN turco, ofreciendo el primer codificador de gran escala para el idioma bajo el estilo de RoBERTa liberado abiertamente. Sin embargo, los autores son modestos en sus afirmaciones respecto a la necesidad de un escalamiento masivo. Argumentan que la tendencia de escalamiento plana observada en SindBERT, XLX-R y EuroBERT sugiere que los benchmarks actuales para el turco podrían estar ya saturados, lo que significa que simplemente aumentar el tamaño del modelo o el volumen de datos produce rendimientos decrecientes.

En su lugar, el artículo concluye que el progreso futuro en el PLN para el turco dependerá menos del escalamiento y más de:

• Curación de Corpus: Priorizar la calidad, la diversidad de dominios y la representatividad lingüística sobre el volumen bruto.
• Tokenización: Optimizar los tamaños de vocabulario para estructuras aglutinantes.
• Evaluación: Desarrollar suites de prueba más discriminatorias (como TrGLUE) para capturar mejor las capacidades de los modelos más allá de los actuales benchmarks saturados.

SindBERT sirve tanto como una base robusta para futuras investigaciones y aplicaciones en el PLN turco como una demostración empírica del papel central de la composición del corpus en las lenguas morfológicamente ricas. Los modelos se liberan bajo la licencia MIT en formatos de fairseq y Hugging Face.