GottBERT: a pure German Language Model

Resumen Técnico: GottBERT: un modelo de lenguaje puramente alemán

Planteamiento del Problema
Si bien los modelos de lenguaje (LM) preentrenados como BERT y RoBERTa han revolucionado el Procesamiento de Lenguaje Natural (NLP), el enfoque inicial de la investigación se centró predominantemente en el inglés. Aunque existen modelos multilingües, los modelos de un solo idioma suelen ofrecer ventajas en eficiencia de preentrenamiento, utilización de recursos y rendimiento en tareas de uso posterior (downstream). A pesar del auño de los grandes LLM basados en prompts, los modelos tipo BERT más pequeños y computacionalmente eficientes siguen siendo críticos para el despliegue práctico. En el momento de este trabajo, existía una falta de un modelo RoBERTa dedicado a un solo idioma, el alemán, entrenado exclusivamente con un corpus alemán masivo y de alta calidad. Los modelos alemanes existentes (por ejemplo, GermanBERT, dbmdz BERT) se basaban principalmente en la arquitectura BERT original o utilizaban fuentes de datos mixtas, y ninguno había aprovechado la escala completa del corpus OSCAR con las optimizaciones arquitectónicas específicas de RoBERTa.

Metodología
Los autores desarrollaron GottBERT, el primer modelo RoBERTa de un solo idioma para el alemán, utilizando la parte alemana del conjunto de datos OSCAR (Open Super-large Crawled ALMAnaCH coRpus). La metodología consistió en varias etapas clave:

1. Curación y Filtrado de Datos:

   • Fuente: El modelo fue entrenado con la primera versión publicada y deduplicada del corpus OSCAR alemán (145 GB, ~21.5 mil millones de palabras).
   • Estrategia de Filtrado: Inspirados en FlauBERT, los autores implementaron un pipeline de filtrado para crear una versión "limpia" (121 GB, ~18.1 mil millones de palabras). Este proceso abordó:
     • Errores de Codificación: Corrección de umlauts erróneos causados por problemas de decodificación UTF-8 y eliminación de líneas con caracteres no reproducibles.
     • Calidad de Contenido: Eliminación de spam, listas de palabras y documentos que no fueran en alemán.
     • Heurísticas Sintácticas: Utilización de un algoritmo de detección de idioma (basado en n-gramas) para filtrar arte ASCII y un SVM de clase única entrenado con 12k documentos para identificar contenido "sucio". El SVM aprovechó características lingüísticas específicas del alemán, como la capitalización de sustantivos y las proporciones de stopwords, puntuación, palabras únicas y tokens en mayúsculas.
   • Vocabulario: Se computó un nuevo vocabulario de 52k sub-tokens mediante BPE (Byte Pair Encoding) sobre 40 GB de texto alemán muestreado aleatoriamente, lo que resultó en una reducción del 40% en el tamaño de los datos binarios en comparación con el tokenizador de GPT-2 entrenado en inglés.

2. Infraestructura de Preentrenamiento:

   • Hardware: GottBERT es el primer modelo RoBERTa publicado preentrenado en TPUs (Tensor Processing Units). El modelo base fue entrenado en un pod de 256 núcleos TPUv3, mientras que los modelos grandes utilizaron un pod de 128 núcleos TPUv4.
   • Arquitectura: Los modelos siguieron la arquitectura estándar de RoBERTa (eliminando embeddings de segmento y predicción de siguiente oración, utilizando enmascaramiento dinámico).
   • Hiperparámetros: El entrenamiento utilizó el framework fairseq. Los modelos base fueron entrenados durante 100k pasos con un tamaño de lote de 8k y una tasa de aprendizaje máxima de 0.0004. Los modelos grandes utilizaron una tasa de aprendizaje máxima de 0.00015.
   • Modelos Generados: Se produjeron cuatro modelos: GottBERTbase y GottBERTlarge (datos no filtrados), y fGottBERTbase y fGottBERTlarge (datos filtrados).

3. Evaluación:

   • Los modelos fueron ajustados (fine-tuned) y evaluados en cinco tareas de uso posterior:
     • Inferencia de Lenguaje Natural (NLI): XNLI (porción alemana).
     • Reconocimiento de Entidades Nombradas (NER): CoNLL 2003 (alemán) y GermEval 2014.
     • Clasificación de Texto: GermEval 2018 (gruesa y fina) y 10kGNAD (clasificación de temas de noticias).
   • El rendimiento se midió utilizando puntuaciones F1 y precisión, con resultados promediados sobre 24 ejecuciones con diversos hiperparámetros para asegurar la robustez.

Contribuciones Clave

• Primer RoBERTa Alemán: La introducción del primer modelo RoBERTa de un solo idioma para el alemán, entrenado exclusivamente en el corpus OSCAR alemán.
• Metodología de Filtrado: El desarrollo y aplicación de un método de filtrado específico para textos alemanes, utilizando características sintácticas (como la capitalización de sustantivos) y aprendizaje automático (SVM) para eliminar datos de baja calidad.
• Lanzamiento Abierto: La publicación de las cuatro variantes del modelo (base y grande, filtrado y no filtrado) bajo la licencia MIT para apoyar a la comunidad de investigación de NLP en alemán.
• Análisis Empírico: Una evaluación exhaustiva que compara estos nuevos modelos contra modelos BERT alemanes existentes (GermanBERT, dbmdz BERT, GBERT, GELECTRA) y modelos multilingües (mBERT, XLM-RoBERTa).

Resultados

• Modelos Base: GottBERT demostró un rendimiento competitivo, liderando entre los modelos base en 4 de las 6 tareas. Específicamente, GottBERTbase y fGottBERTbase alcanzaron puntuaciones máximas o cercanas al máximo en las tareas de NER y clasificación de texto.
• Modelos Grandes: Los modelos grandes mostraron un rendimiento robusto pero fueron generalmente superados por GELECTRAlarge y GBERTlarge en varias tareas. XLM-Rlarge alcanzó la puntuación F1 más alta en la tarea de NER de GermEval 2014.
• Impacto del Filtrado: Contrario a las expectativas de los autores, el filtrado del corpus OSCAR no mejoró significamente los resultados. En algunos casos, los modelos no filtrados funcionaron de manera ligeramente mejor o comparable a los filtrados. Los autores sugieren que el proceso de limpieza pudo haber eliminado inadvertidamente la varianza textual valiosa, la cual es conocida por beneficiar el rendimiento del modelo.
• Comparación: Si bien los modelos GELECTRA generalmente lograron las precisiones más altas (probablemente debido a la arquitectura ELECTRA y potencialmente a datos de entrenamiento más grandes o variados incluyendo OPUS y OpenLegalData), GottBERT se estableció como una base sólida, particularmente en la categoría de arquitectura base.

Significancia y Reivindicaciones
El artículo afirma que GottBERT sirve como un recurso valioso y eficiente para la comunidad de NLP en alemán, ofreciendo un fundamento de un solo idioma de vanguardia que rivaliza con los modelos multilingües en tareas específicas. Los autores destacan que, aunque la estrategia específica de limpieza de datos no produjo el aumento de rendimiento anticipado, el preentrenamiento exitoso de un modelo RoBERTa en TPUs y la liberación de estos modelos proporcionan una infraestructura crítica para la investigación futura.

Los autores señalan modestamente que sus resultados son específicos para la primera versión del corpus OSCAR y que sus modelos pueden tener dificultades con matices culturales o dialectos no bien representados en los datos de entrenamiento. Reconocen que el enfoque de filtrado fue un compromiso entre el costo computacional y la calidad de los datos, y sugieren que el trabajo futuro debería explorar el aumento de la varianza del corpus (por ejemplo, incorporando Wikipedia o datos legales) y el uso de Whole Word Masking (WWM) para mejorar aún más el rendimiento. El trabajo subraya la relevancia continua de los modelos eficientes de un solo idioma a pesar de la tendencia hacia los LLM masivos.