moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

Resumen Técnico: moBERTo

Planteamiento del Problema
Si bien los modelos de transformadores solo de codificador (encoder-only) siguen siendo esenciales para los flujos de trabajo de PLN en producción debido a su favorable equilibrio entre rendimiento, latencia y costo computacional, el panorama del PLN en portugués carece de un codificador moderno y eficiente. El modelo monolingüe dominante, BERTimbau, depende de la arquitectura BERT original, heredando limitaciones como una ventana de contexto de 5 512 tokens y embeddings posicionales absolutos. Aunque existen modelos multilingües, estos suelen tener un rendimiento inferior a los modelos dedicados monolingües en pruebas de referencia específicas del idioma. Además, los avances arquitectónicos recientes en los codificadores de inglés —como los Embeddings Posicionales Rotatorios (RoPE), la atención local-global alternante, Flash Attention y el unpadding de secuencias introducidos por ModernBERT— no han sido adaptados eficazmente para el portugués.

Metodología
Los autores presentan moBERTo, una adaptación al portugués de la arquitectura ModernBERT-base. El enfoque se centra en el preentrenamiento continuo en lugar de entrenar desde cero para aprovechar las representaciones existentes.

• Curación de Datos: El modelo es entrenado en un corpus curado de aproximadamente 12 mil millones de tokens (5 épocas sobre un total de 60 mil millones de tokens) extraídos de FineWeb2. Los datos fueron filtrados mediante clasificadores educativos y de STEM de ClassiCC-PT para asegurar contenido de alta calidad.
• Preservación de la Arquitectura: Se preserva la arquitectura original de ModernBERT-base (149M de parámetros), incluyendo RoPE, atención local-global alternante, Flash Attention y unpadding. Los parámetros de frecuencia de RoPE (160k global, 10k local) se mantienen en sus valores originales.
• Estrategia de Entrenamiento:
  • Fase 1 (Preentrenamiento Continuo): El modelo se somete a un preentrenamiento continuo en el corpus de 60B de tokens en portugués con una longitud de secuencia de 1.024 tokens utilizando Modelado de Lenguaje Enmascarado (MLM) con una tasa de enmascaramiento del 30%.
  • Fase 2 (Post-entrenamiento de Contexto Largo): Una fase opcional implica 10 mil millones de tokens adicionales a una longitud de secuencia de 8.192 tokens para mejorar explícitamente las capacidades de contexto largo.
• Variantes de Adaptación: Se entrenaron varias variantes del modelo para aislar factores específicos:
  • Adaptación del Tokenizador: Algunas variantes utilizan un tokenizador específico para el portugués. Para abordar el desalineamiento que esto causa con el espacio de embedding original, se emplea un enfoque de transferencia de Coincidencia de Subpalabras (SWM), donde los nuevos embeddings de tokens se reconstruyen combinando los embeddings originales de sus subpalabras constituyentes.
  • Inicialización: Los estudios de ablación comparan el preentrenamiento continuo frente al entrenamiento desde cero (inicialización aleatoria).

Contribuciones Clave

1. Lanzamiento de moBERTo: La primera adaptación al portugués de la arquitectura ModernBERT, trayendo el diseño de codificador moderno (RoPE, atención alternante, etc.) al ecosistema del PLN en portugués.
2. Evaluación Exhaustiva: Una evaluación rigurosa a través de cinco familias de tareas: Recuperación de Información (IR), Recuperación de Contexto Largo, Clasificación de Documentos, Reconocimiento de Entidades Nombradas (NER) y Comprensión del Lenguaje Natural (NLU).
3. Estudios de Ablación: Análisis sistemático del impacto del preentrenamiento continuo frente al entrenamiento desde cero, la adaptación del tokenizador, la transferencia de embeddings SWM y el post-entrenamiento de contexto largo.
4. Recursos Abiertos: Lanzamiento público de los pesos del modelo y del conjunto de datos de preentrenamiento curado en Hugo Face.

Resultados

• Recuperación de Información: La mejor variante, moBERTo-SWM-8k (que combina el tokenizador de portugués, SWM y post-entrenamiento de contexto largo), logró el nDCG@10 de re-ranking promedio más alto (0.5255) en tres benchmarks de portugués (QUATI, mMARCO-PT, Robust04-PT), superando al estado del arte anterior, BERTimbau (0.4671).
• Recuperación de Contexto Largo: Notablemente, moBERTo (token original) logró los resultados más fuertes en el benchmark MLDR a 8.192 tokens (0.6166) a pesar de haber sido entrenado exclusivamente a 1.024 tokens. Esto sugiere que las capacidades de contexto largo de la pre-entrenada original en inglés se transfieren efectivamente sin un entrenamiento dedicado de contexto largo en portugués. Sin embargo, la adaptación del tokenizador (sin SWM) degradó significamente el rendimiento de contexto largo.
• Tareas a Nivel de Token (NER y NLU): Las variantes que utilizan el tokenizador de portugués con transferencia SWM (moBERTo-SWM y moBERTo-SWM-8k) superaron consistentemente a las variantes de tokenizador original en NER (LeNER-Br) y NLU (PLUE-PT), indicando que la tokenización específica del idioma beneficia estas tareas.
• Clasificación: Las ganancias de rendimiento fueron marginales en las tareas de clasificación, con muchos modelos alcanzando la saturación.
• Retención del Idioma: El preentrenamiento continuo en portugués resultó en una degradación del rendimiento en inglés (benchmark GLUE), con las variantes SWM mostrando la mayor disminución debido al nuevo tokenizador.

Significancia y Reivindicaciones
El artículo afirma que moBERTo cierra con éxito la brecha entre las arquitecturas de codificador modernas y el PLN en portugués. Los autores enfatizan cuatro hallazgos clave derivados de sus estudios de ablación:

1. El preentrenamiento continuo es superior al entrenamiento desde cero, particularmente para preservar las capacidades de contexto largo heredadas del modelo base.
2. La adaptación del tokenizador mejora las tareas a nivel de token (NER, NLU) pero degrada la recuperación de contexto largo debido al desalineamiento posicional.
3. La transferencia de embeddings por Coincidencia de Subpalabras (SWM) mitiga eficazmente la degradación de contexto largo causada por los cambios de tokenizador, al tiempo que mejora el rendimiento de re-ranking y NER.
4. Las arquitecturas de solo codificador (encoder-only) siguen siendo competitivas con las alternativas de solo decodificador (decoder-only) más grandes para tareas discriminativas, ofreciendo una solución más eficiente para los flujos de trabajo de producción.

El trabajo demuestra que modernizar el paradigma del codificador para el portugués es factible y beneficioso, proporcionando una nueva línea base para la investigación futura y aplicaciones en la región.