Resumen Técnico: BERTomelo

Declaración del Problema

Si bien los modelos de codificación (encoders) se han convertido en el estado del arte para el Procesamiento de Lenguaje Natural (NLP), el panorama para los modelos de lengua portuguesa permanece limitado por arquitecturas heredadas. Los codificadores monolingües existentes en portugués, como BERTimbau y Albertina, se adhieren mayoritariamente a la arquitectura BERT original, caracterizada por ventanas de contexto limitadas de 512 tokens, mecanismos de atención estándar y una falta de optimizaciones de eficiencia modernas. Aunque los modelos multilingües ofrecen una cobertura amplia, a menudo sufren de la "Maldición de la Multilingüidad", donde el rendimiento por idioma se degrada en comparación con los modelos monolingües dedicados. Además, los avances arquitectónicos recientes en inglés, como ModernBERT, que incorporan FlashAttention, Atención Alternante y Rotary Positional Embeddings (RoPE) para soportar ventanas de contexto extendidas (hasta 8.192 tokens), no se han materializado plenamente para el portugués. Existe una brecha crítica en la disponibilidad de un codificador monolingüe de próxima generación que aproveche estos mecanismos de eficiencia modernos y sea entrenado sobre un corpus contemporáneo y de alta calidad.

Metodología

Para abordar esta brecha, los autores presentan BERTomelo, una suite de codificadores monolingües preentrenados desde cero específicamente para el portugués brasileño. La metodología abarca tres componentes principales: arquitectura, datos y protocolo de entrenamiento.

Arquitectura

BERTomelo está construido sobre la arquitectura ModernBERT. Está disponible en dos variantes:

• Base: 22 capas, 12 cabezales de atención, tamaño oculto de 768, y ~136 millones de parámetros.
• Large: 28 capas, 16 cabezales de atención, tamaño oculto de 1.024, y ~378 millones de parámetros.

Ambas variantes adoptan una ventana de contexto de 1.024 tokens, duplicando la capacidad de los modelos heredados estándar. Las características arquitectónicas clave incluyen:

• Mecanismos de Eficiencia: Integración de FlashAttention-2, Unpadding y Sequence Packing para reducir los cuellos de botella de memoria y el desperdicio computacional.
• Estrategia de Atención: Implementación de Atención Alternante, donde dos capas consecutivas aplican atención local (tamaño de ventana 128) seguidas de una capa con atención global.
• Codificación Posicional: Uso de Rotary Positional Embeddings (RoPE) con una frecuencia base ajustada (10.000) para facilitar la futura escalabilidad del contexto.
• Optimizaciones Estructurales: Capas lineales sin sesgo (bias-free), bloques de pre-normalización y funciones de activación Gaussian Error Gated Linear Unit (GeGLU).
• Objetivo de Entrenamiento: Se omite la tarea de Predicción de la Siguiente Oración (NSP); el entrenamiento se basa únicamente en el Modelado de Lenguaje Enmascarado (MLM) con una tasa de enmascaramiento incrementada del 30%.

Datos y Tokenización

Los modelos fueron preentrenados en ClassiCC-PT, un corpus masivo y de alta calidad que comprende 96 millones de documentos curados en portugués extraídos de Common Crawl. Este conjunto de datos fue seleccionado para reemplazar el anticuado corpus BrWaC utilizado por modelos previos.

• Tokenización: Los autores utilizaron un tokenizador rápido personalizado basado en el algoritmo Unigram (utilizado previamente en ModBERTBr), entrenado con una combinación de Wikipedia y BrWaC. El tamaño del vocabulario es de 32.768 tokens.
• Preprocesamiento: El corpus fue segmentado por saltos de línea y filtrado según la longitud de la palabra (2–15 caracteres), la densidad de palabras de parada (mínimo 2 por secuencia) y la longitud de la secuencia (20–1.024 palabras).

Protocolo de Entrenamiento

El entrenamiento se llevó a cabo en clústeres de Computación de Alto Rendimiento de AMD (GPUs MI300X e MI325X) utilizando el ecosistema de Hugging Face.

• Configuración: Ambos modelos fueron entrenados durante 2 millones de pasos con un tamaño de lote global de 2.048.
• Precisión: El entrenamiento utilizó precisión mixta bf16 para asegurar la estabilidad.
• Duración: El modelo Base requirió aproximadamente 121 horas, y el modelo Large 170 horas, procesando aproximadamente 386 mil millones de tokens (8.67 épocas).

Contribuciones Clave

1. Adaptación de ModernBERT: BERTomelo es el primer codificador de portugués que integra sistemáticamente la arquitectura ModernBERT, aportando mecanismos de eficiencia avanzados (FlashAttention, Atención Alternante) y ventanas de contexto extendidas al ecosistema de NLP en portugués.
2. Ventana de Contexto Extendida: Al implementar una ventana de contexto de 1.024 tokens, BERTomelo aborda las limitaciones de los modelos anteriores de 512 tokens, permitiendo un mejor manejo de dependencias de largo alcance.
3. Preentrenamiento de Alta Calidad: El uso del corpus ClassiCC-PT asegura que el modelo esté alineado con el uso del lenguaje contemporáneo, superando las restricciones de conjuntos de datos más antiguos como BrWaC.
4. Disponibilidad de Código Abierto: Tanto los modelos Base como Large, junto con el código fuente, se han publicado públicamente en Huging Face y GitHub para fomentar la investigación de la comunidad.

Resultados

El artículo evalúa a BERTomelo a través de métricas intrínsecas y extrínsecas, comparándolo con modelos de portugués estado del arte (BERTimbau, Albertina, ModBERTBr) y líneas base multilingües (mBERT, XLM-RoBERTa).

Evaluación Intrínseca

• Tokenización: El tokenizador demostró una alta eficiencia con una fertilidad de 1.506 y una ratio de tokens desconocidos de solo 0.0017% en el conjunto de entrenamiento.
• Estabilidad del Entrenamiento: Las curvas de pérdida mostraron un decaimiento suave y progresivo. El modelo Large exhibió picos transitorios en la norma del gradiente después de 1 millón de pasos, pero mantuvo la estabilidad general.
• Rendimiento de MLM: En el conjunto de prueba, el modelo Base alcanzó una precisión del 79.26% (pérdida 0.9495), mientras que el modelo Large alcanzó el 82.28% de precisión (pérdida 0.7799), indicando una captura robusta de los patrones sintácticos y semánticos del portugués.

Evaluación Extrínseca (Tareas de Aplicación)

Evaluado en ASSIN2 (STS y RTE) y LeNER-Br (NER):

• Similitud Semántica de Texto (STS): BERTomelo logró el menor Error Cuadrático Medio (MSE) para ambas variantes (0.425 para Base, 0.401 para Large), superando a todos los demás modelos, incluyendo BERTimbau y ModBERTBr.
• Reconocimiento de Implicación Textual (RTE): BERTomelo Base alcanzó un 87.70% de precisión, y el Large un 89.26%. Aunque BERTimbau Large superó ligeramente a BERTomelo Large (90.04%), BERTomelo se mantuvo altamente competitivo.
• Reconocimiento de Entidades Nombradas (NER): BERTomelo Base obtuvo el F1-score Micro más alto (91.37%) y la Precisión más alta (90.46%). BERTomelo Large logró el Recall más alto (92.75%) y un F1-score Micro competitivo (91.05%).

Significado y Reivindicaciones

El artículo afirma que BERTomelo cierra con éxito la brecha arquitectónica en el NLP del portugués brasileño. Al integrar las innovaciones de ModernBERT, ofrece una alternativa más robusta y eficiente a los modelos masivos multilingües y a los codificadores monolingües heredados. Los resultados demuestran que el preentrenamiento monolingüe dedicado sobre datos contemporáneos produce un rendimiento superior en tareas como NER y STS en comparación con sus contrapartes multilingües.

Los autores señalan modestamente que, aunque la ventana de contexto de 1.024 tokens es una capacidad central, no fue evaluada explícitamente en los benchmarks actuales (que son principalmente a nivel de oración). Sin embargo, afirman que esta característica proporciona una base para el procesamiento de dependencias de largo alcance. El trabajo valida la necesidad de la adaptación arquitectónica para idiomas específicos y establece una nueva línea base para el desarrollo futuro de codificadores en portugués. Se propone como trabajo futuro aprovechar plenamente la implementación de RoPE para extender la ventana de contexto a 8.192 tokens e implementar el empaquetado de secuencias para mayores ganancias de eficiencia.