💻 computer science

ModernBERT-TR: A Modern Encoder Foundation Model for Turkish

El artículo presenta ModernBERT-TR, un codificador turco de 150 millones de parámetros preentrenado desde cero con 144,4 mil millones de tokens utilizando la arquitectura ModernBERT y un tokenizador personalizado, el cual supera significativamente a las líneas base turcas existentes y iguala a modelos concurrentes más grandes a pesar de haber sido entrenado con sustancialmente menos recursos.

Autores originales: Besher Alkurdi, Himmet Toprak Kesgin, Muzaffer Kaan Yuce, Mehmet Fatih Amasyali

Publicado 2026-07-29

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Besher Alkurdi, Himmet Toprak Kesgin, Muzaffer Kaan Yuce, Mehmet Fatih Amasyali

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una biblioteca gigante y caótica donde cada libro está escrito en un idioma diferente. Durante mucho tiempo, los bibliotecarios (científicos de la computación) construyeron una enciclopedia masiva y superdensa para ayudar a las computadoras a entender todos los idiomas a la vez. Pero cuando intentas encontrar un dato específico sobre un idioma diminuto y particular dentro de ese libro gigante, la información se vuelve un poco borrosa. Es como intentar escuchar un susurro en un estadio lleno de gente; la señal se pierde en el ruido.

Para solucionar esto, los investigadores comenzaron a construir diccionarios más pequeños y especializados solo para idiomas individuales. El más famoso de estos para el turco fue construido allá por el 2020. Fue un buen comienzo, pero fue construido con herramientas viejas, como una bicicleta cuando todos los demás conducían autos deportivos. Mientras tanto, el resto del mundo avanzó hacia motores "Modernos" que podían leer más rápido, recordar oraciones más largas y entender mejor los giros de la gramática. La gran pregunta era: ¿Podríamos construir un auto deportivo nuevo y superrápido específicamente para el turco, usando estas herramientas modernas, sin necesitar un presupuesto de mil millones de dólares o una biblioteca del tamaño de la luna?

Este artículo presenta ModernBERT-TR, un nuevo modelo de inteligencia artificial diseñado para ser el "cerebro turco" definitivo para las computadoras. Los investigadores tomaron los diseños arquitectónicos más recientes y avanzados (el motor "ModernBERT") y lo entrenaron desde cero utilizando únicamente texto en turco. No solo lanzaron una cantidad masiva de datos hacia él; curaron cuidadosamente una mezcla equilibrada de escritura de alta calidad en turco y utilizaron un diccionario personalizado (tokenizador) ajustado específicamente para la forma única en que se construyen las palabras en turco.

Los resultados son sorprendentemente poderosos. Aunque este nuevo modelo es relativamente pequeño —conteniendo unos 150 millones de "neuronas" (parámetros)—, superó a modelos mucho más grandes, incluyendo algunos con casi cuatro veces más neuronas. Al ser probado en 11 tareas diferentes en turco, como detectar discursos de odio o comprender reseñas de películas, ModernBERT-TR obtuvo un promedio del 60.2%, superando al siguiente mejor modelo por un margen significativo. Incluso igualó a un competidor que fue entrenado con aproximadamente 7 veces más datos (1 billón de tokens frente a los 144.4 mil millones de tokens del modelo) en una prueba de ajuste fino completo, demostando que un entrenamiento inteligente y una mejor arquitectura pueden vencer al volumen bruto de datos.

Los autores sugieren que la "fórmula secreta" no fue solo el tamaño del modelo, sino la calidad de la mezcla de datos. Descubrieron que repetir un conjunto de datos específico y de alta calidad en turco cinco veces durante el entrenamiento fue mucho más importante que ajustar otros parámetros como el tamaño del lote (batch size). En resumen, construyeron una máquina de habla turca ágil y eficiente que demuestra que no necesitas ser el más grande para ser el mejor; solo necesitas ser el más moderno y el más enfocado. Han liberado todo su código y el modelo mismo al público, con la esperanza de dar un gran impulso a cualquiera que intente construir tecnología que hable turco.

Resumen Técnico: ModernBERT-TR

Planteamiento del Problema

El Procesamiento de Lenguaje Natural (NLP) en turco depende actualmente de arquitecturas obsoletas o modelos multilingües suboptimizados. El codificador monolingüe dominante, BERTurk (2020), utiliza la arquitectura BERT vanilla y fue entrenado en un corpus relativamente pequeño (~4.5 mil millones de tokens). Si bien los modelos multilingües (por ejemplo, mBERT, XLM-R) ofrecen cobertura, diluyen la capacidad entre muchos idiomas, lo que limita el rendimiento por idioma. Además, los avances arquitectónicos recientes que han mejorado significativamente la calidad de los codificadores para el inglés —tales como los incrustamientos de posición rotatorios (Rope), las Unidades Lineales con Compuerta (GLU), la atención local-global alternante y el entrenamiento con empaquetado de secuencias— no se han aplicado sistemáticamente al preentrenamiento monolingüe en turco.

Metodología

Los autores presentan ModernBERT-TR, un modelo codificador de 150 millones de parámetros construido sobre la arquitectura ModernBERT pero preentrenado desde cero específicamente para el turco.

Arquitectura y Configuración de Entrenamiento

Arquitectura: El modelo sigue la configuración ModernBERT-base con 22 capas de transformador, 768 dimensiones ocultas y 12 cabezales de atención. Las mejoras arquitectónicas clave respecto al BERT vanilla incluyen:
- RoPE: Los incrustamientos de posición rotatorios reemplazan las posiciones absolutas aprendidas para mejorar la generalización a secuencias de longitud variable.
- GLU: Se utilizan Unidades Lineales con Compuerta con activación GELU en las redes de alimentación hacia adelante (feed-forward).
- Pre-normalización: La normalización de capa se aplica antes de las subcapas de atención y de alimentación hacia adelante para mejorar el flujo de gradiente.
- Mecanismo de Atención: Se utiliza una ventana deslizante de 128 tokens en la mayoría de las capas, con atención global completa aplicada cada 3 capas para equilibrar la eficiencia y el modelado de dependencias de largo alcance.
- Eficiencia de Entrenamiento: El modelo utiliza Flash Attention y entrenamiento con empaquetado de secuencias (concatenación de documentos de longitud variable en lotes de longitud fija) para eliminar el desperdicio por relleno (padding).
Tokenizador: Se entrenó desde cero un tokenizador WordPiece personalizado de 50K para el turco. Este tamaño se seleccionó para equilibrar la eficiencia de compresión frente al tamaño de la tabla de incrustaciones, logrando una alta eficiencia de vocabulario en comparación con alternativas más grandes (128K).
Datos de Entrenamiento: El corpus consiste en 144.4 mil millones de tokens (entrenado durante 2 épocas). Los datos son una mezcla equilibrada de:
- FineWeb-2 Turkish: 41.2B de tokens (web-crawled).
- Corpus BertTurk: 6.2B de tokens, con un sobremuestreo (upsampling) de 5× (31.0B de tokens efectivos) para equilibrar la mezcla y aprovechar texto de mayor calidad.
Hiperparámetros: El entrenamiento utilizó el optimizador Decoupled StableAdamW con una tasa de aprendizaje máxima de $2 \times 10^{-4}$ , un tamaño de lote global de 256 secuencias (262K tokens) y un esquema de tasa de aprendizaje de coseno con un calentamiento (warmup) de 1B de tokens. El modelo fue entrenado en 4× GPUs NVIDIA H100 durante 623 horas de GPU.

Estudios de Ablación

Se realizaron ablaciones sistemáticas sobre la tasa de aprendizaje, el tamaño del lote, la razón final del esquema de coseno ( $\alpha_f$ ) y la mezcla de datos. Los resultados indicaron que la composición de los datos (específicamente el sobremuestreo de 5× del Corpus BertTurk) y la tasa de aprendizaje fueron los principales impulsores del rendimiento en tareas posteriores, mientras que el tamaño del lote y $\alpha_f$ tuvieron efectos mínimos dentro de los rangos probados.

Contribuciones Clave

Modelo ModernBERT-TR: El primer codificador en turco disponible públicamente que aprovecha los avances arquitectónicos de ModernBERT (RoPE, GLU, atención alternante, entrenamiento sin relleno).
Tokenizador Personalizado: Un tokenizador WordPiece de 50K optimizado para la morfología del turco, demostrando una eficiencia de vocabulario superior.
Corpus Curado: Un corpus de entrenamiento equilibrado que combina FineWeb-2 y el Corpus BertTurk, con evidencia empírica que respalda el sobremuestreo de datos de alta calidad.
Ablaciones Sistemáticas: Identificación de la mezcla de datos y la tasa de aprendizaje como factores críticos para la calidad del preentrenamiento monolingüe en turco.
Resultos de Vanguardia (SOTA): Logro de nuevos referentes en tareas de NLP en turco con un modelo significativamente más pequeño que las principales alternativas multilingües.
Lanzamiento Abierto: Publicación de los pesos del modelo, el tokenizador, el código de evaluación y la configuración de entrenamiento.

Resultados

Probing Lineal de Codificador Congelado

Evaluado en 11 tareas diversas de NLP en turco (clasificación, regresión y clasificación de tokens) utilizando un protocolo de codificador congelado:

Rendimiento General: ModernBERT-TR alcanzó una puntuación promedio del 60.2%, superando al siguiente mejor modelo (Turkish-E5-large, 560M de parámetros) en un 13.1% relativo y al modelo base convencional BERTurk en un 70.3% relativo.
Eficiencia: A pesar de tener solo ~150M de parámetros (aproximadamente 1/4 del tamaño de las variantes E5-large), ModernBERT-TR superó a estos en todas las categorías de tareas.
Especificidad de la Tarea: El modelo lideró en 5 de 11 tareas, incluyendo detección de lenguaje ofensivo, clasificación de discurso de odio, aceptabilidad lingüística (TrCOLA) y Reconocimiento de Entidades Nombradas (WikiNER).

Ajuste Fino Completo (TabiBench)

Evaluado en el benchmark de 28 tareas TabiBench utilizando ajuste fino completo:

ModernBERT-TR obtuvo una puntuación de 77.28, igualando al TabiBERT concurrente (entrenado con ~1 billón de tokens con idiomas mixtos) con una diferencia de apenas 0.30 puntos.
ModernBERT-TR lideró en 5 de 8 categorías de tareas (Clasificación de Texto, Similitud Semántica de Texto, NLI, Comprensión Académica, Recuperación de Información).
TabiBERT mantuvo una ventaja en Recuperación de Código y Respuesta a Preguntas, atribuida a la inclusión de datos de código y matemáticos en su preentrenamiento.

Significado

El artículo demuestra que las innovaciones arquitectónicas modernas combinadas con un preentrenamiento monolingüe dirigido pueden producir representaciones que son más linealmente separables y efectivas que los modelos multilingües más grandes, incluso cuando se entrenan con significativamente menos tokens (144.4B vs 1T).

Los autores afirman que, para el preentrenamiento monolingüe con recursos limitados, la curaduría y mezcla cuidadosa de datos (específicamente el sobremuestreo de corpus de alta calidad) rinden mayores beneficios que simplemente escalar los tamaños de lote o ajustar los parámetros del esquema. Al lanzar ModernBERT-TR, los autores buscan acelerar la investigación de NLP en turco, proporcionando un modelo base que supera los puntos de referencia existentes requiriendo solo 623 horas de GPU para su entrenamiento.