KletterMix: Climbing Toward High-Quality German Pretraining Data

Resumen Técnico: KletterMix: Escalando hacia datos de preentrenamiento de alta calidad en alemán

Declaración del Problema

Los datos de preentrenamiento de alta calidad son un determinante primordial del rendimiento de los modelos de lenguaje. Mientras que el inglés se ha beneficiado de corpus de preentrenamiento amplios, diversos y bien documentados (por ejemplo, ClimbMix, Dolma), los recursos en lengua alemana siguen estando comparativamente subdesarrollados. Los conjuntos de datos alemanes existentes suelen derivarse de rastreos web ruidosos, estar incrustados como subconjuntos de corpus multilingües, o ser lanzados con una documentación y validación limitadas mediante experimentos de entrenamiento controlados. El rastreo web nativo en alemán por sí solo tiene dificultades para replicar la diversidad de fuentes, el diseño de la mezcla y los estándares de documentación de los conjuntos de datos de primer nivel sin un filtrado agresivo que pueda eliminar contenido útil de la cola larga (long-tail). Además, no se puede asumir que un comportamiento sólido del modelo en alemán emerja únicamente de datos centrados en el inglés debido a características lingüísticas específicas como la morfología, la composición de palabras, la capitalización y la variación regional.

Metodología

Los autores presentan KletterMix, un corpus de preentrenamiento y recocido (annealing) de 725B de tokens en alemán, construido mediante la traducción de ClimbMix, una mezcla de preentrenamiento en inglés de última generación, al alemán. La construcción sigue un flujo de trabajo de cinco etapas diseñado para preservar los límites de los documentos, los metadatos, la estructura de la fuente y la diversidad temática:

1. Normalización de Registros de Fuente: La fuente en inglés se almacena como archivos JSONL fragmentados que contienen identificadores de documentos, texto y metadatos (clúster de origen, ubicación, longitud aproximada). Esta estructura se preserva a lo largo de todo el proceso.
2. Enrutamiento Basado en la Longitud: Para manejar eficientemente las longitudes variables de los documentos, los documentos se enrutan en cubetas de contexto (cortos, medianos, largos, desbordamiento) basadas en su longitud de origen. Esto permite presupuestos específicos para la fuente y el objetivo por cubeta, reduciendo el relleno (padding) y las ineficiencias de programación.
3. Traducción Preservadora de Documentos:
   • Los documentos cortos se traducen en una sola pasada.
   • Los documentos largos se segmentan en oraciones y se empaquetan de forma codiciosa (greedily) en fragmentos (chunks). Si una oración excede el presupuesto del fragmento, se divide a nivel de token.
   • Para los documentos fragmentados, la traducción del fragmento $t-1$ se incluye como una ventana de contexto truncada para el fragmento $t$ para mantener la continuidad del discurso y la consistencia terminológica.
   • Se utiliza un presupuesto dinámico en el lado del objetivo, donde la longitud máxima de generación se deriva de la longitud del fragmento de origen ($\ell_{max}^{tgt} = \min(L_{max}, \lceil \alpha\ell_{src} + \beta\rceil)$) para acomodar la tendencia del alemán hacia la expansión de la longitud superficial.
4. Ejecución Escalable por Fragmentos (Shard-Wise): La traducción es realizada por trabajadores en paralelo sobre subconjuntos disjuntos del corpus. Los trabajadores preservan los identificadores originales para la trazabilidad e implementan capacidades de reanudación para ejecuciones interrumpidas.
5. Estimación de Calidad y Filtrado:
   • Subconjunto Piloto: Una muestra estratificada del corpus es calificada usando COMETKiwi, un modelo de estimación de calidad sin referencia, para generar etiquetas de alta calidad.
   • Entrenamiento Proxy: Se entrena un modelo de regresión de gradiente potenciado (gradient-boosted regression) sobre los datos piloto para predecir las puntuaciones de COMETKiwi utilizando solo características del lado del objetivo (texto en alemán) y metadatos económicos (por ejemplo, identificación de idioma GlotLID, forma del texto, ratios de repetición).
   • Filtrado: El modelo proxy califica el corpus completo. Se crean tres divisiones de entrenamiento de 12B de tokens filtradas reteniendo los documentos con puntuaciones de proxy $\ge 0.50$, $\ge 0.55$ y $\ge 0.60$.

Contribuciones Clave

• Dataset KletterMix: Un corpus de 725B de tokens en alemán construido a partir de una fuente de alta calidad en inglés mientras preserva la estructura a nivel de documento, los metadatos y el diseño de la mezcla.
• Pipeline de Traducción Escalable: Una metodología para traducir datos de preentrenamiento que incluye enrutamiento consciente de la longitud, fragmentación preservadora de documentos, presupuesto dinámico y ejecución por fragmentos.
• Diagnósticos de Calidad: Una documentación exhaustiva del corpus utilizando estimación de calidad basada en COMETKiwi y modelos proxy, junto con análisis de distribuciones de longitud, cobertura temática y preservación de metadatos.
• Validación Empírica: Ablaciones controladas de preentrenamiento y recocido comparando KletterMix contra corpus alemanes establecidos (FineWeb2-DE y GermanWeb).

Resultados

Los autores evaluaron KletterMix utilizando un modelo Qwen3-0.6B bajo presupuestos de entrenamiento de 12B de tokens iguales.

• Dinámicas de Entrenamiento: Los modelos entrenados con KletterMix lograron una pérdida de entrenamiento y validación más baja en comparación con los modelos entrenados con FineWeb2-DE y GermanWeb, lo que sugiere una mejor eficiencia de muestra.
• Benchmarks de Aplicación (Downstream): En una serie de benchmarks en lengua alemana (MMLU, PIQA, HellaSwag, ARC-Challenge), las variantes de KletterMix generalmente superaron a las bases en el agregado (Promedio Central o Core Avg).
  • El KletterMix filtrado (puntuación $\ge 0.60$) alcanzó el Promedio Central más alto (40.2), superando a FineWeb2-DE (38.3) y GermanWeb (36.8).
  • KletterMix mostró una fortaleza particular en HellaSwag (inferencia de sentido común fundamentada) y ARC-Challenge (razonamiento de estilo científico), lo que sugiere que el corpus transfiere eficazmente estructuras explicativas coherentes.
  • Experimentos de Recocido (Annealing): Al realizar el recocido de un modelo preentrenado en FineWeb2-DE, cambiar a KletterMix produjo un Promedio Central (39.4) superior al cambiar a GermanWeb (37.6), con ganancias concentradas en HellaSwag y ARC-C.
• Análisis de Calidad: Los diagnósticos del corpus revelaron una distribución de longitud de cola pesada consistente con la fuente. Sin embargo, se identificaron las "colas inferiores" en las cubetas de contexto largo (donde documentos largos en inglés resultaron en traducciones al alemán inusualmente cortas) como posibles modos de falla que requieren auditoría.

Significancia y Reivindicaciones

El artículo argumenta que los datos traducidos cuidadosamente pueden fortalecer sustancialmente el ecosistema de datos de preentrenamiento en alemán. La significancia de KletterMix no reside en reemplazar los datos nativos en alemán, sino en demostrar que las decisiones de curación, la diversidad de fuentes y la estructura de la mezcla de un fuerte corpus en inglés pueden transferirse al alemán mediante una traducción de alta calidad y una validación rigurosa.

Los autores afirman que este enfoque transfiere más que solo la forma superficial; transfiere una estructura de mezcla útil. Los resultados sugieren que los datos traducidos pueden mejorar las capacidades del modelo en áreas que requieren un contexto estructurado, como la plausibilidad a nivel de evento y el razonamiento composicional. Sin embargo, el artículo mantiene una postura modesta, reconociendo que:

• Los datos traducidos pueden heredar sesgos culturales, geográficos y de licencias del origen en inglés.
• La traducción automática puede introducir artefactos (translationese, deriva semántica) y fallar en documentos especializados.
• El filtrado basado en modelos proxy es una señal de clasificación práctica para el entrenamiento con presupuesto fijo, pero no es una ley de calidad universal (ya que el rendimiento en MMLU no mejoró monótonamente con un filtrado más estricto).
• Los resultados actuales están limitados a un tamaño de modelo específico (0.6B) y un presupuesto de tokens, lo que requiere trabajos futuros en modelos más grandes y benchmarks más amplios.

En última instancia, KletterMix presenta una ruta práctica para el preentrenamiento no inglés que prioriza la documentación, la validación empírica y la preservación de la estructura del conjunto de datos por encima de la simple escala o el simple rastreo nativo.