A Sovereign, Open-Source Foundation Model for German and English
El artículo presenta Soofi S 30B-A3B, un modelo híbrido Mamba Transformer de mezcla de expertos (Mixture-of-Experts) soberano y de código abierto entrenado con 27 billones de tokens con un enfoque en alemán e inglés, el cual logra un rendimiento de vanguardia entre los modelos abiertos al tiempo que ofrece una eficiencia de inferencia superior para aplicaciones de contexto largo.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando construir el robot chef bilingüe definitivo que pueda cocinar a toda máquina tanto en inglés como en alemán. La mayoría de la gente piensa que el secreto de un gran chef es simplemente contratar una cocina más grande con más cocineros (más parámetros). Pero el equipo detrás de Soofi S descubrió un truco diferente: en lugar de contratar a 30 mil millones de cocineros, contrataron a un equipo diminuto y hiper-eficiente de solo 3 mil millones de cocineros activos que son increíblemente rápidos cambiando de tareas, mientras mantienen a los otros 27 mil millones como una enorme y silenciosa biblioteca de recetas de la que pueden extraer información instantáneamente.
Esto no es solo una teoría; es un robot chef totalmente construido y de código abierto llamado Soofi S 30B-A3B que los autores realmente entrenaron y probaron. Aquí está la historia de cómo lo hicieron, qué puede hacer y dónde todavía tiene algunos baches en el camino.
La salsa secreta: Una cocina híbrida
La mayoría de los modelos de IA son como una multitud densa de personas donde todos tienen que gritar para ser escuchados, lo que se vuelve caótico y lento cuando la habitación se hace enorme (conversaciones largas). Soofi S es diferente. Utiliza un diseño híbrido que mezcla dos tipos de "cocineros":
- Capas Mamba-2: Piensa en estas como los chefs que recuerdan toda la historia en su cabeza sin necesidad de escribirla. No necesitan llevar un cuaderno gigante (llamado "caché KV") que se vuelve cada vez más pesado a medida que la historia se alarga.
- MoE (Mixture of Experts): Esta es la parte de los "3 mil millones activos". De un total de 31.6 mil millones de parámetros, el modelo solo "despierta" 3.2 mil millones de ellos para cada palabra que genera.
¿El resultado? Cuando le pides a este modelo que lea un libro que tiene 1 millón de palabras, no se ralentiza. Mientras que otros modelos se vuelven lentos porque tienen que cargar con un cuaderno pesado, Soofi S mantiene su velocidad constante. Los autores midieron esto y descubrieron que, con una longitud de contexto de 40,000 tokens (unas 30,000 palabras), Soofi S era de 8 a 9 veces más rápido generando texto que otros modelos densos de tamaño similar.
La receta: Enfoque Alemán-Inglés
El equipo no solo lanzó texto aleatorio de internet a la olla. Siguieron una receta estrica de tres fases diseñada para hacer del modelo un campeón específicamente en alemán e inglés, en lugar de un chef mediocre para 100 idiomas.
- Fase 1 (La gran mezcla): Comenzaron con una enorme mezcla de 20 billones de tokens de datos diversos. Se aseguraron deliberadamente de que el alemán no fuera solo un acompañamiento; aumentaron su presencia al 7.2% de la mezcla (comparado con el 5% habitual en otros modelos).
- Fase 2 (El templado de alta calidad): A medida que el modelo se volvía más inteligente, cambiaron a una dieta de "alta calidad". Eliminaron la comida chatarra y se centraron en los mejores datos de código, matemáticas y razonamiento. Aquí, aumentaron la proporción de alemán aún más, al 15.3% de la mezcla.
- Fase 3 (La extensión de historias largas): Finalmente, le enseñaron al modelo cómo manejar historias realmente largas, entrenándolo con datos que variaban desde los 4,000 hasta el 1 millón de tokens de largo.
Los autores son muy transparentes sobre esto: publicaron la lista exacta de ingredientes, incluyendo cuántas veces repitieron ciertas recetas de alta calidad (épocas) y cuáles decidieron no usar. Incluso admiten que aproximadamente el 1.3% de sus datos en alemán provienen de una fuente con licencia comercial (Genios) que no pueden compartir el texto bruto, pero proporcionaron las estadísticas exactas para que cualquiera pueda auditar la mezcla.
La prueba de sabor: ¿Qué tan bueno es?
El equipo sometió a Soofi S a una rigurosa prueba de sabor contra 16 otros modelos abiertos, incluyendo gigantes como Olmo 3 32B, Apertus 70B y Qwen3.5 35B.
- La gran victoria: Soofi S se convirtió en el mejor performer entre los modelos totalmente abiertos tanto en inglés como en alemán. Superó a cada línea de base soberana europea que probaron, a menudo por márgenes enormes. Por ejemplo, en pruebas de código en alemán, obtuvo un 84.2 en MBPP-DE, superando al siguiente mejor por un amplio margen.
- La ventaja "Activa": Aunque solo activa 3 mil millones de parámetros a la vez, igualó o superó a modelos densos que tienen de 14 a 27 mil millones de parámetros activos. Es como un corredor ligero venciendo a un boxeador de peso pesado en una carrera de velocidad.
- La ventaja "Abierta": A diferencia de muchos modelos "abiertos" que solo comparten los pesos finales (el plato cocinado) pero ocultan la receta, Soofi S comparte los pesos, el código, los hiperparámetros y la contabilidad exacta de los datos.
Los baches en el camino (Limitaciones)
Los autores son honestos sobre dónde todavía tropieza el robot chef:
- Matemáticas en alemán: Aunque es excelente en matemáticas de escuela primaria en alemán (obteniendo un 87.1 en GSM8K-Platinum-DE), se queda atrás en matemáticas alemanas más difíciles de competición (obteniendo un 56.0 en Minerva MATH-DE), quedando por detrás de modelos como Qwen3.5.
- Recuerdo de memoria: Debido a que solo tiene 3 mil millones de parámetros activos, a veces tiene dificultades para recordar hechos oscuros del mundo abierto (obteniendo un 79.0 en NaturalQuestions), mientras que los modelos más grandes y densos recuerdan más. Los autores sugieren que, en la vida real, se debería emparejar con un motor de búsqueda para solucionar esto.
- Contaminación de código: En una prueba de código específica llamada LBPP (que evalúa si el modelo solo está memorizando datos de entrenamiento), obtuvo un 31.0, que es más bajo que algunos modelos más grandes.
El veredicto
Soofi S demuestra que no necesitas un cerebro masivo, lento y denso para ser una IA de primer nivel. Al utilizar un diseño híbrido Mamba-Transformer y enfocarse intensamente en el alemán y el inglés, el equipo construyó un modelo que es soberano (construido en suelo alemán con financiación alemana), abierto (totalmente transparente) y eficiente (rápido y barato de ejecutar).
No es una solución mágica que lo resuelve todo —especialmente en matemáticas alemanas difíciles o en el recuerdo puro de hechos— pero para conversaciones largas, programación y tareas bilingües, establece un nuevo estándar para lo que un modelo europeo "soberano" puede lograr. Los autores sugieren que con más datos de alta calidad en alemán, este modelo podría mejorar aún más, pero por ahora, es el modelo base alemán-inglés más fuerte que han probado que sea totalmente abierto.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.