EngGPT2: Sovereign, Efficient and Open Intelligence

EngGPT2-16B-A3B es un modelo de lenguaje abierto, eficiente y soberano de arquitectura MoE entrenado desde cero con un 25% de datos en italiano, diseñado para ofrecer un rendimiento competitivo con una fracción de los recursos computacionales y alinearse plenamente con la Ley de IA de la UE.

Lo esencial

¡Claro que sí! Imagina que el mundo de la Inteligencia Artificial es como una carrera de Fórmula 1. Hasta ahora, los equipos más grandes (como los de EE. UU. y China) han estado construyendo coches gigantescos, con motores de 36 litros de cilindrada y que consumen una fortuna en gasolina para ganar.

EngGPT2 es el nuevo coche que ha diseñado un equipo italiano (Engineering Group). No es el más grande, pero es un monstruo de la eficiencia. Aquí te explico cómo funciona, usando analogías sencillas:

1. El Concepto: "El Chef con Ayudantes Especializados"

La mayoría de los modelos de IA son como un chef solitario que intenta cocinar todo solo: desde cortar cebollas hasta hornear un pastel. Si el menú es enorme, el chef se cansa y tarda mucho.

EngGPT2 es diferente. Es un restaurante con un equipo de expertos (MoE - Mixture of Experts).

• Tiene 16 "expertos" (básicamente, cerebros pequeños) trabajando juntos.
• Pero, ¡ojo! Por cada pregunta que le haces, solo despierta a 3 de ellos.
• La analogía: Si le preguntas sobre matemáticas, despierta al "Matemático". Si le preguntas sobre poesía, despierta al "Poeta". El resto descansa.
• El resultado: El restaurante es enorme (16 mil millones de parámetros), pero en cada momento solo usa la energía de un restaurante pequeño (3 mil millones). ¡Es como tener un ejército completo pero pagar solo por los soldados que están de guardia!

2. El Entrenamiento: "Aprender con Calidad, no con Cantidad"

Los modelos gigantes se entrenan leyendo casi toda internet (36 billones de palabras). Es como intentar aprender un idioma leyendo cada periódico del mundo durante 100 años.

EngGPT2 es más inteligente en su estrategia:

• La dieta: Solo leyó 2.5 billones de palabras. Es como si en lugar de leer todo el periódico, leyera solo los artículos más importantes, bien seleccionados.
• El enfoque italiano: De ese poco de lectura, el 25% fue en italiano. Es como si un estudiante de idiomas se enfocara tanto en el italiano que hablara mejor que muchos nativos, aunque hubiera leído menos libros en total que un políglota global.
• El ahorro: Al leer menos y usar menos energía, costó mucho menos entrenar (como si hubieran usado una bicicleta en lugar de un avión a reacción para llegar a la meta).

3. Las "Modos de Pensamiento": El Coche con Marchas

EngGPT2 no solo habla; piensa. Y tiene tres marchas para hacerlo, dependiendo de si tienes prisa o necesitas precisión:

• Marcha Normal (No Reasoning): Responde rápido, como un chat normal. Ideal para "¿Qué tiempo hace?".
• Marcha de Razonamiento (Full Reasoning): Aquí el modelo se detiene, saca una hoja de papel y escribe paso a paso su lógica.
  • Analogía: Es como un detective que te muestra todas sus pistas antes de decirte quién es el culpable. Funciona en italiano e inglés.
• Marcha Turbo (Turbo Reasoning): Esta es la joya. El modelo piensa rápido, pero resume sus pasos en puntos clave (como una lista de compras).
  • Analogía: En lugar de escribir un ensayo de 20 páginas sobre cómo resolver un problema, te da un resumen de 3 líneas. Ahorra un 90% de tiempo y dinero, y sigue siendo muy inteligente.

4. ¿Por qué es importante para Europa?

Imagina que Europa es un país que siempre ha importado sus coches de lujo. EngGPT2 es el primer coche europeo de fabricación propia que cumple todas las leyes de tráfico (la Ley de IA de la UE) y que es abierto (cualquiera puede verlo y mejorarlo).

• Soberanía: Europa tiene su propio cerebro digital que no depende de otros países.
• Eficiencia: Es tan barato de usar que las pequeñas empresas y el gobierno pueden permitírselo, no solo las grandes corporaciones.

En Resumen

EngGPT2 es como un genio italiano que ha aprendido a ser extremadamente eficiente. En lugar de ser un gigante lento y costoso, es un atleta ligero que corre tan rápido como los gigantes, pero gastando una fracción de la energía.

• Es soberano: Hecho en Europa, para Europa.
• Es abierto: Todos pueden verlo.
• Es inteligente: Piensa paso a paso (y en italiano).
• Es económico: No necesitas una central nuclear para hacerlo funcionar.

¡Es el futuro de la IA: potente, pero sin desperdiciar ni una gota de energía!

Resumen técnico

Resumen Técnico Detallado: EngGPT2-16B-A3B

A continuación se presenta un resumen técnico exhaustivo del informe sobre EngGPT2-16B-A3B, el último modelo de lenguaje grande (LLM) desarrollado por el Engineering Group, diseñado para ser soberano, eficiente y abierto, con un enfoque específico en el contexto europeo e italiano.

1. Problema y Contexto

Europa busca fortalecer su capacidad en modelos de lenguaje grandes para lograr la soberanía tecnológica, reducir la dependencia de hubs de innovación estadounidenses y chinos, y cumplir estrictamente con la Ley de Inteligencia Artificial de la UE (EU AI Act).

• Desafíos actuales: Los modelos existentes a menudo requieren cantidades masivas de datos de entrenamiento (trillones de tokens) y potencia de cómputo, lo que genera altos costos y barreras de entrada. Además, muchos modelos carecen de optimización específica para el idioma italiano o no están alineados con las normativas europeas de transparencia y derechos de autor.
• Necesidad: Se requiere un modelo que combine alto rendimiento en razonamiento y tareas generales con una eficiencia computacional extrema, utilizando arquitecturas que permitan un despliegue viable en infraestructuras europeas y respetando los principios de la UE.

2. Metodología y Arquitectura

Arquitectura del Modelo

EngGPT2-16B-A3B es un modelo Mixture-of-Experts (MoE) diseñado desde cero:

• Parámetros: Total de 16 mil millones de parámetros, con solo 3 mil millones activos por inferencia.
• Estructura: 24 capas, cada una con 64 expertos, activando dinámicamente 8 expertos por token.
• Componentes Clave:
  • Usa Grouped-Query Attention (GQA) para eficiencia de memoria.
  • Incorpora SwiGLU, RoPE (Rotary Positional Embeddings) y RMSNorm.
  • Tokenizador: Basado en Mistral, expandido a 131,084 tokens, con 12 tokens especiales para razonamiento y llamadas a herramientas.
  • Contexto: Soporta ventanas de hasta 32,768 tokens (extensibles a 64k+ mediante YARN).

Proceso de Entrenamiento

El entrenamiento se dividió en cuatro fases estructuradas sobre una infraestructura HPC (hasta 128 nodos con 512 GPUs NVIDIA A100):

1. Pre-entrenamiento (2.5 billones de tokens):
   • Fase 1 (Warmup): 600B tokens para estabilizar la infraestructura.
   • Fase 2 (Escalado): 1.5T tokens para generalización multilingüe.
   • Fase 3 (Refinamiento): 400B tokens con datos de alta calidad (código, matemáticas).
   • Datos: Mezcla de FineWeb, datos educativos, matemáticos, código (StarCoder) y datos sintéticos de NVIDIA (Nemotron). Aproximadamente el 25% de los datos son en italiano.
2. Adaptación a Largo Contexto: Entrenamiento específico con secuencias de 32k tokens para mejorar la coherencia en documentos largos.
3. Mid-Training (Consolidación): 100B tokens enfocados en estabilizar el razonamiento estructurado y la consistencia lógica.
4. Post-entrenamiento (Alineación):
   • SFT (Fine-tuning Supervisado): Para seguir instrucciones y usar un chat-template personalizado.
   • APO (Optimización de Preferencias Ancladas): Variante de DPO para alinear respuestas sin modelo de recompensa separado.
   • Model Souping: Fusión de múltiples checkpoints para integrar fortalezas complementarias.

Características Únicas de Interacción

El modelo soporta múltiples modos de inferencia controlados por tokens:

• No Razonamiento: Respuestas directas.
• Razonamiento Completo (Chain-of-Thought): En inglés e italiano, con trazas estructuradas entre <thought> y </thought>.
• Turbo Razonamiento: Un modo comprimido (puntos clave) que reduce la longitud de la traza de razonamiento y la latencia, disponible también en ambos idiomas.
• Llamadas a Herramientas: Compatible nativamente con el Model Context Protocol (MCP).

3. Contribuciones Clave

1. Soberanía y Cumplimiento Normativo: Modelo totalmente abierto (pesos y documentación) alineado con la Ley de IA de la UE. Incluye un pipeline de filtrado de derechos de autor robusto y mecanismos de opt-out.
2. Eficiencia Computacional Extrema:
   • Entrenado con 2.5T de tokens (vs. 36T de Qwen3 o 15T de Llama3), logrando un rendimiento comparable con 1/10 a 1/6 de los datos de entrenamiento.
   • Requiere 1/5 a 1/2 de la potencia de inferencia de modelos densos equivalentes.
3. Arquitectura MoE Optimizada: Diseño de expertos de tamaño intermedio que equilibra la capacidad de razonamiento (3B activos) con la eficiencia, superando a modelos densos de 8B-16B en métricas normalizadas.
4. Capacidades Multilingües (Enfoque Italiano): El 25% del corpus y la especialización en datos italianos garantizan un rendimiento superior en tareas de NLP europeo en comparación con modelos de escala similar.
5. Modos de Razonamiento Flexibles: Introducción de un modo "Turbo" que permite un razonamiento rápido y económico, ideal para aplicaciones en tiempo real.

4. Resultados y Evaluación

El modelo fue evaluado contra modelos densos (8B-16B) y MoE más grandes (hasta 30B) utilizando benchmarks estandarizados y configuraciones óptimas.

Rendimiento en Benchmarks (Configuración Estandarizada)

• Razonamiento Matemático y Lógico: Supera consistentemente a modelos densos de 8B-9B (Llama-3.1-8B, gemma-2-9b-it) y compite fuertemente con modelos de 14B-30B en tareas como AIME26 (70.0 vs 0.0-36.7 de modelos pequeños) y GSM8K (88.0).
• Conocimiento General: En MMLU-Pro alcanza 57.3, superando a Moonlight-16B (47.1) y Llama-8B (49.3).
• Idioma Italiano: En MMLU-IT y ARC-Challenge-IT, establece un nuevo estándar competitivo entre modelos abiertos europeos.
• Generación de Código: HumanEval (64.0), mostrando buen rendimiento aunque con espacio de mejora frente a modelos masivos.
• Llamadas a Herramientas (BFCL v3): 48.5, un área identificada para futuras mejoras.

Eficiencia Normalizada (Costo de la Inteligencia)

Al normalizar el rendimiento por token de entrenamiento y parámetros activos en inferencia:

• EngGPT2 se sitúa en el cuadrante superior derecho del gráfico de eficiencia, demostrando la mejor relación capacidad/costo del conjunto de modelos comparados.
• Logra un rendimiento cercano a modelos mucho más grandes (como Qwen3-30B-A3B) con una fracción mínima del costo computacional.

Análisis de Modos de Razonamiento

• El modo Turbo reduce la longitud de los tokens de razonamiento en un 83-96% con una caída de rendimiento moderada (13-16% en tareas de conocimiento, hasta 43-60% en razonamiento simbólico complejo), ofreciendo una opción viable para reducir latencia y costos.

5. Significado e Impacto

EngGPT2-16B-A3B representa un hito en el desarrollo de IA soberana europea. Demuestra que es posible construir modelos de alto rendimiento sin depender de los presupuestos de entrenamiento masivos de los gigantes tecnológicos globales, gracias a arquitecturas MoE eficientes y curación de datos inteligente.

• Ecosistema Europeo: Contribuye directamente a un ecosistema de IA abierto, seguro y regulado, proporcionando una base sólida para empresas y administraciones públicas europeas.
• Sostenibilidad: Su enfoque en la eficiencia reduce la huella de carbono y los costos operativos, haciendo viable el despliegue de LLMs avanzados en infraestructuras locales.
• Futuro: El equipo planea mejorar el rendimiento en codificación y llamadas a herramientas, escalar el tamaño del modelo y explorar el aprendizaje por refuerzo (RLVR) para mayor estabilidad en el razonamiento.

En conclusión, EngGPT2 establece un nuevo estándar para los LLMs conscientes de los recursos, priorizando la eficiencia y la alineación regulatoria sin sacrificar la capacidad de razonamiento complejo.