EngGPT2: Sovereign, Efficient and Open Intelligence

EngGPT2-16B-A3B est un modèle de langage open-weight européen souverain et économe en ressources, basé sur une architecture MoE entraînée sur 2,5 billions de tokens dont 25 % en italien, offrant des performances compétitives avec une fraction de la puissance de calcul nécessaire et une conformité totale à la loi européenne sur l'IA.

L'essentiel

🇮🇹 EngGPT2 : Le Super-Héros Économe de l'Intelligence Artificielle

Imaginez que vous devez construire un génie capable de tout savoir, de tout raisonner et de parler couramment italien et anglais. Habituellement, pour obtenir un tel génie, il faut construire une usine gigantesque, consommer l'électricité d'une petite ville et utiliser des données provenant de toute l'histoire de l'internet.

C'est ce que font souvent les géants américains ou chinois. Mais l'équipe Engineering Group (un groupe italien) a eu une idée différente : "Et si on construisait un génie aussi brillant, mais beaucoup plus petit, plus rapide et moins gourmand ?"

Voici comment ils ont fait, avec des analogies simples.

1. L'Architecture : Le Restaurant à la Carte (MoE)

La plupart des modèles d'IA actuels sont comme un cuisinier solitaire qui doit tout faire : couper les légumes, griller le steak, faire la sauce et laver la vaisselle, même pour une simple salade. C'est lent et fatiguant.

EngGPT2 utilise une architecture appelée MoE (Mixture of Experts), ou "Mélange d'Experts".

• L'analogie : Imaginez un grand restaurant avec 64 chefs spécialisés (des experts).
  • Il y a un chef pour les mathématiques, un pour le code, un pour l'histoire, un pour la cuisine italienne, etc.
  • Quand un client (vous) pose une question, le serveur ne réveille pas les 64 chefs. Il en choisit seulement 8 qui sont les plus pertinents pour la tâche.
• Le résultat : Le modèle a 16 milliards de paramètres (le nombre total de chefs), mais il n'en active que 3 milliards à la fois pour répondre. C'est comme si le restaurant restait ouvert 24h/24, mais ne dépensait de l'énergie que pour les 8 chefs qui travaillent réellement. C'est 5 à 10 fois plus économe en énergie que les modèles classiques.

2. L'Entraînement : Apprendre avec des Cartes de Qualité

Pour apprendre, ce modèle a lu environ 2,5 billions de mots (tokens).

• La comparaison : Les modèles concurrents (comme Qwen3 ou Llama3) ont lu 15 à 36 billions de mots. EngGPT2 a donc lu moins de livres, mais il a lu des livres mieux choisis.
• La spécialité : Environ 25% de ses lectures étaient en italien. C'est comme si on avait élevé ce génie spécifiquement pour comprendre la culture, les lois et les nuances de l'Italie et de l'Europe, contrairement à d'autres qui sont élevés principalement en anglais.
• Le coût : Tout cela a coûté environ 500 000 €. C'est une somme énorme pour nous, mais pour le monde de l'IA, c'est le prix d'un "petit déjeuner" comparé aux milliards dépensés par les autres géants.

3. Les Modes de Pensée : Le "Turbo" et le "Réflexif"

L'un des points forts d'EngGPT2 est sa capacité à changer de "mode de pensée" selon vos besoins, un peu comme un conducteur qui change de vitesse.

• Mode Réflexion (Full Reasoning) : Le modèle prend son temps, écrit son brouillon, réfléchit étape par étape (comme un étudiant qui résout un problème de maths complexe). Il peut le faire en italien ou en anglais.
• Mode Turbo : C'est le mode "express". Le modèle pense, mais résume ses pensées en quelques points clés (comme des puces dans une liste).
  • L'analogie : C'est la différence entre lire un roman entier pour comprendre une histoire (Mode Réflexion) et lire un résumé de 3 lignes sur Wikipédia (Mode Turbo).
  • Avantage : Le mode Turbo est 90% plus rapide et consomme beaucoup moins de données, tout en restant très précis pour des tâches simples.

4. Pourquoi c'est important pour l'Europe ?

L'Union Européenne a de nouvelles règles (l'AI Act) pour s'assurer que l'IA est transparente, sûre et respecte les droits d'auteur.

• Souveraineté : EngGPT2 est un modèle "européen". Il est entraîné, contrôlé et hébergé en Europe. On ne dépend pas des États-Unis ou de la Chine pour nos technologies critiques.
• Respect des règles : L'équipe a soigneusement filtré les données pour éviter d'inclure du contenu protégé par le droit d'auteur (comme des articles de journaux payants ou des livres entiers). C'est comme si le modèle avait lu des livres de la bibliothèque publique plutôt que de voler des livres dans des librairies privées.

5. Les Résultats : Le Petit qui bat les Géants

Même s'il est plus petit et moins cher à entraîner, EngGPT2 arrive à faire aussi bien, voire mieux, que des modèles beaucoup plus gros sur des tests de logique, de mathématiques et de compréhension.

• Le bilan : Il offre un excellent rapport Qualité / Prix. C'est la voiture de sport qui consomme comme une citadine.

En résumé

EngGPT2 est une preuve que l'on n'a pas besoin de construire des "usines géantes" pour avoir une intelligence artificielle puissante. En étant intelligent sur la façon dont on construit le modèle (en choisissant les bons "experts" et les bonnes données), on peut créer un outil puissant, respectueux de l'environnement, souverain pour l'Europe et parfaitement adapté à la langue italienne.

C'est un pas de géant vers une IA européenne, responsable et accessible à tous.

Résumé technique

Titre : EngGPT2 : Une Intelligence Souveraine, Efficace et Ouverte

1. Problématique et Contexte

L'Europe cherche à renforcer son autonomie stratégique dans le domaine des grands modèles de langage (LLM), actuellement dominés par les hubs d'innovation américains et chinois. Bien que des initiatives nationales émergent, il existe un besoin crucial de développer des modèles de fondation ouverts, souverains et conformes aux réglementations européennes, notamment le Règlement sur l'IA de l'UE (EU AI Act).

Les défis principaux identifiés sont :

• L'efficacité computationnelle : Réduire les coûts d'entraînement et d'inférence tout en maintenant des performances élevées.
• La souveraineté des données et du modèle : Créer des modèles entraînés sur des corpus adaptés aux contextes européens et italiens, avec une transparence totale.
• La conformité réglementaire : Garantir que le modèle respecte les normes de sécurité, de propriété intellectuelle et de transparence de l'UE.

2. Méthodologie et Architecture

Le rapport présente EngGPT2-16B-A3B, un modèle de langage basé sur une architecture Mixture-of-Experts (MoE) conçue pour maximiser l'efficacité.

• Architecture MoE : Le modèle possède 16 milliards de paramètres au total, mais n'en active que 3 milliards par token lors de l'inférence. Il utilise 24 couches avec 64 experts au total, dont 8 sont activés dynamiquement par token. Cette architecture permet d'obtenir la capacité d'un modèle dense plus grand avec un coût d'inférence réduit.

• Comparaison des experts : La taille des experts est calibrée entre celle de Qwen3 et de GPT-OSS, offrant un équilibre entre expressivité et efficacité.

• Tokenisation : Utilisation d'un vocabulaire étendu à 131 084 tokens, incluant des tokens spécialisés pour le raisonnement et l'appel d'outils, inspiré de Mistral pour une excellente prise en charge multilingue (notamment l'italien).

• Pipeline d'entraînement en 4 phases :

  1. Pré-entraînement (2,5 trillions de tokens) : Apprentissage fondamental sur des données brutes (Web, éducatif, code, mathématiques). Environ 25 % des données sont en italien.
  2. Adaptation au contexte long : Entraînement dédié pour gérer des fenêtres de contexte allant jusqu'à 32 768 tokens (et au-delà via YARN), utilisant des techniques de parallélisme de contexte.
  3. Mid-Training (Consolidation) : Raffinement des capacités de raisonnement sur des données structurées et des traces de raisonnement explicites.
  4. Post-entraînement (Alignement) : Combinaison de Supervised Fine-Tuning (SFT) et d'Anchored Preference Optimization (APO), suivie d'une fusion de modèles (Model Souping) pour stabiliser les performances.

• Modes de raisonnement : Le modèle intègre nativement plusieurs modes d'interaction :

  • Non-raisonnement (réponse directe).
  • Raisonnement structuré complet (en anglais et italien).
  • Turbo-Reasoning : Un mode de raisonnement compressé (style "bullet points") conçu pour réduire la latence et les coûts d'inférence tout en conservant la logique.

3. Contributions Clés

• Modèle Souverain Européen : Un LLM open-weight développé entièrement par le groupe Engineering, aligné sur l'EU AI Act, avec une documentation technique complète et une publication sur Hugging Face.
• Efficacité Inégalée : Le modèle atteint des performances comparables aux modèles denses de 8B à 16B paramètres, mais avec 1/5 à 1/2 de la puissance d'inférence requise et 1/10 à 1/6 des données d'entraînement nécessaires par rapport aux modèles de référence (comme Qwen3 ou Llama3).
• Spécialisation Italienne : Environ 25 % du corpus d'entraînement est en italien, garantissant des performances supérieures pour les tâches NLP européennes par rapport à d'autres modèles de taille similaire.
• Transparence et Conformité : Mise en œuvre d'un pipeline de filtrage rigoureux pour exclure les contenus protégés par le droit d'auteur (filtrage basé sur les domaines, motifs éditoriaux et scores de risque), assurant la conformité avec le droit européen.
• Flexibilité d'Inférence : Introduction de tokens de contrôle pour basculer dynamiquement entre les modes de raisonnement (complet vs turbo) et les langues, permettant une optimisation des coûts selon le cas d'usage.

4. Résultats et Évaluation

Les évaluations ont été menées sur une large gamme de benchmarks (MMLU-Pro, GSM8K, HumanEval, IFEval, AIME) et comparées à des modèles denses et MoE de tailles similaires (Llama-3.1-8B, Gemma-2-9B, Moonlight-16B) et plus grands (Qwen3-30B, GPT-OSS-20B).

• Performances Brutes : EngGPT2-16B-A3B surpasse les modèles denses de 8B-9B sur la plupart des tâches de raisonnement (MMLU-Pro, AIME) et se positionne de manière compétitive face à des modèles beaucoup plus grands (Qwen3-30B) en termes d'efficacité par token actif.
• Performance Italienne : Le modèle obtient d'excellents résultats sur les benchmarks spécifiques à l'italien (ARC-Challenge-IT, MMLU-IT), établissant une nouvelle référence pour les modèles ouverts européens.
• Efficacité (Coût de l'Intelligence) :
  • Entraînement : Coût estimé à ~500 000 € pour 2,5T de tokens (5,7 x 10^22 FLOPs), bien en dessous du seuil de 10^25 FLOPs défini par l'EU AI Act pour les modèles à haut risque.
  • Inférence : Grâce à l'architecture MoE, le modèle offre un rapport performance/coût supérieur, occupant une position unique dans le quadrant "haute efficacité / haute performance" par rapport aux modèles denses.
• Modes de Raisonnement : Le mode "Turbo" réduit le nombre de tokens générés de 83 % à 96 % par rapport au raisonnement complet, avec une baisse de performance modérée (13-16 % sur les tâches de connaissance, plus élevée sur le raisonnement symbolique complexe), offrant un compromis idéal pour les applications temps réel.

5. Signification et Perspectives

EngGPT2 marque une étape importante vers un écosystème européen d'IA fiable, efficace et souverain. Il démontre qu'il est possible de construire des modèles de haute performance sans dépendre des infrastructures massives ou des données propriétaires des géants américains ou chinois.

• Impact Stratégique : Le modèle fournit une base solide pour les administrations publiques et les entreprises européennes, permettant un contrôle total de la chaîne de développement (de la conception au déploiement).
• Limites et Futur : Le rapport reconnaît que la performance sur les contextes très longs et les tâches de codage/outillage pourrait être améliorée. Les futures itérations viseront à augmenter la taille du modèle, le volume de tokens d'entraînement, et à intégrer des techniques de renforcement (RLVR) pour stabiliser davantage le raisonnement.

En résumé, EngGPT2 incarne une approche "Resource-Conscious" (soucieuse des ressources) qui redéfinit les standards de l'efficacité des LLM, prouvant que l'architecture MoE et un entraînement ciblé peuvent rivaliser avec les modèles massifs tout en respectant les valeurs et réglementations européennes.