EngGPT2: Sovereign, Efficient and Open Intelligence

EngGPT2-16B-A3B is een nieuw, open-source Mixture-of-Experts taalmodel dat door zijn efficiënte architectuur en sterke Italiaanse vaardigheden een kosteneffectief en EU-wetgeving-conform alternatief biedt voor grotere modellen.

De kern

EngGPT2: De Slimme, Efficiënte en Eigen Italiaanse Brein

Stel je voor dat je een enorme bibliotheek bouwt met alle kennis van de wereld. Meestal bouwen bedrijven zoals Google of Microsoft deze bibliotheken met een ongelofelijke hoeveelheid energie en geld, alsof ze een hele stad moeten verplaatsen om één boek te vinden.

EngGPT2 is een nieuw project van het Italiaanse bedrijf Engineering Group. Ze hebben een heel slimme manier bedacht om een eigen, krachtig "digitale brein" te bouwen, maar dan met veel minder energie en kosten. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Geheim van de "Spookwerkers" (MoE)

Stel je een groot kantoor voor. In een normaal kantoor (een "dicht" model) moeten alle werknemers elke dag naar kantoor komen, ook als er maar één vraag is. Dat kost veel geld en stroom.

EngGPT2 werkt anders. Het is een Mixture-of-Experts (MoE) model.

• Het Kantoor: Het heeft in totaal 16 miljard "werknemers" (parameters).
• De Slimme Regeling: Maar voor elke vraag die je stelt, worden er slechts 3 miljard werknemers wakker gemaakt. De rest blijft slapen.
• De Analogie: Het is alsof je een restaurant hebt met 100 koks. Als je pasta bestelt, komen alleen de pasta-specialisten aan het werk. Als je sushi bestelt, komen alleen de sushi-koks. Je hoeft niet iedereen te betalen voor elke maaltijd. Hierdoor is EngGPT2 razendsnel en goedkoop, terwijl het net zo slim is als de grote concurrenten.

2. De Training: Van Baby tot Expert

Het team heeft dit model niet zomaar "geleerd". Ze hebben een zorgvuldig stappenplan gevolgd:

• Fase 1: De Basis (Pre-training): Het model heeft gelezen uit een enorme berg boeken, websites en code (2,5 biljoen woorden). Het heeft vooral veel Italiaans en Engels gelezen, zodat het de cultuur en taal van Europa goed begrijpt.
• Fase 2: Het Lange Geheugen: Ze hebben het model getraind om hele lange documenten te onthouden, alsof je iemand leert een heel boek in één keer te lezen zonder de eerste pagina te vergeten.
• Fase 3: De Slimme Redenering (Mid-training): Hier leerden ze het model niet alleen feiten, maar hoe je nadenkt. Ze gaven het puzzels en wiskundeproblemen om op te lossen.
• Fase 4: De Hulpvaardige Assistent (Post-training): Tot slot leerden ze het model hoe het met mensen moet praten, instructies moet volgen en tools (zoals rekenmachines of zoekmachines) moet gebruiken.

3. De "Turbo"-Modus

Een van de coolste dingen is dat EngGPT2 verschillende manieren heeft om te denken:

• Normaal Denken: Het geeft een kort antwoord.
• Volledig Redeneren: Het denkt hardop na (in het Italiaans of Engels) en legt stap voor stap uit hoe het tot een antwoord komt. Dit is goed voor moeilijke vragen.
• Turbo-Modus: Dit is de "snelle schakel". Het model denkt nog steeds na, maar dan in heel korte, krachtige bullet points. Het is alsof je van een lange uitleg overschakelt naar een samenvatting. Dit gaat razendsnel en kost heel weinig energie, perfect voor apps die direct moeten reageren.

4. Waarom is dit belangrijk voor Europa?

Vroeger moesten Europese bedrijven afhankelijk zijn van Amerikaanse of Chinese modellen. Die zijn misschien wel slim, maar ze kennen onze lokale wetten en cultuur niet altijd goed, en ze zijn erg duur.

EngGPT2 is:

• Souverein: Het is van Europa, voor Europa. We hebben de volledige controle.
• Open: Iedereen kan het gebruiken en bekijken hoe het werkt (het staat op Hugging Face).
• Wettelijk: Het voldoet aan de strenge EU-wetten voor AI (de AI Act). Ze hebben zelfs een speciale filter gebruikt om te zorgen dat ze geen auteursrechtelijk beschermd materiaal hebben gebruikt zonder toestemming.
• Efficiënt: Het kost veel minder stroom om te draaien dan de grote modellen.

Samenvattend

EngGPT2 is als een slimme, Italiaanse meesterkok die niet de hele keuken nodig heeft om een heerlijk gerecht te maken. Hij gebruikt alleen de juiste ingrediënten (de juiste "experts"), denkt snel na (Turbo-modus), en kent de lokale smaken (Italiaans/Europees) perfect. Het bewijst dat je niet altijd de grootste en duurste machine nodig hebt om de beste resultaten te behalen; soms is slimme planning en efficiëntie de echte sleutel tot succes.

Technische samenvatting

Titel: ENGGPT2: Soevereine, Efficiënte en Open Intelligentie

Auteurs: EngGPT Team @ Engineering Group (Ciarfaglia G. et al.)

---

1. Het Probleem

Europa kampt met een achterstand in de ontwikkeling van grote taalmodellen (LLM's) ten opzichte van de VS en China. Hoewel er initiatieven zijn, ontbreekt vaak een ecosysteem van open, soevereine en regulatie-compliant modellen die specifiek zijn afgestemd op Europese en Italiaanse contexten.

• Afhankelijkheid: Veel organisaties zijn afhankelijk van gesloten of niet-Europese modellen, wat risico's met zich meebrept voor technologische soevereiniteit en naleving van de EU AI Act.
• Efficiëntie: Bestaande state-of-the-art modellen zijn vaak zeer rekenintensief (hoge trainingskosten en inferentie-vereisten), wat de adoptie in het bedrijfsleven en de publieke sector beperkt.
• Taal en Cultuur: Modellen zijn vaak Engels-gedomineerd, wat leidt tot inferieure prestaties in Italiaanse en andere Europese talen, inclusief specifieke culturele nuances.

2. Methodologie

EngGPT2-16B-A3B is een Mixture-of-Experts (MoE) model dat is getraind "van scratch" met een focus op efficiëntie en soevereiniteit.

Architectuur

• Modelgrootte: Totaal 16 miljard parameters, maar slechts 3 miljard actieve parameters per inferentie.
• Expert-structuur: 24 lagen, elk met 64 experts. Per token worden er 8 experts dynamisch gerouteerd.
• Designkeuzes: Geïnspireerd door Qwen3 en GPT-OSS. Gebruikt Grouped-Query Attention (GQA), SwiGLU-activaties, RoPE (Rotary Positional Embeddings) en RMSNorm.
• Tokenizer: Gebaseerd op Mistral, uitgebreid tot 131.084 tokens met speciale tokens voor redenering en tool-calling.

Trainingspipeline (4 Fasen)

Het trainingsproces is opgedeeld in vier fasen om de balans tussen kennis, context en redenering te optimaliseren:

1. Pre-training (2,5 biljoen tokens):
   • Fase 1: Warm-up (600B tokens) voor stabiliteit.
   • Fase 2: Schaalvergroting (1,5T tokens) voor multilinguale generalisatie.
   • Fase 3: Kwaliteitsrefinement (400B tokens) met focus op code, wiskunde en gestructureerde data.
   • Data: Een mix van FineWeb, FineMath, StarcoderData en Nemotron-datasets. Ongeveer 25% van de data is Italiaans.
2. Long-Context Adaptatie: Specifieke training om het contextvenster uit te breiden tot 32.768 tokens (en verder via YARN), met focus op coherentie in lange documenten.
3. Mid-Training: Consolidatie van redeneervermogen met gestructureerde datasets (zoals Llama-Nemotron en OpenThoughts) om de interne representaties te verfijnen.
4. Post-Training (Alignement):
   • SFT (Supervised Fine-Tuning): Leren van instructies en conversatiepatronen.
   • APO (Anchored Preference Optimization): Een variant van DPO om voorkeuren te optimaliseren zonder aparte reward-modellen.
   • Model Souping: Het samenvoegen van checkpoints om de sterktes van verschillende trainingsfasen te combineren.

Redeneringsmodi

Het model ondersteunt meerdere inferentiemodi, gecontroleerd via speciale tokens:

• Non-reasoning: Directe antwoorden.
• Full Reasoning: Uitgebreide "Chain-of-Thought" in het Engels of Italiaans.
• Turbo Reasoning: Een gecomprimeerde, bulletpoint-stijl redenering voor lage latentie en kosten.

3. Belangrijkste Bijdragen

• Soevereine Europese AI: Een volledig open-weight model dat voldoet aan de EU AI Act, met transparante documentatie en data-filtering (inclusief copyright-checks).
• Efficiëntie door MoE: Het model bereikt prestaties vergelijkbaar met dichte modellen van 8B-16B, maar vereist slechts 1/5e tot 1/2e van de inferentiekracht en 1/10e tot 1/6e van de trainingsdata vergeleken met grotere concurrenten.
• Multilinguale Redenering: Sterke ondersteuning voor Italiaans, niet alleen in conversatie maar ook in complexe redeneertaken.
• Flexibele Redeneringsmodi: De introductie van "Turbo Reasoning" biedt een unieke trade-off tussen snelheid/kosten en diepgang van redenering.
• Open Transparantie: Volledige openbaarmaking van de trainingsdata-mix, architectuur en evaluatieprotocollen op Hugging Face.

4. Resultaten

De evaluatie omvat benchmarks zoals MMLU-Pro, GSM8K, AIME, HumanEval en specifieke Italiaanse benchmarks (MMLU-IT, ARC-Challenge-IT).

• Prestaties: EngGPT2 presteert op het niveau van dichte modellen in de 8B-16B reeks (zoals Llama-3.1-8B en Gemma-2-9B) en benadert soms zelfs grotere modellen (zoals Qwen3-14B) op redeneertaken.
• Efficiëntie: Bij normalisatie op trainingskosten en actieve parameters scoort het model beter dan grotere dichte modellen. Het biedt de beste "performance-per-compute" verhouding in zijn klasse.
• Italiaanse Taal: Het model toont superieure prestaties in Italiaanse taken vergeleken met andere open-weight modellen van vergelijkbare schaal.
• Turbo vs. Full: Turbo-reasoning reduceert het aantal gegenereerde tokens met 83-96%, met een prestatiedaling van slechts 13-16% op kennisgerichte taken, maar een grotere daling op complexe wiskundige taken (AIME).
• Zwakke Punten: Het model scoort iets lager op code-generatie (HumanEval) en tool-calling (BFCL) vergeleken met de topmodellen, wat wordt toegeschreven aan een ondervertegenwoordiging van deze data in de SFT-fase.

5. Betekenis en Toekomst

EngGPT2 markeert een belangrijke stap in de ontwikkeling van een onafhankelijk Europees AI-ecosysteem. Het bewijst dat het mogelijk is om hoogwaardige, veilige en regulatie-compliant modellen te bouwen zonder de enorme rekenkracht van Amerikaanse of Chinese giganten te nodig hebben.

• Strategisch: Het model biedt een basis voor Europese overheden en bedrijven om AI-systemen te bouwen die voldoen aan lokale wetgeving en waarden.
• Economisch: De hoge efficiëntie maakt de inzet van LLM's haalbaarder voor kleinere organisaties en specifieke use-cases.
• Toekomstplannen: De auteurs plannen om de prestaties op code en tool-calling te verbeteren, het trainingscorpus uit te breiden, en te experimenteren met Reinforcement Learning (RLVR) voor nog betere redeneer-stabiliteit.

Conclusie: EngGPT2 is een bewijs dat "kleiner en slimmer" kan werken. Door slimme architectuurkeuzes (MoE) en een gefocuste trainingsstrategie, levert het een krachtig alternatief voor de huidige markt, specifiek ontworpen voor de Europese en Italiaanse context.