A Sovereign, Open-Source Foundation Model for German and English
Het artikel introduceert Soofi S 30B-A3B, een soeverein, open-source Mixture-of-Experts hybride Mamba Transformer-model dat is getraind op 27 biljoen tokens met een focus op Duits en Engels, wat staat op het gebied van state-of-the-art prestaties onder open modellen terwijl het superieure inferentie-efficiëntie biedt voor long-context toepassingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de ultieme tweetalige robotchef probeert te bouwen die zowel in het Engels als in het Duits een storm kan koken. De meeste mensen denken dat het geheim van een goede chef simpelweg het inhuren van een grotere keuken met meer koks (meer parameters) is. Maar het team achter Soofi S ontdekte een andere truc: in plaats van 30 miljard koks in te huren, huurden ze een piepklein, hyperefficiënt team van slechts 3 miljard actieve koks in die ongelooflijk snel zijn in het schakelen tussen taken, terwijl ze de andere 27 miljard behouden als een enorme, stille bibliotheek van recepten waar ze direct uit kunnen putten.
Dit is niet alleen een theorie; het is een volledig gebouwde, open-source robotchef genaamd Soofi S 30B-A3B die de auteurs daadwerkelijk hebben getraind en getest. Hier is het verhaal van hoe ze het deden, wat het kan en waar het nog steeds een paar hobbels op de weg heeft.
Het Geheime Sausje: Een Hybride Keuken
De meeste AI-modellen zijn als een dichte menigte mensen waarbij iedereen moet schreeuwen om gehoord te worden, wat rommelig en traag wordt wanneer de kamer enorm groot wordt (lange gesprekken). Soofi S is anders. Het gebruikt een hybride ontwerp dat twee soorten "koks" mengt:
- Mamba-2 Lagen: Denk aan deze als de chefs die het hele verhaal in hun hoofd onthouden zonder het op te hoeven schrijven. Ze hebben geen gigantisch notitieboek nodig (een zogenaamde "KV cache") dat zwaarder en zwaarder wordt naarmate het verhaal langer wordt.
- MoE (Mixture of Experts): Dit is het "3 miljard actieve" deel. Van de in totaal 31,6 miljard parameters wordt er slechts 3,2 miljard "wakker gemaakt" voor elk woord dat het genereert.
Het resultaat? Wanneer je dit model vraagt om een boek van 1 miljoen woorden te lezen, vertraagt het niet. Terwijl andere modellen traag worden omdat ze een zwaar notitieboek moeten meeslepen, houdt Soofi S zijn snelheid constant. De auteurs hebben dit gemeten en vonden dat bij een contextlengte van 40.000 tokens (ongeveer 30.000 woorden), Soofi S 8 tot 9 keer sneller was bij het genereren van tekst dan andere dense modellen van vergelijkbare grootte.
Het Recept: Focus op Duits-Engels
Het team heeft niet zomaar willekeurige internetteksten in de pan gegooid. Ze volgden een strikt, driefasig recept dat ontworpen is om het model een kampioen te maken in Duits en Engels specif으로, in plaats van een middelmatige chef voor 100 talen.
- Fase 1 (De Grote Mix): Ze begonnen met een enorme hoeveelheid van 20 biljoen tokens aan diverse data. Ze zorgden er bewust voor dat Duits niet slechts een bijgerecht was; ze verhoogden het naar 7,2% van de mix (vergeleken met de gebruikelijke 5% in andere modellen).
- Fase 2 (De Hoogwaardige Annealing): Naarmate het model slimmer werd, schakelden ze over naar een "hoogwaardig" dieet. Ze verwijderden het junkfood en concentreerden zich op de beste code, wiskunde en redeneerdata. Hier verhoogden ze het Duitse deel zelfs nog verder, naar 15,3% van de mix.
- Fase 3 (De Lange Verhalen Extensie): Ten slotte leerden ze het model hoe het heel lange verhalen moet afhandelen, door het te trainen op data variërend van 4.000 tot 1 miljoen tokens lang.
De auteurs zijn zeer transparant over hun ingrediënten: ze brachten de exacte lijst met ingrediënten uit, inclusief hoe vaak ze bepaalde hoogwaardige recepten hebben herhaald (epochs) en welke ze juist niet hebben gebruikt. Ze geven zelfs toe dat ongeveer 1,3% van hun Duitse data afkomstig is van een commercieel gelicentieerde bron (Genios) waarvan ze de ruwe tekst niet kunnen delen, maar ze leverden de exacte statistieken zodat iedereen de mix kan auditeren.
De Proeverij: Hoe Goed Is Het?
Het team heeft Soofi S een rigoureuze proeverij onderworpen tegenover 16 andere open modellen, waaronder reuzen zoals Olmo 3 32B, Apertus 70B en Qwen3.5 35B.
- De Grote Overwinning: Soofi S werd de top performer onder de volledig open modellen voor zowel Engels als Duits. Het versloeg elk Europees soeverein baseline-model dat ze testten, vaak met enorme marges. Bijvoorbeeld, op Duitse code-benchmarks scoorde het een 84,2 op MBPP-DE, waarmee het de volgende beste met een ruime marge versloeg.
- Het "Actieve" Voordeel: Ondanks dat het slechts 3 miljard parameters tegelijk activeert, kwam het overeen met of versloeg het dense modellen die 14 tot 27 miljard actieve parameters hebben. Het is alsoals een lichte hardloper die een zwaargewicht bokser verslaat in een sprint.
- Het "Open" Voordeel: In tegenstelling tot veel "open" modellen die alleen de uiteindelijke gewichten (het bereide gerecht) delen maar het recept verbergen, deelt Soofi S de gewichten, de code, de hyperparameters en de exacte data-verantwoording.
De Hobbelige Weg (Beperkingen)
De auteurs zijn eerlijk over de punten waar de robotchef nog wel eens struikelt:
- Duitse Wiskunde: Hoewel het geweldig is in Duitse basisschoolwiskunde (scorend met 87,1 op GSM8K-Platinum-DE), blijft het achter op moeilijkere, competitieve Duitse wiskunde (scorend met 56,0 op Minerva MATH-DE), waarbij het achterblijft bij modellen zoals Qwen3.5.
- Geheugenherinnering: Omdat het slechts 3 miljard actieve parameters heeft, worstelt het soms met het herinneren van obscure feiten uit de open wereld (scorend met 79,0 op NaturalQuestions), terwijl grotere, dense modellen meer onthouden. De auteurs suggereren dat je het in de praktijk zou kunnen koppelen aan een zoekmachine om dit op te lossen.
- Code Contaminatie: Op een specifieke code-benchmark genaamd LBPP (die test of het model simpelweg trainingsdata heeft onthouden), scoorde het 31,0, wat lager is dan bij sommige grotere modellen.
Het Oordeel
Soofi S bewijst dat je geen massief, traag, dicht brein nodig hebt om een topniveau AI te zijn. Door een hybride Mamba-Transformer ontwerp te gebruiken en zich intensief te richten op Duits en Engels, heeft het team een model gebouwd dat soeverein is (gebouwd op Duitse bodem met Duitse financiering), open (volledig transparant) en efficiënt (snel en goedkoop in gebruik).
Het is geen wondermiddel dat alles oplost — vooral niet in moeilijke Duitse wiskunde of pure feitenherinnering — maar voor lange gesprekken, coderen en tweetalige taken, zet het een nieuwe standaard voor wat een "soeverein" Europees model kan bereiken. De auteurs suggereren dat dit model nog beter kan worden met meer hoogwaardige Duitse data, maar voor nu is het het sterkste volledig open Duitse-Engelse basismodel dat ze hebben getest.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.