A Sovereign, Open-Source Foundation Model for German and English
Das Papier stellt Soofi S 30B-A3B vor, ein souveränes, Open-Source-Mixture-of-Experts-Hybrid-Mamba-Transformer-Modell, das auf 27 Billionen Token mit einem Fokus auf Deutsch und Englisch trainiert wurde, eine State-of-the-Art-Leistung unter den Open-Modellen erreicht und gleichzeitig eine überlegene Inferenz-Effizienz für Long-Context-Anwendungen bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, den ultimativen bilingualen Roboter-Koch zu bauen, der sowohl auf Englisch als auch auf Deutsch ein wahres Gewitter an Gerichten zaubern kann. Die meisten Menschen denken, das Geheimnis eines großartigen Kochs sei es einfach, eine größere Küche mit mehr Köchen einzustellen (mehr Parameter). Aber das Team hinter Soofi S hat einen anderen Trick entdeckt: Anstatt 30 Milliarden Köche einzustellen, hat es ein winziges, hocheffizientes Team von nur 3 Milliarden aktiven Köchen eingestellt, die unglaublich schnell darin sind, Aufgaben zu wechseln, während die anderen 27 Milliarden als eine massive, stille Rezeptbibliothek dienen, aus der sie sofort schöpfen können.
Dies ist nicht nur eine Theorie; es ist ein voll ausgebauter, Open-Source-Roboter-Koch namens Soofi S 30B-A3B, den die Autoren tatsächlich trainiert und getestet haben. Hier ist die Geschichte, wie sie es gemacht haben, was es kann und wo es noch ein paar Schlaglöcher auf der Straße gibt.
Die Geheimzutat: Eine hybride Küche
Die meisten KI-Modelle sind wie eine dichte Menge von Menschen, bei denen jeder schreien muss, um gehört zu werden, was unordentlich und langsam wird, wenn der Raum riesig wird (lange Konversationen). Soofi S ist anders. Es verwendet ein Hybrid-Design, das zwei Arten von „Köchen“ mischt:
- Mamba-2-Layer: Betrachten Sie diese als die Köche, die die ganze Geschichte im Kopf behalten, ohne sie aufschreiben zu müssen. Sie benötigen kein riesiges Notizbuch (einen sogenannten „KV-Cache“), das immer schwerer wird, je länger die Geschichte wird.
- MoE (Mixture of Experts): Dies ist der „3 Milliarden aktive“-Teil. Von insgesamt 31,6 Milliarden Parametern aktiviert das Modell für jedes einzelne Wort, das es generiert, nur 3,2 Milliarden.
Das Ergebnis? Wenn Sie dieses Modell bitten, ein Buch zu lesen, das 1 Million Wörter lang ist, wird es nicht langsamer. Während andere Modelle träge werden, weil sie ein schweres Notizbuch mit sich herumtragen müssen, hält Soofi S seine Geschwindigkeit konstant. Die Autoren haben dies gemessen und festgestellt, dass Soofi S bei einer Kontextlänge von 40.000 Token (etwa 30.000 Wörtern) beim Generieren von Text 8- bis 9-mal schneller war als andere dichte Modelle ähnlicher Größe.
Das Rezept: Fokus auf Deutsch-Englisch
Das Team hat nicht einfach wahllosen Internettext in den Topf geworfen. Sie folgten einem strengen, dreiphasigen Rezept, das darauf ausgelegt war, das Modell speziell zu einem Champion in Deutsch und Englisch zu machen, anstatt eines mittelmäßigen Kochs für 100 Sprachen.
- Phase 1 (Der große Mix): Sie begannen mit einer massiven Menge von 20 Billionen Token an diversen Daten. Sie haben bewusst sichergestellt, dass Deutsch nicht nur eine Beilage war; sie haben den Anteil auf 7,2 % der Mischung erhöht (im Vergleich zu den üblichen 5 % in anderen Modellen).
- Phase 2 (Das hochwertige Annealing): Als das Modell klüger wurde, wechselten sie zu einer „hochwertigen“ Diät. Sie entfernten das Junkfood und konzentrierten sich auf die besten Code-, Mathe- und Reasoning-Daten. Hier steigerten sie den deutschen Anteil sogar noch höher, auf 15,3 % der Mischung.
- Phase 3 (Die Erweiterung für lange Geschichten): Schließlich lehrten sie das Modell, wie man sehr lange Geschichten handhabt, indem sie es auf Daten trainierten, die von 4.000 bis 1 Million Token lang waren.
Die Autoren sind sehr transparent über ihre Zutatenliste: Sie haben die exakte Liste der Zutaten veröffentlicht, einschließlich der Anzahl der Male, die sie bestimmte hochwertige Rezepte (Epochen) wiederholt haben, und welche sie sich dagegen entschieden haben zu verwenden. Sie geben sogar zu, dass etwa 1,3 % ihrer deutschen Daten aus einer kommerziell lizenzierten Quelle (Genios) stammen, deren Rohtext sie nicht teilen können, aber sie haben die exakten Statistiken bereitgestellt, damit jeder die Mischung prüfen kann.
Der Geschmackstest: Wie gut ist es?
Das Team unterzog Soofi S einem strengen Geschmackstest gegen 16 andere Open-Models, darunter Giganten wie Olmo 3 32B, Apertus 70B und Qwen3.5 35B.
- Der große Sieg: Soofi S wurde zum Top-Performer unter den voll offenen Modellen sowohl für Englisch als auch für Deutsch. Es schlug jedes getestete europäische souveräne Baseline-Modell, oft mit riesigen Abständen. Zum Beispiel erreichte es bei deutschen Code-Benchmarks einen Wert von 84,2 auf MBPP-DE und übertraf damit den nächstbesten deutlich.
- Der „aktive“ Vorteil: Obwohl es immer nur 3 Milliarden Parameter aktiviert, erreichte es die Werte von oder übertraf dichte Modelle, die 14 bis 27 Milliarden aktive Parameter haben. Es ist wie ein leichter Läufer, der einen Schwergewichtsboxer im Sprint besiegt.
- Der „Open“-Vorteil: Im Gegensatz zu vielen „Open“-Modellen, die nur die fertigen Gewichte (das gekochte Gericht) teilen, aber das Rezept verbergen, teilt Soofi S die Gewichte, den Code, die Hyperparameter und die exakte Datenabrechnung.
Die Schlaglöcher auf der Straße (Einschränkungen)
Die Autoren sind ehrlich darüber, wo der Roboter-Koch noch stolpert:
- Deutsche Mathematik: Während es großartig in deutscher Grundschulmathematik ist (Punktzahl 87,1 auf GSM8K-Platinum-DE), fällt es bei schwierigerer Wettbewerbsmathematik zurück (Punktzahl 56,0 auf Minerva MATH-DE) und liegt hinter Modellen wie Qwen3.5 zurück.
- Gedächtnisabruf: Da es nur 3 Milliarden aktive Parameter hat, hat es manchmal Schwierigkeiten, obskure Fakten aus der Außenwelt abzurufen (Punktzahl 79,0 auf NaturalQuestions), während größere, dichtere Modelle sich mehr merken. Die Autoren schlagen vor, dass man es im echten Leben mit einer Suchmaschine koppeln sollte, um dies zu beheben.
- Code-Kontamination: Bei einem spezifischen Code-Benchmark namens LBPP (der testet, ob das Modell nur Trainingsdaten auswendig gelernt hat) erreichte es 31,0, was niedriger ist als bei einigen größeren Modellen.
Das Urteil
Soofi S beweist, dass man kein massives, langsames, dichtes Gehirn braucht, um ein erstklassiges KI-Modell zu sein. Durch die Verwendung eines hybriden Mamba-Transformer-Designs und die intensive Konzentration auf Deutsch und Englisch hat das Team ein Modell gebaut, das souverän (auf deutschem Boden mit deutscher Förderung entwickelt), offen (vollständig transparent) und effizient (schnell und günstig im Betrieb) ist.
Es ist kein Zaubermittel, das alles löst – insbesondere nicht bei schwieriger deutscher Mathematik oder reinem Faktenabruf –, aber für lange Konversationen, Coding und bilinguale Aufgaben setzt es einen neuen Standard dafür, was ein europäisches „souveränes“ Modell erreichen kann. Die Autoren schlagen vor, dass dieses Modell mit noch mehr hochwertigen deutschen Daten noch besser werden könnte, aber für den Moment ist es das stärkste voll offene Deutsch-Englisch-Basismodell, das sie getestet haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.