💬 NLP

Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts

Die Arbeit stellt Nanbeige4.1-3B vor, ein 3-Milliarden-Parameter-Open-Source-Modell, das durch fortschrittliche Belohnungsmodellierung und Turn-Level-Supervision erstmals gleichzeitig starke Agentenfähigkeiten, Code-Generierung und komplexes Schlussfolgern vereint und dabei größere Modelle übertrifft.

Ursprüngliche Autoren: Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

Veröffentlicht 2026-02-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen kleinen, aber unglaublich talentierten Helfer in deinem Kopf. Normalerweise denken wir, dass nur riesige, schwerfällige Supercomputer (die sogenannten "großen Modelle") wirklich klug sein können. Sie sind wie ein Ozean aus Wissen, aber sie brauchen viel Zeit und Energie, um zu arbeiten.

Das Team von Nanbeige hat nun einen kleinen, flinken Helfer namens Nanbeige4.1-3B vorgestellt. Er hat nur "3 Milliarden Parameter" (das ist wie sein Gehirnkapazität). Das klingt klein im Vergleich zu den Giganten, aber dieser kleine Helfer ist ein Universal-Talent, das drei Dinge gleichzeitig perfekt kann:

Er ist ein genialer Rätsellöser (Logik & Mathematik).
Er ist ein Code-Zauberer (Programmieren).
Er ist ein erfahrener Detektiv (Er kann das Internet durchsuchen, Werkzeuge benutzen und komplexe Aufgaben über viele Schritte hinweg lösen).

Hier ist die Geschichte, wie sie das geschafft haben, einfach erklärt:

1. Das Problem: Der "Ein-Spezialist"-Effekt

Bisher waren kleine KI-Modelle wie ein Schweizer Taschenmesser mit nur einem Werkzeug. Entweder konnten sie gut Mathe, aber nicht programmieren. Oder sie konnten gut suchen, aber dann vergaßen sie, wie man höflich antwortet. Sie waren oft "zerklüftet": Gut in einem Bereich, schlecht in anderen.

Die Frage war: Kann ein kleines Modell wirklich ein Alleskönner werden, ohne dabei seine Stärken zu verlieren?

2. Die Lösung: Ein dreifacher Trainingsplan

Die Forscher haben Nanbeige4.1 nicht einfach nur mit mehr Daten gefüttert. Sie haben ihm eine spezielle "Schulung" gegeben, die aus drei Phasen bestand:

Phase A: Der Grundstein (SFT - Supervised Fine-Tuning)

Stell dir vor, Nanbeige lernt in einer Bibliothek.

Früher: Er las nur einfache Bücher.
Jetzt: Die Forscher haben ihm schwierigere Aufgaben gegeben. Sie haben ihm mehr Programmieraufgaben und knifflige Mathe-Rätsel gezeigt.
Der Trick: Sie haben ihm auch beigebracht, lange Texte zu lesen (bis zu 256.000 Wörter auf einmal!). Das ist wie wenn man einem Schüler nicht nur eine Seite, sondern ein ganzes Buch auf einmal gibt, damit er den Zusammenhang versteht, wenn er später eine komplexe Geschichte erzählen muss.

Phase B: Der strenge Lehrer (Reinforcement Learning - RL)

Hier wird es spannend. Ein KI-Modell zu trainieren ist wie einen Hund zu dressieren, aber mit sehr spezifischen Regeln.

Punkt-basiertes Belohnungssystem (Point-wise RL):
Stell dir vor, Nanbeige schreibt eine Antwort. Ein "Richter" (ein Reward Model) schaut sie sich an und sagt: "Das war zu langweilig" oder "Das war zu wiederholend". Nanbeige lernt daraus: "Aha, ich muss präziser und kürzer sein." Das entfernt das "Geplapper" der KI.
Vergleichs-basiertes Belohnungssystem (Pair-wise RL):
Jetzt kommt der echte Clou. Der Richter zeigt Nanbeige zwei Antworten: Eine von einem schwachen Modell und eine von einem starken Modell. Er fragt: "Welche ist besser?" Nanbeige lernt nicht nur, was richtig ist, sondern was Menschen bevorzugen. Er lernt den Unterschied zwischen "technisch korrekt" und "wirklich hilfreich".

Phase C: Der Code-Optimierer (Speziell für Programmieren)

Wenn Nanbeige Code schreibt, reicht es nicht, dass er funktioniert. Er muss auch schnell sein.

Die Metapher: Stell dir vor, Nanbeige soll einen Weg durch einen Wald finden.
- Früher: Er fand einen Weg, der funktioniert, aber er lief 100 km um einen Hügel herum.
- Jetzt: Das Training belohnt ihn nur, wenn er den kürzesten und schnellsten Weg findet. Wenn er einen Weg findet, der funktioniert, aber ineffizient ist, bekommt er keine Punkte. So lernt er, "clevere" Algorithmen zu schreiben, nicht nur "funktionierende".

Phase D: Der Detektiv (Deep Search)

Das ist vielleicht das Beeindruckendste. Kleine Modelle geben normalerweise schnell auf, wenn sie eine Aufgabe haben, die viele Schritte braucht (z. B. "Finde heraus, welcher Wissenschaftler eine Firma in diesem Sektor gegründet hat, indem du 50 Webseiten durchsuchst").

Das Training: Nanbeige wurde trainiert, wie ein Detektiv mit einem Notizbuch. Er darf nicht nur einen Schritt machen. Er lernt, über 600 Schritte hinweg zu planen. Er lernt, wann er suchen muss, wann er eine Information verwirft und wann er den nächsten Schritt plant.
Das Ergebnis: Er kann Aufgaben lösen, bei denen andere kleine Modelle nach 2 Schritten die Hände in den Schoß legen. Er ist so gut, dass er mit Modellen mithalten kann, die 100-mal größer sind.

3. Die Ergebnisse: Der kleine Riese

Die Tests zeigen etwas Erstaunliches:

Nanbeige4.1-3B schlägt andere kleine Modelle (wie Qwen3-4B) deutlich.
Er ist sogar besser als einige riesige Modelle (wie Qwen3-30B oder sogar Teile des 80B-Modells) in Bereichen wie Programmieren und Logik.
In echten Programmierwettbewerben (LeetCode) landete er auf dem 1. Platz, während größere Modelle nur 3. oder 4. wurden.

Fazit

Die Forscher haben bewiesen, dass Größe nicht alles ist. Wenn man ein kleines Modell intelligent trainiert (mit den richtigen Belohnungen, dem Fokus auf Effizienz und dem Training für lange Aufgaben), kann es ein Allrounder werden, der mit den Giganten mithalten kann.

Es ist, als würde man einen kleinen, flinken Rennwagen bauen, der nicht nur schneller ist als ein schwerer LKW, sondern auch noch besser im Kurvenfahren und im Tanken ist. Nanbeige4.1-3B ist dieser Rennwagen: klein, aber extrem leistungsfähig.

Titel: Nanbeige4.1-3B: Ein kleines allgemeines Modell, das schlussfolgert, ausrichtet und agiert

1. Problemstellung

Trotz der beeindruckenden Fortschritte bei kleinen Sprachmodellen (SLMs) in spezialisierten Bereichen wie Mathematik oder Code-Generierung bleiben diese Modelle oft fragmentiert.

Herausforderung: Reasoning-fokussierte Modelle scheitern häufig an langfristigen Interaktionen (z. B. Deep Search), während spezialisierte Agenten- oder Code-Modelle oft über keine robusten allgemeinen Schlussfolgerungsfähigkeiten (z. B. kreative Schreibweise oder menschliche Präferenz-Ausrichtung) verfügen.
Ziel: Die Entwicklung eines einheitlichen Generalisten-Modells im Bereich von 3 Milliarden Parametern, das gleichzeitig starke Fähigkeiten in logischem Denken, Code-Generierung und agentischem Verhalten (Tool-Nutzung) vereint, ohne dabei die Stärken in einzelnen Domänen zu opfern.

2. Methodik

Das Nanbeige4.1-3B-Modell baut auf dem Vorgänger Nanbeige4-3B-Base auf und nutzt eine strukturierte Nachtrainings-Pipeline, die aus umfangreichem Supervised Fine-Tuning (SFT) und mehrstufigem Reinforcement Learning (RL) besteht.

A. Generalisierungsfähigkeiten (Reasoning & Alignment)

SFT-Optimierung: Die Datenmischung wurde neu gestaltet, um mehr Code-Daten und schwierige Probleme in Mathematik und allgemeinen Domänen zu integrieren. Der Kontext wurde von 32k auf 256k Token erweitert, um komplexe Szenarien zu unterstützen.
Punktweise RL (Point-wise RL): Um Redundanzen und Formatierungsfehler zu reduzieren, wurde ein Reward-Modell auf menschlichen Präferenzdaten trainiert. Dies unterdrückt redundante Antworten und verbessert die Lesbarkeit.
Paarweise RL (Pair-wise RL): Um die Grenzen der Datenmenge für punktweise Modelle zu überwinden, wurde ein paarweises Reward-Modell eingeführt, das Vergleiche zwischen starken und schwachen Modellen nutzt. Dies schärft die Präferenzgrenzen und verbessert die Ausrichtung in Multi-Turn-Dialogen erheblich.

B. Deep-Search-Fähigkeiten (Agentisches Verhalten)

Datenkonstruktion: Es wurde eine große Skala an komplexen Suchdaten generiert, basierend auf Entity-Relation-Graphen aus Wikipedia (mit Random Walks) und zeitbewussten Fragen.
Trajektorien-Synthese: Anstatt nur Endantworten zu trainieren, wurde eine Turn-level-Supervision eingeführt. Ein Kritiker-Modell bewertet jeden Schritt einer Interaktion auf logische Stimmigkeit, Tool-Call-Genauigkeit und Informationsgewinn.
Training: Das Modell lernt, über Hunderte von Schritten (bis zu 600 Tool-Aufrufe) zu planen und zu agieren, was für ein 3B-Modell bisher unüblich war.

C. Code-Generierungsfähigkeiten

Zweistufiges RL:
1. Korrektheits-Stufe: Optimierung der Pass-Rate (Funktionalität).
2. Effizienz-Stufe: Einführung eines zeitabhängigen Rewards (Time-Complexity Reward). Dieser wird nur aktiviert, wenn die Lösung vollständig korrekt ist. Ein spezielles "Judge"-System vergleicht die Zeitkomplexität der generierten Lösung mit einem optimalen Referenzwert.
Ergebnis: Das Modell lernt nicht nur funktionierenden Code, sondern auch algorithmisch effiziente Lösungen (z. B. Reduktion von $O(N \log N)$ auf $O(N)$ ).

3. Wichtige Beiträge

Erstes Open-Source 3B-Modell mit voller Generalisten-Fähigkeit: Es ist das erste SLM, das Reasoning, Code und Agenten-Verhalten in einem einzigen Modell vereint.
Hybride Reward-Architektur: Die Kombination aus punktweisen und paarweisen Reward-Modellen sowie die Integration von Zeitkomplexitäts-Rewards für Code setzen neue Standards für das Training kleiner Modelle.
Deep-Search bei kleinem Maßstab: Das Modell demonstriert Deep-Search-Fähigkeiten, die sonst nur Modellen im Bereich von 100+ Milliarden Parametern oder spezialisierten Such-Agenten vorbehalten waren. Es kann komplexe Suchaufgaben über lange Horizonte hinweg zuverlässig lösen.
Open-Source-Datensatz: Der Paper veröffentlichte den synthetischen Deep-Search-Datensatz ("ToolMind-Web-QA") auf HuggingFace, um die Forschung zu unterstützen.

4. Ergebnisse

Die experimentellen Ergebnisse zeigen, dass Nanbeige4.1-3B Modelle ähnlicher Größe (z. B. Qwen3-4B) und sogar deutlich größere Modelle (bis zu 30B und 80B Parametern) in vielen Bereichen übertrifft:

Allgemeine Benchmarks: Überlegenheit bei Code (LiveCodeBench), Mathematik (IMO, HMMT) und Ausrichtung (Arena-Hard V2).
Deep Search: Das Modell erreicht State-of-the-Art-Ergebnisse auf Benchmarks wie GAIA (69.90 vs. ~30 bei anderen kleinen Modellen) und xBench-DeepSearch-05 (75.00). Es konkurriert hier mit 30B-Modellen und großen Foundation-Modellen (100B+).
Reale Herausforderungen: In LeetCode-Wettbewerben erreichte das Modell eine Bestehensquote von 85,0 % (17 von 20 Aufgaben) und belegte in virtuellen Teilnahmen Plätze 1 und 3, was seine überlegene algorithmische Fähigkeit unterstreicht.

5. Bedeutung und Fazit

Nanbeige4.1-3B widerlegt die Annahme, dass kleine Modelle zwangsläufig Kompromisse bei der Vielseitigkeit oder der Fähigkeit zu langfristiger Planung eingehen müssen.

Paradigmenwechsel: Es zeigt, dass durch gezieltes Training (insbesondere die Kombination von SFT, Point-wise/Pair-wise RL und komplexitätsbewusstem Code-RL) 3B-Modelle sowohl breite Kompetenz als auch starke Spezialisierung erreichen können.
Effizienz: Das Modell bietet eine kosteneffiziente Alternative zu riesigen Modellen für komplexe Agenten-Aufgaben, Deep Search und Code-Generierung.
Zukunft: Die Arbeit legt den Grundstein für weitere Forschung an kompakten, agentenfähigen Modellen, die mit weniger Parametern und geringeren Rechenkosten vergleichbare Leistungen erbringen.

Das Modell ist unter https://huggingface.co/Nanbeige/Nanbeige4.1-3B verfügbar.