Index SLM Technical Report
Bilibili stellt Index-1.9B vor, eine Serie offener kleiner Sprachmodelle mit einer 1,9 Milliarden Parametern umfassenden Basis, die auf 2,8 Billionen Token mit einem spezialisierten Warmup-Stable-Decay-Schema und einer Norm-Head-Schicht trainiert wurde, was eine wettbewerbsfähige Leistung bei Standard-Benchmarks erzielt und Varianten für reines Pre-Training, Chat-Alignment sowie charakterbasiertes Rollenspiel umfasst.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen ein winziges, superintelligentes Robotergehirn, das in Ihre Hosentasche passt. Die meisten Menschen denken, dass größere Gehirne immer besser sind, aber ein Team bei Bilibili hat beschlossen auszuprobieren, ob sie ein 1,9-Milliarden-Parameter-Modell (Index-1.9B nennen wir es) erschaffen können, das weit über sein Gewicht hinaus spielt. Sie haben nicht einfach nur ein riesiges Modell geschrumpft; sie haben den Motor von Grund auf neu gebaut, indem sie 2,8 Billionen Wörter an Lesestoff verwendet haben, hauptsächlich auf Chinesisch und Englisch.
Hier ist die Geschichte darüber, wie sie es gemacht haben, was sie herausgefunden haben und welche seltsamen Überraschungen ihnen auf dem Weg begegnet sind.
Die Geheimzutat: Wie sie das Gehirn trainierten
1. Die Leseliste (Daten)
Betrachten Sie die Trainingsdaten als die Bibliothek des Roboters. Sie haben nicht einfach das ganze Internet hineingekippt. Sie haben es aufgeräumt wie ein Bibliothekar, der einen unordentlichen Dachboden organisiert. Sie entfernten Duplikate (sie fanden sogar eine Liste von Monatsnamen, die versehentlich 156.000 Mal kopiert worden war!) und filterten Voreingenommenheiten heraus.
- Der Mix: Die Bibliothek besteht hauptsächlich aus Büchern und Webseiten, aber sie stellten sicher, dass 6 % Code und 10 % hochwertige Inhalte wie akademische Arbeiten und Enzyklopädien enthalten waren.
- Die Überraschung: Sie fanden heraus, dass das Lesen von „Anleitungen“ (wie „Schreibe ein Gedicht“ oder „Löse dieses Matheproblem“) während der letzten Trainingsphase den Roboter in Tests viel klüger aussehen ließ. Tatsächlich steigerte das Hinzufügen von nur 7 % dieser Instruktionsdaten die Testergebnisse um etwa 7 Punkte. Sie veröffentlichten sogar zwei Versionen des Roboters – eine mit diesem zusätzlichen Lesestoff und eine ohne – damit jeder genau sehen konnte, wie viel es geholfen hatte.
2. Die Gehirnstruktur (Architektur)
Normalerweise, wenn man eine feste Menge an „Gehirnleistung“ (Parametern) hat, kann man das Gehirn breit machen (viele Neuronen in einer Schicht) oder tief (viele übereinander gestapelte Schichten).
- Das Ergebnis: Das Team probierte ein „tiefes und schmales“ Design (36 Schichten) gegen ein „breites und flaches“ Design (9 Schichten) aus. Das tiefe Design gewann jedes Mal. Es ist, als würde man einen Wolkenkratzer bauen statt eines breiten, flachen Lagerhauses; für diese Größe funktionierte das „Nach-oben-gehen“ besser als das „Nach-außen-gehen“.
- Der Stabilisator: Sie fügten auch eine spezielle „Norm-Head“-Schicht hinzu. Stellen Sie sich vor, das Gehirn des Roboters wird ein wenig schwindelig, wenn es versucht, das nächste Wort vorherzusagen, weil einige Wörter selten sind. Diese neue Schicht wirkt wie ein Stabilisator, der das Gehirn ruhig hält, selbst wenn der Roboter lernt, extrem schnell.
3. Der Lernplan (Die „WSD“-Methode)
Die meisten Roboter lernen in einem stetigen Tempo oder werden allmählich langsamer. Index-1.9B nutzt einen „Warmup–Stable–Decay“-Plan (Aufwärmen–Stabil–Abklingen).
- Die Strategie: Zuerst wärmt er sich auf. Dann lernt er mit einer konstanten, hohen Geschwindigkeit (die „Stable“-Phase), während er die gesamte Bibliothek liest. Schließlich, in der „Decay“-Phase, wird er langsamer, wechselt aber dazu, nur die besten, kuratierten Bücher zu lesen (die akademischen Arbeiten und Enzyklopädien).
- Das Resultat: Diese Kombination aus Verlangsamen bei gleichzeitigem Lesen hochwertiger Daten gab ihm den größten Leistungsschub.
Die seltsame Überraschung: Der „Surge“
Dies ist der Teil, den selbst die Autoren noch nicht ganz erklären können.
Während der „Stable“-Phase, als der Roboter mit konstanter Geschwindigkeit las, passierte etwas Seltsames. Zwischen 1,0 und 1,2 Billionen Token des Lesens sprang die Testleistung des Roboters plötzlich nach oben. Er entwickelte sich von durchschnittlich zu einem Modell, das eine Reihe von 7B-Modellen übertraf, und das alles, ohne dass sich die Lerngeschwindigkeit oder die Art der Daten geändert hätte.
- Die Gewissheit: Das Paper gibt zu, dass dies ein Mysterium ist. Sie vermuten, dass vielleicht die hochwertigen Daten zusammen mit der hohen Lernrate in diesem Moment einfach „geklappt“ haben, aber sie haben nicht bewiesen, warum genau das der Fall war. Es ist, als würde ein Schüler plötzlich alles verstehen, nachdem er ein bestimmtes Kapitel gelesen hat, obwohl der Lehrer den Unterrichtsplan nicht geändert hat.
Die verschiedenen Versionen des Roboters
Das Team blieb nicht bei nur einem Modell stehen. Sie veröffentlichten eine ganze Familie:
- Index-1.9B-Base: Das rohe, kluge Gehirn, bereit für alles.
- Index-1.9B-Pure: Eine Kontrollversion, die niemals Anleitungen gelesen hat. Dies beweist, dass die „klugen“ Scores des Hauptmodells wirklich von diesem zusätzlichen Lesen kommen.
- Index-1.9B-Chat: Das Base-Modell, das darauf trainiert wurde, nett mit Menschen zu sprechen, unter Verwendung einer Technik namens „Direct Preference Optimization“ (DPO). Das ist so, als würde man dem Roboter nicht nur beibringen, zu antworten, sondern gut zu antworten, indem man ihm Beispiele für gute gegenüber schlechten Gesprächen zeigt.
- Index-1.9B-Character: Eine Version, die Rollenspiele beherrscht. Sie nutzt einen „Retrieval“-Trick, bei dem sie vergangene Gespräche mit einem bestimmten Charakter abruft, um in der Rolle zu bleiben. Sie ist so gut darin, dass sie bei Rollenspiel-Tests besser abschneidet als viele viel größere Modelle.
Was es (und was es nicht) kann
Die Erfolge:
- Intelligenz: In Standardtests für Mathematik, logisches Denken und Allgemeinwissen erzielt Index-1.9B im Durchschnitt 64,92. Das ist konkurrenzfähig mit, und manchmal besser als, Modellen, die um ein Vielfaches größer sind. Speziell übertrifft es das Llama-2-13B-Modell im Gesamtdurchschnitt, auch wenn es nicht gegen jedes einzelne Benchmark gegen jedes größere Modell gewinnt.
- Sprache: Es ist großartig in Chinesisch und Englisch. Zusätzlich erreicht der von ihnen für das Modell entwickelte Tokenizer die stärksten Kompressionsraten für Japanisch und Koreanisch unter den verglichenen Tokenizern, was es für diese Sprachen effizient macht.
- Rollenspiel: Es kann Charaktere mit hoher Konsistenz verkörpern und belegt den 9. Platz in einem großen Leaderboard, womit es viele 7B- bis 14B-Modelle schlägt.
Die Grenzen:
- Mathe und Code: Obwohl es ordentlich ist, geben die Autoren zu, dass dies immer noch Bereiche sind, die verbessert werden müssen. Es ist noch kein Mathe-Genie.
- Fakten: Da es klein ist, kann es immer noch Fakten erfinden oder komplexe Anweisungen missverstehen.
- Das Mysterium: Dieser plötzliche Leistungssprung während des Trainings? Sie wissen immer noch nicht genau, warum er geschah.
Das Fazkurt
Das Paper zeigt, dass man kein massives, teures Gehirn braucht, um klug zu sein. Wenn man einem kleinen Roboter die richtige Mischung aus hochwertigen Büchern füttert, ihm beibringt, tief statt breit zu lesen, und ihm einen speziellen Stabilisator für sein Gehirn gibt, kann er mit den Giganten konkurrieren. Sie haben auch bewiesen, dass „Instruktionsdaten“ (das Lernen, Befehlen zu folgen) ein riesiger Cheat-Code für Testergebnisse sind, und sie haben die Beweise veröffentlicht, damit niemand die Tatsache verbergen kann.
Es ist ein kleines Modell mit einer großen Persönlichkeit, ein paar offenen Fragen und einer Menge Potenzial.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.