Sumi: Open Uniform Diffusion Language Model from Scratch
Das Papier stellt Sumi vor, ein vollständig offenes 7B-Uniform-Diffusion-Sprachmodell, das von Grund auf neu auf 1,5 Billionen Token vortrainiert wurde, welches als erster groß angelegter Referenzpunkt für die Untersuchung von nativer Uniform-Diffusion dient und eine wettbewerbsfähige Leistung in den Bereichen Wissen, logisches Denken und Programmierung demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kernidee: Eine neue Art, mit KI zu schreiben
Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben.
- Der alte Weg (Autoregressive Modelle): Das ist wie das Schreiben mit einem Stift auf Papier. Sie schreiben ein Wort, dann das nächste, dann das nächste. Sobald Sie ein Wort geschrieben haben, ist es fertig. Wenn Sie einen Fehler machen, müssen Sie es durchstreichen oder die ganze Seite neu schreiben. Sie können nicht zurückgehen und das erste Wort ändern, ohne alles zu schreiben, was danach kam.
- Der neue Weg (Sumi / Uniform Diffusion): Stellen Sie sich vor, Sie malen ein Bild auf eine Leinwand, die bereits mit statischem Rauschen bedeckt ist (wie das Schneegestöber beim Fernseher). Anstatt Wort für Wort zu schreiben, betrachten Sie die gesamte Leinwand auf einmal. Sie können jedes beliebige Wort im Satz auswählen, es löschen und durch ein besseres ersetzen. Sie können dies immer wieder tun und die gesamte Geschichte gleichzeitig verfeinern, bis sie perfekt ist.
Die Arbeit stellt Sumi vor (was auf Japanisch „Tinte“ bedeutet), ein 7-Milliarden-Parameter-KI-Modell, das diese „Malmethode“ verwendet. Es ist das erste Mal, dass jemand ein Modell dieser Größe von Grund auf mit dieser speziellen Technik gebaut hat, anstatt nur ein altes „Stift-Schreib“-Modell anzupassen.
Wie sie es gebaut haben: Die „Schul“-Analogie
Um Sumi zu trainieren, haben die Forscher nicht einfach wahllos Internet-Texte hineingekippt. Sie haben ein sehr spezifisches „Schulcurriculum“ erstellt.
- Das Lehrbuch (Pre-training): Sie fütterten das Modell mit 1,3 Billionen Wörtern. Aber sie haben die Daten nicht einfach nur gesammelt. Sie haben die Daten gefiltert, um hochwertige, pädagogische Inhalte zu priorisieren. Denken Sie daran, als gäbe man der KI eine Bibliothek voller Lehrbücher, Enzyklopädien und Code-Handbücher, während man viel lockeren Internet-Chat, Memes oder minderwertige Blogs herausfiltert.
- Das spezialisierte Training (Mid-training): Nach der allgemeinen Schulbildung gaben sie ihr ein „Bootcamp“, das sich auf drei spezifische Fächer konzentrierte: Programmierung, Mathematik und logisches Denken (Reasoning). Sie fügten ihrer Diät noch mehr Code und mathematische Aufgaben hinzu.
- Das Ergebnis: Aufgrund dieser „bildungslastigen“ Diät ist Sumi sehr gut in Wissen, Logik und Programmierung. Da sie jedoch nicht genug „lockere Konversations-Nahrung“ oder „gesunden Menschenverstand“ gegessen hat, hat sie ein wenig Schwierigkeiten mit alltäglichen Fragen des gesunden Menschenverstands (wie „Warum tragen Menschen Regenschirme, wenn es regnet?“).
Die Leistung: Wie gut ist der „Maler“?
Die Forscher testeten Sumi gegen andere berühmte KI-Modelle (wie Llama und Falcon), die die traditionelle „Stift-Schreib“-Methode verwenden.
- Die Siege: In Tests zu Allgemeinwissen, logischem Denken und Programmierung schnitt Sumi genauso gut ab wie die besten „Stift-Schreib“-Modelle, obwohl diese anderen Modelle mit viel mehr Daten trainiert wurden.
- Die Tiefpunkte: Bei Tests, die „gesunden Menschenverstand“ erforderten (wie das Verständnis sozialer Situationen), schnitt Sumi schlechter ab. Die Autoren geben zu, dass dies wahrscheinlich daran liegt, dass ihre Trainingsdaten zu sehr auf Schulfächer und zu wenig auf das tägliche Leben fokussiert waren.
Das „Leinwand“-Experiment: Den Sweet Spot finden
Einer der interessantesten Teile der Arbeit ist, wie sie die „Flexibilität“ des Modells getestet haben.
- Die Leinwandgröße: In dieser KI müssen Sie entscheiden, wie lang der Satz sein wird, bevor Sie mit der Generierung beginnen. Dies wird als „Canvas Length“ (Leinwandlänge) bezeichnet.
- Die Erkenntnis: Sumi funktioniert am besten, wenn die Leinwand genau 2048 Token lang ist.
- Wenn die Leinwand zu kurz ist, wird das Modell verwirrt und schreibt Unsinn.
- Wenn die Leinwand zu lang ist, wird es ebenfalls verwirrt.
- Es ist wie ein Musiker, der ein Lied perfekt spielen kann, wenn die Bühne eine bestimmte Größe hat, aber wenn die Bühne zu klein oder zu groß ist, verliert er seinen Rhythmus.
Das „Commitment“-Rätsel: Wie entscheidet es sich?
Da Sumi jedes Wort jederzeit ändern kann, fragen Sie sich vielleicht: Rät es einfach zufällig, oder hat es einen Plan?
- Die Entdeckung: Die Forscher fanden heraus, dass Sumi keine feste Reihenfolge hat (wie „beginne am Anfang“). Stattdessen nutzt es ein „Konfidenzsystem“.
- Es betrachtet den ganzen Satz und sagt: „Ich bin mir bei diesem Wort ziemlich sicher, also werde ich es festlegen. Ich bin mir bei jenem Wort nicht sicher, also werde ich weiter daran arbeiten.“
- Dies schafft eine natürliche Ordnung, bei der es die einfachen Teile zuerst festlegt und die schwierigen Teile für später aufhebt.
- Parallele Geschwindigkeit: Da es selbstbewusste Wörter zuerst festlegt, kann es tatsächlich mehrere Wörter gleichzeitig schreiben (paralleles Dekodieren) für Programmieraufgaben, was schneller ist als die alte „ein Wort nach dem anderen“-Methode.
Der Mythos der „Selbstkorrektur“
Ein großes Versprechen dieser „Malmethode“ ist, dass die KI in der Lage sein sollte, ihre eigenen Fehler leicht zu korrigieren. Die Forscher testeten dies, indem sie Sumi zusätzliche Zeit gaben, um ihre Antworten zu überarbeiten.
- Das Ergebnis: Überraschenderweise half es nicht. Selbst als man Sumi erlaubte, ihre Antworten mehrmals zu überarbeiten, änderte sie meistens nur ein Wort und änderte es dann wieder in das ursprüngliche zurück. Sie hat während des Generierungsprozesses nicht wirklich „gelernt“, ihre Fehler zu korrigieren. Es scheint, als würde das Modell an eine Grenze stoßen und nicht wissen, wie es eine einmal getroffene Entscheidung verbessern soll.
Zusammenfassung
Sumi ist ein mutiges Experiment, das zeigt, dass wir eine leistungsstarke KI von Grund auf mit einer „Malmethode“ (Uniform Diffusion) anstelle der traditionellen „Schreibmethode“ bauen können.
- Es ist großartig in: Mathematik, Programmierung und Fakten (weil es fleißig gelernt hat).
- Es ist okay in: Gesundem Menschenverstand (weil es den „Spaß“ ausgelassen hat).
- Es ist seltsam bei: Entscheidungen ändern (es kann noch nicht gut selbst korrigieren).
Die Autoren haben das Modell, den Code und das exakte Rezept dessen, womit es gefüttert wurde, veröffentlicht, in der Hoffnung, dass andere Wissenschaftler es nutzen werden, um herauszufinden, wie man diese „Malmethode“ noch besser machen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.