DiffusionGemma Technical Report
DiffusionGemma ist ein Open-Weight-Sprachmodell, das durch die Feinabstimmung einer Gemma-4-Architektur mit einer recheneffizienten zweistufigen Pipeline zur Ermöglichung von paralleler blockweiser diskreter Diffusion außergewöhnliche Textgenerierungsgeschwindigkeiten von etwa 1.500 Token pro Sekunde erreicht und damit eine neue Pareto-Front für den Kompromiss zwischen Inferenzgeschwindigkeit und Modellkapazität etabliert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben, aber Sie sind gezwungen, sie einen Buchstaben nach dem anderen zu schreiben, von links nach rechts, ohne jemals zurückblicken oder Ihre Meinung ändern zu dürfen. Wenn Sie in den ersten Satz einen Fehler machen, müssen Sie den Rest des Buches mit diesem Fehler weiterschreiben, in der Hoffnung, ihn später durch das Hinzufügen weiterer Wörter zu korrigieren. So arbeiten die meisten modernen „intelligenten“ Computerprogramme, sogenannte Large Language Models, derzeit. Sie sind wie ein sehr schneller Tipper, der nicht die Rücktaste drücken kann. Obwohl sie brillant sind, erzeugt diese „Einweg“-Regel einen Stau in ihren Gehirnen. Jedes Mal, wenn sie das nächste Wort schreiben wollen, müssen sie anhalten, sich an alles erinnern, was sie gerade geschrieben haben, und den nächsten Schritt berechnen. Das macht sie langsam, besonders wenn Sie der Einzige sind, der sie benutzt, weil der Computer mehr Zeit damit verbringt, sich an die Vergangenheit zu erinnern, als tatsächlich über die Zukunft nachzudenken.
Wissenschaftler suchen nach einem Weg, diesen Computern zu ermöglichen, in „Blöcken“ statt in Buchstaben zu schreiben, sodass sie vorausblicken und Fehler korrigieren können, während sie arbeiten, ganz ähnlich wie ein Mensch, der einen Entwurf bearbeitet. Diese Idee wird „Diffusion“ genannt. Stellen Sie sich das wie einen Bildhauer vor, der mit einem Steinblock beginnt, der mit Nebel bedeckt ist. Anstatt Stück für Stück winzig kleine Teile wegzumeißeln, betrachtet der Bildhauer den gesamten Block, errät, wo die Statue sein sollte, und vertreibt den Nebel von der gesamten Form auf einmal. Er wiederholt dies, bis die Form immer klarer wird, bis die Statue perfekt ist. Dieses Paper stellt ein neues Modell namens DiffusionGemma vor, das versucht, diese „Nebel-Vertreibungs“-Methode zu nutzen, um Texte unglaublich schnell zu schreiben, während es gleichzeitig intelligent genug bleibt, um schwierige Matheaufgaben zu lösen und Code zu schreiben.
Der neue „Nebel-Vertreiber“-Schreiber
Die Forscher bei Google DeepMind haben DiffusionGemma entwickelt, ein experimentelles Computermodell, das die alte „Ein-Wort-nach-dem-anderen“-Regel bricht. Anstatt einen Satz Buchstaben für Buchstabe zu schreiben, schreibt DiffusionGemma in großen Blöcken von 256 Wörtern auf einmal. Stellen Sie sich vor, Sie versuchen, eine Seite in einem Notizbuch auszufüllen. Die alte Art ist wie das Eintauchen Ihres Stifts in Tinte, das Schreiben eines Wortes, das Anheben des Stifts, das Nachdenken, das erneute Eintauchen und das Schreiben des nächsten Wortes. DiffusionGema ist wie ein Stempel, der einen ganzen Absatz sofort druckt. Wenn der Stempel einen Fehler macht, geht er nicht einfach weiter; er verschmiert den ganzen Absatz und versucht, ihn erneut zu stempeln, aber dieses Mal mit einem klareren Bild dessen, wie er aussehen sollte. Dies tut er immer und immer wieder, indem er den gesamten Textblock parallel verfeinert, bis die Wörter an ihren Platz springen.
Das Team hat dieses Modell nicht von Grund auf neu gebaut. Sie begannen mit einem sehr intelligenten, bestehenden Modell namens Gemma 4 (das etwa 25,2 Milliarden Gesamteile besitzt, wovon 3,8 Milliarden zu jedem Zeitpunkt aktiv sind) und brachten ihm einen neuen Trick bei. Sie verwendeten einen zweistufigen Trainingsprozess. Zuerst zeigten sie dem Modell, wie man Text „entstört“ (denoise), indem sie es lehrten, einen unordentlichen, durcheinandergewürfelten Block von Wörtern zu betrachten und herauszufinden, wie der saubere Satz aussehen sollte. Zweitens verwendeten sie eine spezielle Art von „Reinforcement Learning“ kombiniert mit „Sampler Distillation“. Denken Sie an dies als einen Coach, der dem Modell nicht nur sagt „gut gemacht“, sondern ihm auch beibringt, wie es den Job schneller erledigt. Der Coach drängt das Modell dazu, klüger zu werden, während er ihm gleichzeitig beibringt, die Verfeinerung des Textes zu stoppen, sobald es sich sicher genug fühlt, was Zeit spart.
Eine Geschwindigkeit, die alles in den Schatten stellt
Die Ergebnisse sind atemberaubend. Auf einem einzelnen leistungsstarken Computerchip, einem NVIDIA H100 GPU, kann DiffusionGemma etwa 1.500 Wörter pro Sekunde generieren. Um dies in Perspektive zu setzen: Die besten „Oldschool“-Modelle schaffen selbst mit ihren schnellsten Tricks meist nur etwa 300 Wörter pro Sekunde. DiffusionGemma ist etwa 5-mal schneller als die Standardversion und etwa 2,5-mal schneller als andere schnelle Modelle, die derzeit hinter privaten Bezahlschranken verborgen sind.
Das Paper zeigt, dass dies nicht nur ein Geschwindigkeitstrick ist, der das Modell dümmer macht. Obwohl es bei einigen sehr schwierigen Denkaufgaben etwas weniger perfekt ist als das ursprüngliche Gemma 4 Modell, ist es immer noch unglaublich fähig. Es kann komplexe mathematische Probleme lösen, Code schreiben und sogar Bilder verstehen. Die Forscher fanden heraus, dass das Modell durch das Schreiben in Blöcken von 256 etwa 20 Wörter für jeden einzelnen „Denkschritt“ produzieren kann, während die alten Modelle normalerweise nur 1 Wort pro Schritt produzieren. Diese massive Effizienz ermöglicht es ihm, die Speicherengpässe zu umgehen, die Computer normalerweise verlangsamen.
Warum das wichtig ist (und was es noch nicht kann)
Das Paper legt nahe, dass dieser Ansatz eine neue Tür für die Nutzung von KI öffnet. Da das Modell Text so schnell generieren kann, könnte es für Dinge verwendet werden, die sofortige Antworten erfordern, wie Echtzeit-Konversationen oder die Unterstützung von Ärzten beim Erstellen von Berichten in Sekundenbruchteilen. Die Forscher zeigten auch, dass das Modell flexibel ist: Es kann immer noch im alten „Ein-Wort-nach-dem-anderen“-Stil schreiben, falls nötig, und es kann sogar zwischen dem „Denkmodus“ (in dem es seine Antwort plant) und dem „Schnellmodus“ wechseln.
Die Autoren weisen jedoch vorsichtig darauf hin, dass dies eine experimentelle Veröffentlichung ist. Es ist noch kein perfekter Ersatz für die alten Modelle. Sie geben zu, dass das Modell manchmal in repetitiven Schleifen stecken bleibt (wie zum Beispiel ständig „der der der“ zu sagen) oder etwas kürzere, prägnantere Antworten liefert als das Original. Sie merken auch an, dass das Modell zwar super schnell ist, wenn eine einzelne Person es nutzt, aber wenn man versucht, hunderte Menschen gleichzeitig zu bedienen, könnten die alten „Ein-Wort“-Modelle in der Geschwindigkeit eventuell aufholen. Aber im Moment hat DiffusionGemma einen neuen „Frontier“ etabliert und bewiesen, dass man sowohl extreme Geschwindigkeit als auch hohe Intelligenz haben kann, womit die alte Regel gebrochen wurde, dass man sich zwischen beiden entscheiden muss.
Kurz gesagt deutet DiffusionGemma darauf hin, dass die Zukunft des Schreibens mit Computern nicht ein langsamer, vorsichtiger Marsch sein könnte, sondern eine schnelle, simultane Verfeinerung von Ideen, die den Nebel aus dem gesamten Bild auf einmal vertreibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.