DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas
DreamOn ist ein neuartiges Diffusions-Framework, das die Beschränkung auf eine feste Generierungslänge bestehender Diffusions-Sprachmodelle durch die Einführung dynamischer Längensteuerungszustände überwindet und so eine flexible, variable-Längen-Code-Infilling ermöglicht, die ohne architektonische Änderungen eine mit dem aktuellen Stand der Technik vergleichbare Leistung bei autoregressiven Modellen erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine Lücke in einer Geschichte oder einem Stück Code auszufüllen. Sie haben den Anfang (das Präfix) und das Ende (das Suffix) und müssen schreiben, was dazwischen liegt.
Lange Zeit haben die klügsten Computerprogramme (genannt Autoregressive Modelle) dies gemacht, indem sie ein Wort nach dem anderen schrieben, von links nach rechts, wie ein Mensch, der einen Satz tippt. Sie sind sehr gut darin.
Dann kam ein neuer Typ von Programm namens Diffusion Language Model (DLM) auf den Markt. Betrachten Sie diese wie einen Bildhauer. Anstatt Wort für Wort zu schreiben, beginnen sie mit einem Block aus Ton, bei dem der mittlere Teil vollständig verborgen ist (maskiert). Sie meißeln an den verborgenen Teilen und verfeinern die Form, bis die perfekten Wörter erscheinen. Das ist großartig, weil sie Fehler in jeder beliebigen Reihenfolge korrigieren können, nicht nur von links nach rechts.
Das Problem: Die „Festgrößen-Leinwand“-Falle
Diese Bildhauer hatten jedoch einen entscheidenden Fehler. Sie konnten nur an einem Tonblock arbeiten, der exakt die Größe hatte, die man ihnen vorgab.
- Wenn Sie ihnen einen kleinen Block gaben (sagen wir 4 verborgene Wörter), die Antwort aber 20 Wörter benötigt hätte, wäre ihnen der Platz ausgegangen und sie hätten Ihnen eine kaputte, unvollständige Antwort geliefert.
- Wenn Sie ihnen einen riesigen Block gaben (sagen wir 64 verborgene Wörter), die Antwort aber nur 4 Wörter benötigt hätte, wäre das Modell verwirrt gewesen und hätte den überschüssigen Platz mit Unsinn oder repetitivem Müll gefüllt.
Das Papier nennt dies das „Fixed-Size Canvas“-Problem (Festgrößen-Leinwand-Problem). Das Modell ist darauf angewiesen, dass Sie die exakte Größe der Lücke erraten, bevor es überhaupt mit der Arbeit beginnt. Wenn Sie falsch raten, ist das Ergebnis schlecht.
Die Lösung: DREAMON
Die Autoren führen DREAMON ein, eine neue Art, diese Bildhauer zu lehren, wie sie die Größe ihres Tonblocks während der Arbeit verändern können.
Sie fügten zwei spezielle „magische Befehle“ zum Vokabular des Modells hinzu:
[expand]: „Ich brauche mehr Platz! Verwandle diesen einen verborgenen Punkt in zwei verborgene Punkte.“[delete]: „Ich habe zu viel Platz! Entferne diesen verborgenen Punkt vollständig.“
Wie es funktioniert (Die Analogie)
Stellen Sie sich vor, das Modell zeichnet ein Bild innerhalb eines Rahmens.
- Der alte Weg: Sie sagen dem Modell: „Zeichne innerhalb dieses 10x10-Quadrats.“ Wenn das Bild 20x20 benötigt, wird das Modell gequetscht. Wenn es 2x2 benötigt, ist der Platz verschwendet.
- Der DREAMON-Weg: Sie geben dem Modell einen Rahmen, aber Sie lassen es eine Fernbedienung halten. Während es zeichnet, wenn es merkt, dass das Bild zu groß für den Rahmen wird, drückt es auf
[expand]und der Rahmen wächst magisch. Wenn es merkt, dass das Bild winzig ist und der Rahmen riesig, drückt es auf[delete]und der Rahmen schrumpft.
Das Modell macht dies völlig eigenständig, basierend auf dem, was es denkt, die Antwort sein sollte. Es benötigt nicht von Ihnen, die genaue Länge im Voraus zu kennen.
Die Ergebnisse
Die Forscher testeten dies bei Programmieraufgaben (dem Ausfüllen fehlender Teile von Computerprogrammen).
- Vor DREAMON: Die Diffusion-Modelle waren schlecht darin, wenn die Größe der „Lücke“ nicht perfekt mit der Antwort übereinstimmte. Ihre Leistung sank um etwa 38 %, nur weil die Größe leicht abweiche.
- Nach DREAMON: Die Modelle wurden so gut wie die besten „Wort-für-Wort“-Schreiber (die autoregressiven Modelle). Sie konnten Löcher jeder Größe bewältigen, indem sie die Antwort vergrößerten oder verkleinerten, bis sie genau richtig war.
- Effizienz: Sie fügten auch einen Trick namens „Deletion Broadcasting“ hinzu. Wenn das Modell entscheidet, einen riesigen Teil des Rahmens zu löschen, tut es dies nicht Stück für Stück, sondern löscht den gesamten Block sofort, was den Prozess viel schneller macht.
Zusammenfassend
DREAMON nimmt ein mächtiges, aber starres Werkzeug (Diffusion-Modelle) und verleiht ihm die Flexibilität, seine Ausgabe zu dehnen und zu schrumpfen. Es entfernt die Notwendigkeit für Menschen, die perfekte Antwortlänge zu erraten, und ermöglicht es diesen Modellen, endlich mit den besten Code-schreibenden KIs von heute zu konkurrieren – jedoch mit dem zusätzlichen Vorteil, Dinge in jeder beliebigen Reihenfolge korrigieren zu können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.