LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

In der Welt der künstlichen Intelligenz existiert eine Klasse leistungsstarker Computerprogramme, die als Sprachmodelle bekannt sind. Diese Systeme werden darauf trainiert, das nächste Wort in einem Satz vorherzusagen, was es ihnen ermöglicht, Geschichten zu schreiben, Fragen zu beantworten und sogar komplexe mathematische Probleme durch das Erzeugen langer Argumentationsketten zu lösen. Um diese Vorhersagen zu treffen, verlassen sich die Modelle auf einen statistischen Prozess, bei dem sie das wahrscheinlichste nächste Wort aus einer riesigen Liste von Möglichkeiten auswählen. Doch ein hartnäckiges Problem hat diese Systeme geplagt, insbesondere wenn sie gebeten werden, schwierige Aufgaben zu durchdenken: Sie bleiben manchmal in einer Schleife stecken. Anstatt mit einer neuen Idee voranzuschreiten, beginnt das Modell, dieselben Wörter oder Phrasen immer und immer wieder zu wiederholen, was den Output in Unsinn verwandelt. Dieses Problem ist als degenerative Repetition bekannt und stellt eine bedeutende Barriere für den Einsatz dieser Modelle in zuverlässigen, deterministischen Aufgaben dar, bei denen die Ausgabe konsistent und frei von Fehlern sein muss.

Seit Jahren versuchen Ingenieure, dies zu beheben, indem sie einfache Strafen (Penalties) auf die Entscheidungen des Modells anwenden. Diese Strafen wirken wie ein sanfter Stoß, der das Modell davon abhält, Wörter zu wählen, die es vor kurangem erst verwendet hat. Eine Methode zählt, wie oft ein Wort aufgetreten ist, und reduziert dessen Wahrscheinlichkeit; eine andere bestraft einfach jedes Wort, das zuvor aufgetreten ist. Während diese Methoden für lockere Gespräche gut funktionieren, versagen sie oft, wenn das Modell in tiefes logisches Denken vertieft ist. Die Reasoning-Modelle, die sehr lange Textsequenzen generieren, um Logikrätsel zu lösen, verfallen trotz dieser Standard-Fixes häufig in repetitive Zyklen. Das Ergebnis ist ein System, das stark beginnen kann, aber schließlich in einer stotternden Schleife aus wiederholten Wörtern zusammenbricht, was den Output für ernsthafte Anwendungen unbrauchbar macht.

Ein Team von Forschern bei Salesforce AI Research hat einen neuen Lösungsvorschlag vorgeschlagen, der sich von einem völlig anderen Bereich inspirieren lässt: der Datenkompression. Ihre Arbeit führt eine Methode namens Lempel-Ziv-Penalty ein, die darauf ausgelegt ist, diese repetitiven Schleifen zu stoppen, ohne die Fähigkeit des Modells zu beeinträchtigen, klar zu denken. Der Kern der Idee beruht auf einer grundlegenden Verbindung zwischen der Vorhersage des nächsten Wortes in einem Satz und der Komprimierung einer Datendatei. In der Welt der Computer arbeiten Kompressionsalgorithmen, indem sie Muster und Wiederholungen in Daten finden, um Dateien kleiner zu machen. Wenn eine Sequenz von Wörtern oft wiederholt wird, kann ein Kompressionsalgorithmus diese sehr effizient beschreiben, indem er weniger Bits an Information verwendet. Die Forscher erkannten, dass, wenn sie messen könnten, wie leicht der aktuelle Textstrom des Modells komprimiert werden könnte, sie diese Information nutzen könnten, um das Modell von repetitiven Mustern wegzuführen.

Die Forscher entwickelten ein System, das einen spezifischen Typ eines Kompressionsalgorithmus, bekannt als Lempel-Ziv-Algorithmus, in Echtzeit simuliert, während das Modell Text generiert. Dieser Algorithmus blickt auf ein gleitendes Fenster der jüngsten Texthistorie zurück und sucht nach den längstmöglichen Übereinstimmungen von Wortsequenzen. Wenn das Modell ein neues Wort in Betracht zieht, berechnet das System, wie sehr dieses Wort die Gesamtgröße der komprimierten Datei verändern würde. Wenn das neue Wort ein langes, redundantes Muster erzeugt, das der Kompressionsalgorithmus leicht kodieren kann, wendet das System eine Strafe auf dieses Wort an, was es unwahrscheinlicher macht, gewählt zu werden. Im Gegenzatz dazu ist die Strafe gering oder gar nicht vorhanden, wenn das Wort neue, unvorhersehbare Informationen einführt, die nicht leicht komprimiert werden können. Dieser Ansatz unterscheidet sich von bisherigen Methoden dadurch, dass er nicht nur zählt, wie oft ein einzelnes Wort erscheint; stattdessen betrachtet er die Länge der wiederholten Sequenz und wie weit zurück diese Sequenz auftrat.

Um diesen neuen Ansatz zu testen, wandten die Forscher ihn auf zwei fortschrittliche Reasoning-Modelle an, eines mit 32 Milliarden Parametern und eines mit 14 Milliarden. Sie verglichen die Leistung ihrer neuen Strafe mit den heute in der Industrie üblichen Standardmethoden. Die Ergebnisse waren beeindruckend. Beim Einsatz der Standard-Frequenz- oder Repetitionsstrafen fielen die Modelle immer noch etwa 4 % der Zeit in degenerative Repetitionsschleifen zurück, selbst wenn die Forscher versuchten, die Einstellungen zu optimieren, um dies zu verhindern. Im Gegensatz dazu reduzierte die neue Lempel-Ziv-Penalty die Rate dieser repetitiven Fehler auf effektiv Null. Die Modelle waren in der Lage, lange, komplexe Argumentationsketten zu generieren, ohne stecken zu bleiben, und ihre Genauigkeit bei schwierigen Benchmark-Tests blieb unverändert. Dies deutet darauf hin, dass die neue Methode erfolgreich die Redundanz entfernt, die die Schleifen verursacht, ohne die tatsächlichen Denkfähigkeiten des Modells zu stören.

Die Forscher untersuchten auch die Rechenkosten beim Ausführen dieser neuen Strafe. Da das System einen Kompressionsschritt für jedes einzelne generierte Wort simulieren muss, ist ein kleiner zusätzlicher Arbeitsaufwand erforderlich. Sie fanden jedoch heraus, dass dieser Overhead überraschend gering ist. Bei großen Modellen war die Verlangsamung der Geschwindigkeit weniger als ein Prozent, ein Unterschied, der in der realen Anwendung kaum merkbar wäre. Diese Effizienz macht die Methode praktikabel für die sofortige Übernahme und bietet einen Weg, Reasoning-Modelle zuverlässiger zu machen, ohne signifikante neue Rechenleistung zu fordern.

Eine Einschränkung, die das Team anmerkte, ist, dass die Methode speziell für natürliche Sprache konzipiert ist. Der Kompressionsalgorithmus beruht auf der Annahme, dass Sprache bestimmte statistische Eigenschaften besitzt, wie etwa die Tatsache, dass Wörter dazu neigen, über die Zeit in vorhersehbaren Weisen zu wiederholen. Während die Methode für Text hervorragend funktioniert, warnen die Forscher, dass sie für andere Arten von Daten, wie etwa Bilder oder Audio, ohne spezifische Anpassungen möglicherweise nicht so effektiv sein wird. Zudem ist das System nicht perfekt für jedes erdenkliche Szenario; wenn beispielsweise ein Nutzer explizit verlangt, dass das Modell einen Buchstaben hundertmal wiederholt, könnte die Strafe mit dieser spezifischen Anweisung interferieren. Für die überwiegende Mehrheit der Aufgaben, bei denen das Ziel kohärente, nicht-repetitive Argumentation ist, scheint die neue Methode jedoch eine robuste Lösung zu sein.

Die Ergebnisse legen einen Wandel in der Art und Weise nahe, wie wir über die Kontrolle künstlicher Intelligenz nachdenken. Anstatt sich auf stumpfe Instrumente zu verlassen, die Wörter einfach basierend auf ihrer Anzahl verbieten, nutzt dieser Ansatz die mathematischen Prinzipien der Informationstheorie, um die Struktur des Textes selbst zu verstehen. Indem sie die Generierung von Text als einen Prozess der Kompression behandeln, haben die Forscher ein Werkzeug geschaffen, das das Rauschen der Repetition natürlich herausfiltert, während es das Signal des Gedankens bewahrt. Dies ermöglicht es Open-Source-Reasoning-Modellen, mit einem Grad an Determinismus zu operieren, der zuvor schwer zu erreichen war, was den Weg für zuverlässigere Anwendungen in Bereichen ebnet, in denen Konsistenz von entscheidender Bedeutung ist. Die Arbeit zeigt, dass wir durch die Betrachtung des Problems durch die Linse der Datenkompression elegante Lösungen für die hartnäckigen Fehler finden können, die Sprachmodelle lange Zeit behindert haben.