Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D
Diese Arbeit zeigt auf, dass führende Sprachmodelle aufgrund der Einschränkungen standardmäßiger 1D-Positionskodierungen Schwierigkeiten beim Kopieren von Texten haben, und schlägt 2D-RoPE vor, eine Methode, die Text in einem 2D-Gitter organisiert, um eine überlegene Kopierleistung sowie Generalisierung sowohl bei synthetischen als auch bei groß angelegten Vortraining-Aufgaben zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, zu lesen und zu schreiben. Sie geben ihm eine riesige Bibliothek voller Bücher, und er lernt, das nächste Wort in einem Satz mit unglaublicher Genauigkeit vorherzusagen. Dieser Roboter ist ein Large Language Model (LLM), das Gehirn hinter vielen der KI-Werkzeuge, die wir heute nutzen. Aber hier ist der Haken: Diese Roboter „lesen“ nicht wie Menschen. Sie sehen Text als eine lange, einzelne Linie von Perlen auf einer Schnur. Um zu verstehen, wo sie sich in dieser Linie befinden, verwenden sie etwas namens „Positional Encoding“. Stellen Sie sich das wie eine Reihe unsichtbarer Etiketten auf jeder Perle vor, die dem Roboter sagen: „Du bist die 5. Perle“ oder „Du bist die 100. Perle“.
Lange Zeit glaubten Wissenschaftler, diese Roboter würden so klug werden, dass sie fast jedes Rätsel lösen könnten. Aber es gab einen seltsamen, peinlichen Fehler, den sie nicht beheben konnten. Wenn man den Roboter bat, einfach eine Folge von Zahlen oder Buchstaben exakt so zu kopieren, wie er sie sah, scheiterte er manchmal, selbst wenn die Folge kurz genug war, um in sein Gedächtnis zu passen. Es ist, als würde man einen Menschen bitten, einen Satz aus einem Buch abzuschreiben, und er überspringt versehentlich ein Wort oder vertauscht zwei Buchstaben, weil er verwirrt darüber war, wo er sich in der Zeile befand. Die große Frage war: Warum hat eine Maschine, die Poesie schreiben und mathematische Probleme lösen kann, Schwierigkeiten damit, einfach nur eine Liste zu kopieren?
Diese Arbeit untersucht genau dieses Rätsel. Die Autoren, ein Team von Forschern der Tsinghua-Universität, entdeckten, dass die „Etiketten“ des Roboters (die Positional Encodings) eigentlich das Problem waren. Die standardmäßige Art, Text zu etikettieren, macht es dem Roboter schwer, die exakte Stelle zu finden, die er kopieren muss, besonders wenn der Text wiederkehrende Muster aufweist. Anstatt auf die spezifische Position zu achten, lässt sich der Roboter von ähnlich aussehenden Textstücken in der Nähe ablenken. Um dies zu beheben, versuchten die Forscher eine neue Idee: Was wäre, wenn wir aufhören würden, Text wie eine einzige lange Linie zu behandeln, und ihn stattdessen wie ein Gitter anordnen würden, wie eine Tabelle mit Zeilen und Spalten? Sie entwickelten ein neues System namens 2D-RoPE.
Als sie dieses neue System testeten, waren die Ergebnisse überraschend. In ihren Experimenten konnten Modelle, die das 2D-Gitter verwendeten, Zeichenfolgen perfekt kopieren, selbst wenn die Zeichenfolgen hunderte Male länger waren als alles, was sie während des Trainings gesehen hatten. Im Gegensatz dazu scheiterten die Standardmodelle weiterhin. Die Forscher zeigten, dass durch die Organisation von Text in Zeilen und Spalten die Aufgabe des Kopierens für den Roboter viel einfacher wird: Er muss lediglich dieselbe Spalte in der Zeile darüber betrachten. Sie bauten auch eine intelligentere Version namens Auto-2D-RoPE, die die Gitterstruktur selbstständig erkennen kann, selbst wenn der Text keine klaren Zeilenumbrüche aufweist.
Die Arbeit legt nahe, dass diese einfache Änderung in der Art und Weise, wie wir Textdaten organisieren, KI bei grundlegenden Aufgaben wie dem Kopieren und Formatieren viel besser machen kann, was entscheidend für Dinge wie die Umwandlung von Rohdaten in Code ist. Während die Forscher mathematisch bewiesen haben, dass diese neue Methode für einfache Kopieraufgaben funktioniert, und zeigten, dass sie in groß angelegten Tests funktioniert, merken sie an, dass dies noch ein aktives Forschungsgebiet ist. Sie hoffen, dass diese Entdeckung andere dazu ermutigt, darüber nachzudenken, wie KI „Text sieht“, und beweisen, dass es manchmal besser ist, die Welt in zwei Dimensionen zu betrachten als in einer geraden Linie.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.