Training Transformers as a Universal Computer
Dieser Artikel zeigt, dass ein kleiner Transformer, der auf zufällig generierten MicroPy-Programmen trainiert wurde, auf die Ausführung komplexer, von Menschen geschriebener Algorithmen verallgemeinern kann, und liefert damit empirische Belege dafür, dass Standard-Transformer als universelle Computer fungieren können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber leicht kurzsichtigen Roboterassistenten. Sie möchten ihm beibringen, komplexe Computerprogramme auszuführen. Das Problem ist, dass der Roboter nur eine begrenzte Anzahl von Schritten gleichzeitig „denken" kann, bevor er den Anfang der Geschichte vergisst. Wenn ein Programm zu lang ist, verliert der Roboter den Faden.
Dieser Artikel stellt eine Lösung für dieses Problem vor. Die Forscher entwickelten eine winzige, vereinfachte Programmiersprache namens MicroPy und brachten einem Standard-KI-Modell (einem Transformer) bei, als universeller Computer zu agieren, der jedes in dieser Sprache geschriebene Programm ausführen kann, selbst solche, die es noch nie gesehen hat.
Hier ist, wie sie es taten, unter Verwendung einiger alltäglicher Analogien:
1. Die Sprache: MicroPy (Das „Lego-Set")
Stellen Sie sich MicroPy nicht als vollwertige Programmiersprache wie Python oder C++ vor, sondern als einen sehr strengen, vereinfachten Satz von Lego-Anweisungen.
- Es verfügt über grundlegende Bausteine für Aktionen wie „wenn dies, dann das", „diesen Wert nachschlagen" oder „dieses Objekt ändern".
- Da es eine vereinfachte Version einer „universellen" Sprache ist (die theoretisch jede Berechnung durchführen kann), kann die KI, wenn sie lernt, diese spezifischen Lego-Bausteine zu verstehen, theoretisch alles bauen.
2. Das Problem: Das „lange Geschichte"-Problem
Normalerweise schreibt eine KI, wenn sie versucht, ein mathematisches Problem zu lösen oder Code schrittweise auszuführen (eine Methode namens „Chain of Thought"), jeden einzelnen Schritt auf.
- Die Analogie: Stellen Sie sich vor, Sie lesen ein Buch, können aber nur die letzten 10 Seiten im Kopf behalten. Wenn das Buch 1.000 Seiten lang ist, vergessen Sie den Anfang, bis Sie am Ende angelangt sind. Sie können das Rätsel nicht lösen, weil Sie vergessen haben, wer der Bösewicht in Kapitel 1 war.
- In computertechnischen Begriffen füllt sich das „Kontextfenster" (das Kurzzeitgedächtnis der KI) bei langen Berechnungen zu schnell.
3. Die Lösung: PENCIL (Das „Aufräum-Team")
Die Forscher nutzten einen speziellen Trick namens PENCIL. Stellen Sie sich PENCIL als ein magisches „Aufräum-Team" vor, das der KI hilft, ihren Speicher zu verwalten.
- Wie es funktioniert: Wenn die KI eine kleine Teilaufgabe abschließt (wie das Berechnen einer Zahl oder das Beenden einer Funktion), löscht das PENCIL-Team sofort die unordentlichen Zwischenschritte aus dem Gedächtnis der KI und behält nur das Endergebnis.
- Die Analogie: Stellen Sie sich vor, Sie kochen ein komplexes Mahl. Anstatt jeden schmutzigen Topf, jede Pfanne und jede Zutatenverpackung auf der Arbeitsfläche zu lassen (was schließlich die gesamte Küche füllt), waschen Sie das Geschirr und räumen es sofort nach der Verwendung weg. Sie behalten nur das fertige Gericht auf der Arbeitsfläche. Auf diese Weise können Sie ein riesiges Bankett in einer kleinen Küche zubereiten, ohne den Platz zu erschöpfen.
- Dies ermöglicht der KI, Programme auszuführen, die 60-mal länger sind als die, mit denen sie trainiert wurde, da sie ihre „Arbeitsfläche" nie überladen lässt.
4. Das Training: Zufälliges Üben versus echte Tests
Die Forscher brachten der KI nicht bei, indem sie ihr berühmte, von Menschen geschriebene Codes zeigten. Stattdessen generierten sie Millionen zufälliger, bedeutungsloser MicroPy-Programme.
- Die Analogie: Es ist, als würde man einem Schüler Schach beibringen, indem man ihn gegen einen Computer spielen lässt, der zufällige, unsinnige Züge macht. Der Schüler lernt die Regeln, wie die Figuren sich bewegen und wie man schlägt, anstatt spezifische berühmte Partien auswendig zu lernen.
- Sobald die KI diese Regeln aus dem zufälligen Üben gelernt hatte, testeten sie sie an echten, von Menschen geschriebenen Programmen, die tatsächliche Dinge taten, wie zum Beispiel:
- Kopieren und Umkehren von Bits (Binärdaten).
- Addieren und Multiplizieren großer Binärzahlen.
- Lösen von Logikrätseln (SAT-Probleme).
5. Das Ergebnis: Der universelle Computer
Das Ergebnis war überraschend und perfekt.
- Die KI erreichte 100 % Genauigkeit bei allen von Menschen geschriebenen Tests.
- Obwohl die Testprogramme viel länger und komplexer waren als alles, was die KI während des Trainings gesehen hatte, bewältigte sie sie perfekt.
- Der Artikel behauptet, dies beweise, dass ein Standard-KI-Modell so trainiert werden kann, dass es als universeller Computer agiert. Es hat nicht nur Antworten auswendig gelernt; es lernte die Logik, wie Anweisungen ausgeführt werden, was es ihm ermöglicht, sich auf völlig neue, unbekannte Programme zu verallgemeinern.
Zusammenfassung
Kurz gesagt zeigt der Artikel, dass eine Standard-KI, wenn man ihr eine vereinfachte Sprache zum Lernen gibt und einen „Speicheraufräumer" (PENCIL) zur Hilfe bei der Verwaltung langer Aufgaben, lernen kann, wie ein universeller Computer zu agieren. Sie kann Anweisungen, die sie noch nie gesehen hat, aufnehmen und perfekt ausführen, was beweist, dass diese Modelle wirklich lernen können, zu „denken" und zu berechnen, und nicht nur das nächste Wort vorherzusagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.