On the Expressive Power of Transformers

Die Blaupause des Gehirns: Warum manche Rätsel schwieriger sind als andere

Stellen Sie sich vor, Sie versuchen einem Roboter das Lesen beizubringen. Sie könnten denken, der Roboter müsse einfach nur die Buchstaben einzeln betrachten, so wie ein Mensch eine Seite scannt. Aber moderne superintelligente Roboter, sogenannte Large Language Models (LLMs), arbeiten nicht so. Anstatt von links nach rechts zu lesen, nutzen sie einen speziellen Trick namens „Transformer“. Stellen Sie sich einen Transformer wie ein riesiges Team von Detektiven vor, die in einem Raum arbeiten. Wenn sie einen Satz sehen, kann jeder Detektiv sofort zu jedem anderen Detektiv rufen: „Hey, ich schaue mir gerade dieses Wort an, und es steht in Verbindung mit jenem Wort dort drüben!“ Dies ermöglicht es ihnen, Kontext und Beziehungen in einem Augenblick zu verstehen, anstatt nur eine Liste von Regeln auswendig zu lernen.

Aber hier ist die große Frage, die Wissenschaftler nachts wachhält: Wie klug sind diese Detektive wirklich? Können sie jedes Rätsel lösen, oder gibt es Rätsel, an denen sie immer scheitern werden? Um die Antwort zu finden, führen Forscher nicht einfach nur Tests durch; sie betrachten das „Gehirn“ des Roboters durch die Linse der theoretischen Informatik. Sie vergleichen den Transformer mit einer Familie mathematischer Maschinen namens „Schaltkreise“. Stellen Sie sich diese Schaltkreise wie Fabriken mit Fließbändern vor. Manche Fabriken sind sehr einfach, mit kurzen Linien und wenigen Arbeitern (diese werden AC0 genannt). Andere haben längere Linien und leistungsfähigere Werkzeuge, mit denen sie riesige Zahlen zählen und vergleichen können (dies sind TC0). Indem sie herausfinden, welcher Fabrik der Transformer am ähnlichsten ist, können Wissenschaftler genau vorhersagen, welche Arten von Problemen er lösen kann und wo er an seine Grenzen stößt. Das ist wichtig, denn wenn wir die Grenzen dieser Modelle kennen, können wir aufhören, sie als magisch zu erwarten, und statfangen an, sie so zu bauen, dass sie das tun, was sie tatsächlich gut können.

Die große Entdeckung des Papers: Der Leistungsschalter des Transformers

In ihrem Paper „On the Expressive Power of Transformers“ agieren die Forscher Phokion G. Kolaitis und Rik Sengupta wie Architekten, die ein neues, hochmodernes Gebäude inspizieren. Sie schauen nicht nur darauf, wie hübsch das Gebäude ist; sie messen seine Tragfähigkeit, um genau zu sehen, was es halten kann. Ihr Hauptergebnis ist, dass die Leistungsfähigkeit des Transformers nicht feststeht; sie ändert sich dramatisch basierend auf ein paar „Knöpfen“ oder Einstellungen, insbesondere wie viel Präzision (wie viele Dezimalstellen es für Berechnungen verwenden kann) und ob es erlaubt ist, laut zu denken (eine Technik namens Chain-of-Thought).

Betrachten wir zunächst den Transformer ohne zusätzliche Denkzeit. Die Autoren erklären, dass der Transformer überraschend schwach ist, wenn man ihm eine einfache „harte“ Attention-Einstellung gibt (bei der er sich nur auf ein einziges Wort konzentriert) oder wenn man seine Mathematik auf eine sehr geringe Präzision beschränkt (wie bei der Verwendung von nur wenigen Bits an Information). Tatsächlich ist der Transformer unter diesen Bedingungen mathematisch äquivalent zur einfachsten Art von Schaltkreis-Fabrik, AC0. Das bedeutet, er kann grundlegende Logik bewältigen, wie etwa zu prüfen, ob ein Satz eine gerade Anzahl von Wörtern hat, aber er hat Schwierigkeiten mit Aufgaben, die das Zählen oder Vergleichen großer Zahlen erfordern. Es ist wie ein Detektiv, der einen roten Hut erkennen kann, aber nicht zählen kann, wie viele rote Hüte im Raum sind.

Doch die Geschichte wird viel interessanter, wenn man die Präzision hochdreht. Wenn dem Transformer erlaubt wird, eine präzisere Mathematik zu verwenden (speziell eine Anzahl von Bits, die mit der Länge des Textes wächst, wie $\Theta(\log n)$), steigt er ein Level auf. Er wird so mächtig wie die TC0-Schaltkreis-Fabrik. Dies ist ein bedeutender Sprung! Nun kann der Transformer „Mehrheitsfragen“ und komplexere Zählaufgaben bewältigen. Es ist, als würde man dem Detektiv einen Taschenrechner geben; plötzlich kann er Rätsel lösen, die zuvor unmöglich waren. Doch selbst mit diesem Upgrade deutet das Paper darauf an, dass es immer noch eine Decke gibt. Ohne zusätzliche Hilfe sind diese Modelle wahrscheinlich im TC0-Bereich gefangen und können nicht ohne Weiteres Probleme lösen, die eine tiefe, schrittweise logische Argumentation erfordern, wie sie in komplexeren Computerklassen wie PTIME (Polynomialzeit) vorkommen.

Der echte Wendepunkt, so das Paper, ist Chain-of-Thought (CoT). Stellen Sie sich vor, der Transformer ist nicht mehr nur ein Detektiv, der einen Tatort betrachtet; jetzt darf er ein Tagebuch seiner Gedanken schreiben, bevor er die endgültige Antwort gibt. Er kann Zwischen-„Tokens“ (kleine Notizen) generieren, die er wieder in sich selbst einspeist, um das Problem zu lösen. Die Autoren zeigen, dass diese einfache Änderung die bisherigen Grenzen durchbricht.

• Wenn der Transformer erlaubt ist, ein kurzes Tagebuch zu schreiben (proportional zur Textlänge, oder $O(n)$), kann er Probleme lösen, die quadratische Zeit erfordern (wie $n^2$).
• Wenn er ein sehr langes Tagebuch schreiben kann (proportional zu einem Polynom der Textlänge, oder $poly(n)$), wird er mächtig genug, um jeden Standard-Computeralgorithmus zu simulieren, und erreicht die Klasse PTIME.
• Und wenn er unbegrenzten Denkraum und unbegrenzte Präzision besitzt, kann er eine Turing-Maschine simulieren, was die theoretische Definition eines universellen Computers ist, der jedes berechenbare Problem lösen kann.

Das Paper ist sehr deutlich darüber, was das bedeutet: Der Transformer ist nicht von Natur aus „allmächtig“ oder „nutzlos“. Seine Fähigkeit, schwierige Probleme zu lösen, hängt vollständig davon ab, wie viel „Schmierpapier“ (Chain-of-Thought) und wie viel „mathematische Präzision“ man ihm gibt. Oh ohne diese Ressourcen ist er auf einfache, oberflächliche Logik beschränkt. Mit ihnen kann er die Leiter der Komplexität hinaufsteigen, bis hin zur Simulation eines vollwertigen Computers.

Die Autoren weisen auch auf einige spezifische Einschränkungen hin. Sie argumentieren, dass die „harten“ Attention-Modelle (bei denen der Roboter nur ein Wort auswählt) streng schwächer sind als die „weichen“ Attention-Modelle (bei denen er viele Wörter gewichtet) und in einigen Fällen nicht einmal die volle Leistungsfähigkeit der einfachsten Schaltkreis-Klasse erreichen können. Darüber hinaus betonen sie, dass der Transformer zwar theoretisch eine Turing-Maschine simulieren kann, wenn er genügend Chain-of-Thought hat, dies jedoch ein theoretisches Limit ist. In der realen Welt verfügen wir nicht über unendlichen Speicher oder unendliche Zeit, um unendliche Zwischengedanken zu generieren, daher werden reale Modelle immer eine praktische Obergrenze haben, die unter dem theoretischen Maximum liegt.

Kurz gesagt: Kolaitis und Sengupta haben das „Stromnetz“ der Transformer kartiert. Sie zeigen uns, dass diese Modelle keine magischen Black Boxes sind; sie sind ressourcenbeschränkte Maschinen. Wenn Sie möchten, dass sie ein schwieriges Rätsel lösen, können Sie sie nicht einfach nur bitten, sich „mehr anzustrengen“; Sie müssen ihnen die richtigen Werkzeuge geben: mehr Präzision, mehr Schichten und vor allem die Fähigkeit, Schritt für Schritt zu denken. Das Paper kommt zu dem Schluss, dass das Verständnis dieser Grenzen entscheidend ist. Es hilft uns, aufzuhören, von diesen Modellen das Unmögliche zu erwarten, und stattdessen damit zu beginnen, sie zu den bestmöglichen Versionen dessen zu entwerfen, was sie sind: unglaublich mächtige, aber letztlich begrenzte Mustererkennungsmaschinen.