💬 NLP

Probability Distributions Computed by Autoregressive Transformers

Dieser Beitrag charakterisiert die von autoregressiven Transformer-Sprachmodellen ausdrückbaren Wahrscheinlichkeitsverteilungen und zeigt, dass deren autoregressive und probabilistische Natur die Ausdruckskraft steigern und Äquivalenzen aufbrechen kann, die bei nicht-probabilistischen Spracherkennern vorkommen.

Ursprüngliche Autoren: Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Transformer (das KI-Modell hinter Tools wie ChatGPT) als einen sehr klugen, aber leicht steifen Roboter-Bibliothekar vor. Seit Jahren untersuchen Forscher diesen Bibliothekar, indem sie ihm eine einfache „Ja-oder-Nein"-Frage stellen: „Gehört dieses spezifische Buch in den Bereich 'Science Fiction'?" Wenn der Roboter „Ja" sagt, wird das Buch angenommen; bei „Nein" wird es abgelehnt. Dies ist das, was die Arbeit als Klassifikator bezeichnet.

In der realen Welt bitten wir den Bibliothekar jedoch nicht nur, Bücher zu sortieren. Wir bitten ihn, eine Geschichte zu schreiben. Wir geben ihm die ersten paar Wörter, und er rät das nächste Wort, dann das nächste und das nächste, wodurch er eine Wahrscheinlichkeitsverteilung (eine Vermutung darüber, was als Nächstes kommt) erstellt. Dies ist das, was die Arbeit als Autoregressor bezeichnet.

Die Arbeit stellt eine fundamentale Frage: Ist der Roboter beim Schreiben von Geschichten besser als beim Sortieren von Büchern? Oder sagt uns umgekehrt seine Fähigkeit, Bücher zu sortieren, alles, was wir über seine Fähigkeit zum Schreiben wissen müssen?

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Die zwei Denkweisen

Die Autoren erkannten, dass die meisten früheren Forschungen den Transformer wie einen Richter (Klassifikator) behandelten, während die tatsächliche KI, die wir verwenden, wie ein Geschichtenerzähler (Autoregressor) agiert.

Der Richter: Schaut sich einen ganzen Satz an und sagt: „Wahr" oder „Falsch".
Der Geschichtenerzähler: Schaut sich einen bisher geschriebenen Satz an und sagt: „Es gibt eine 90-prozentige Chance, dass das nächste Wort 'Katze' ist, und eine 10-prozentige Chance, dass es 'Hund' ist."

2. Die „Boolesche" Welt (Der einfache Fall)

Stellen Sie sich eine Welt vor, in der der Roboter nur mit Schwarz und Weiß (Wahr/Falsch) umgeht.

Die Erkenntnis: In dieser einfachen Welt sind Richter und Geschichtenerzähler im Wesentlichen dieselbe Person. Wenn der Roboter ein Buch korrekt sortieren kann, kann er auch eine Geschichte schreiben, die denselben Regeln folgt, und umgekehrt.
Der Haken: Obwohl sie gleich mächtig sind, benötigt der Geschichtenerzähler manchmal ein viel komplizierteres internes „Bedienhandbuch" (Logik), um denselben Job zu erledigen wie der Richter. Es ist so, als könnte der Richter ein Muster sofort erkennen, aber der Geschichtenerzähler muss ein langes, komplexes Rezept aufschreiben, um dasselbe Muster Wort für Wort zu erzeugen.

3. Die „Real-gewichtete" Welt (Der komplexe Fall)

Stellen Sie sich nun vor, der Roboter arbeitet mit Grautönen (Wahrscheinlichkeiten wie 0,5, 0,9 usw.). So funktioniert echte KI.

Die Erkenntnis: Hier sind Richter und Geschichtenerzähler nicht dasselbe. Sie haben unterschiedliche Superkräfte.
- Der Geschichtenerzähler ist flexibler: Er kann bestimmte Arten von Wahrscheinlichkeitsmustern erzeugen, die der Richter einfach nicht erkennen kann.
- Der Richter ist steifer: Es gibt spezifische Wahrscheinlichkeitsmuster, die der Richter identifizieren kann, die der Geschichtenerzähler nicht erzeugen kann, weil der Geschichtenerzähler strikten Regeln folgen muss, um sicherzustellen, dass seine Wahrscheinlichkeiten immer 100 % ergeben.
Die Analogie: Denken Sie an den Richter als Sicherheitsbeamten, der eine gefälschte Ausweis sofort erkennt. Der Geschichtenerzähler ist ein Fälscher, der versucht, einen gefälschten Ausweis zu erstellen. Manchmal kann der Fälscher einen gefälschten Ausweis erstellen, den der Beamte nicht erkennt (weil der Beamte nur gegen eine bestimmte Liste prüft). Aber manchmal ist der Fälscher so an die Regeln von Papier und Tinte gebunden, dass er einen bestimmten Typ von gefälschtem Ausweis nicht erstellen kann, den der Beamte leicht erkennen kann.

4. Die „Zeitreise"-Logik

Die Arbeit verwendet eine spezielle Art von Logik namens „Lineare Temporale Logik" (LTL), um zu beschreiben, was diese Roboter tun können. Es ist wie eine Reihe von Regeln für Zeitreisen:

„Gestern" (Y): Blick zurück auf das vorherige Wort.
„Historisch" (H): Blick zurück auf alle vorherigen Wörter.
„Seit" (S): Blick zurück ab einem bestimmten Punkt.

Die Autoren fanden heraus, dass:

Wenn der Roboter Zugriff auf „Gestern" und „Historisch" hat (Blick zurück), Richter und Geschichtenerzähler gleich sind.
Wenn der Roboter eingeschränkt ist (z. B. kann er nur einige Schritte zurückblicken oder verwendet nur „Historisch"), wird der Geschichtenerzähler strikt mächtiger als der Richter. Der Geschichtenerzähler kann mit Mustern umgehen, die der eingeschränkte Richter nicht bewältigen kann.

5. Das „Zähl"-Problem

Die Arbeit untersuchte auch Roboter, die gut im Zählen sind (wie das Zählen, wie viele 'a's in einer Zeichenkette vorkommen).

Frühere Forschungen zeigten, dass diese Roboter als Richter nur bis zu einem bestimmten Limit zählen konnten, das von ihrer Größe abhängt.
Als Geschichtenerzähler konnten sie jedoch etwas komplexere Zählaufgaben bewältigen. Der Akt des schrittweisen Vorhersagens des nächsten Wortes verlieh ihnen ein wenig mehr „Gehirnkraft" als das bloße Beurteilen der gesamten Zeichenkette auf einmal.

Zusammenfassung

Die Hauptaussage ist, dass wir nicht davon ausgehen können, dass das, was ein Transformer als „Richter" kann (Mustererkennung), genau dasselbe ist wie das, was er als „Geschichtenerzähler" kann (Textgenerierung).

In einfachen, schwarz-weißen Szenarien sind sie größtenteils gleich.
In der komplexen, realen Welt der Wahrscheinlichkeiten hat der „Geschichtenerzähler" einzigartige Fähigkeiten, die der „Richter" nicht hat, und umgekehrt.

Dies bedeutet, dass Wissenschaftler bei der Prüfung von KI-Fähigkeiten vorsichtig sein müssen. Nur weil ein Roboter einen „Sortier-Test" besteht, bedeutet das nicht, dass er beim „Schreiben einer Geschichte" versagen wird, und ein Roboter, der beim Sortieren großartig ist, könnte mit den spezifischen Regeln der Geschichtenerstellung kämpfen. Die Arbeit bietet eine Landkarte, um genau zu verstehen, wo diese Unterschiede liegen.

Technische Zusammenfassung: Von autoregressiven Transformern berechnete Wahrscheinlichkeitsverteilungen

Problemstellung

Bestehende theoretische Arbeiten zur Ausdruckskraft von Transformern behandeln diese überwiegend als Spracherkenner (Klassifikatoren), wobei die Eingabe ein vollständiger String ist und die Ausgabe eine binäre Klassifizierung (akzeptieren/ablehnen) darstellt. Der primäre praktische Anwendungsbereich von Transformern liegt jedoch in ihrer Funktion als Sprachmodelle (Autoregressoren), die Strings tokenweise generieren, indem sie eine Wahrscheinlichkeitsverteilung über das nächste Symbol gegeben ein Präfix vorhersagen.

Diese Arbeit adressiert eine fundamentale Lücke: Es ist unklar, welche theoretischen Ergebnisse bezüglich der Ausdruckskraft von Transformern im Erkennungssetting auf das Sprachmodell-Setting übertragbar sind. Insbesondere untersuchen die Autoren, ob die für Transformer als boolesche Klassifikatoren etablierten Äquivalenzklassen (z. B. Äquivalenz zur linearen temporalen Logik oder zu zählerfreien Automaten) auch dann gelten, wenn Transformer als reell-gewichtete oder boolesche Autoregressoren eingesetzt werden.

Methodik

Die Autoren entwickeln einen formalen Rahmen, um Transformer als Klassifikatoren versus Autoregressoren über zwei Gewichtungsbereiche zu vergleichen:

Boolescher Halbring ( $\mathbb{B}$ ): Gewichte sind $\{0, 1\}$ (Falsch/Wahr).
Reeller Halbring ( $\mathbb{R}_{\geq 0}$ ): Gewichte sind nicht-negative reelle Zahlen (Wahrscheinlichkeiten).

Sie definieren einen Zustandsencoder als Funktion, die einen String-Präfix auf eine Folge von Zuständen abbildet, wobei der Zustand an Position $i$ ausschließlich vom Präfix $w_{\leq i}$ abhängt. Unter Verwendung dieser Abstraktion analysieren sie vier spezifische Konfigurationen:

Boolesche Klassifikatoren: Abbildung eines vollständigen Strings auf einen booleschen Wert.
Boolesche Autoregressoren: Abbildung eines Präfixes auf eine Verteilung über den nächsten Token (boolesche Gewichte).
Reelle Klassifikatoren: Abbildung eines vollständigen Strings auf ein reelles Gewicht.
Reelle Autoregressoren: Abbildung eines Präfixes auf eine Wahrscheinlichkeitsverteilung über den nächsten Token.

Die Studie konzentriert sich auf Unique Hard Attention Transformers (UHATs) und Softmax Attention Transformers (SMATs) mit fester Präzision. Diese werden verglichen mit:

Linearer Temporaler Logik (LTL) und ihren Fragmenten (z. B. $TL[P]$, $TL[H]$).
Zählerfreien deterministischen endlichen Automaten (cfDFAs) und zählerfreien nichtdeterministischen endlichen Automaten (cfNFAs).

Die Kernmethodik umfasst die Konstruktion von Reduktionen zwischen diesen Formalismen, um zu bestimmen, ob einer den anderen sowohl im Klassifikator- als auch im Autoregressor-Modus simulieren kann.

Hauptbeiträge und Ergebnisse

1. Äquivalenz bei booleschen Klassifikatoren versus Autoregressoren

Vollständige LTL: Im booleschen Halbring sind LTL-Klassifikatoren und LTL-Autoregressoren äquivalent. Ein Transformer, der als boolescher Autoregressor agiert, kann dieselben Sprachen definieren wie einer, der als Klassifikator agiert, sofern die Logik die Operatoren „Gestern" ( $Y$ ) und „Historisch" ( $H$ ) einschließt.
Komplexität der Konvertierung: Obwohl äquivalent, kann die Konvertierung eines Autoregressors in einen Klassifikator (insbesondere das Entfernen des $Y$ -Operators) einen exponentiellen Anstieg der Formelgröße erfordern. Die Arbeit beweist, dass die Konstruktion einer polynomiell-zeitäquivalenten Transformation für bestimmte Fragmente unwahrscheinlich ist, es sei denn, $P = PSPACE$ oder $P = NP$.

2. Divergenz bei eingeschränkten Fragmenten (Boolesch)

Bei Einschränkung der Menge der temporalen Operatoren (z. B. auf $TL[H]$ oder $TL[P]$ ohne $Y$ ) werden Autoregressoren strikt ausdrucksstärker als Klassifikatoren.

Beispiel: Die Sprache $(ab)^*$ ist durch einen booleschen $TL[\emptyset]$ -Autoregressor definierbar, kann jedoch von keinem $TL[H]$- oder $TL[Y]$-Klassifikator definiert werden.
Implikation: Transformer mit spezifischen Aufmerksamkeitsmechanismen (wie linksläufige UHATs oder SMATs mit fester Präzision, die diesen Fragmenten entsprechen) können als Autoregressoren Sprachen erkennen, die sie als Klassifikatoren nicht erkennen können.

3. Divergenz bei reell-gewichteten Settings

Im reellen Halbring ändert sich das Landschaftsbild der Ausdruckskraft erheblich:

Klassifikatoren versus Autoregressoren: Sie sind inkomparabel.
- Es gibt gewichtete Sprachen, die durch reelle Autoregressoren ausdrückbar sind, aber nicht durch reelle Klassifikatoren (z. B. $(\frac{1}{2}a)^*$ , was unendlich viele verschiedene Gewichte erfordert).
- Es gibt gewichtete Sprachen, die durch reelle Klassifikatoren ausdrückbar sind, aber nicht durch reelle Autoregressoren (z. B. $(1a)^*$ , was keine normalisierte Wahrscheinlichkeitsverteilung darstellt).
UHATs und cfDFAs: Im reellen Setting sind UHATs (und LTL) als Autoregressoren äquivalent zu zählerfreien DFAs. Sie sind jedoch strikt weniger ausdrucksstark als gewichtete zählerfreie NFAs.
- Die Arbeit demonstriert einen zählerfreien gewichteten NFA, der nicht determinisierbar ist (nicht in einen äquivalenten gewichteten DFA umgewandelt werden kann), und zeigt damit, dass die Nichtdeterminiertheit im reell-gewichteten Setting Ausdruckskraft hinzufügt, die Transformer (modelliert als deterministische Zustandsencoder) nicht erfassen können.

4. Einfluss von Zähl-Operatoren

Die Arbeit revidiert Ergebnisse bezüglich Transformer mit Zählfähigkeiten (z. B. SMATs mit beliebiger Präzision innerhalb der Aufmerksamkeit, äquivalent zu $TL[\#]$ ).

Bisherige Arbeiten zeigten, dass diese Transformer als Klassifikatoren bestimmte Sprachen erkennen.
Diese Arbeit zeigt, dass diese Modelle als Autoregressoren leicht leistungsfähiger sind und in der Lage sind, Sprachen (wie $L_{k+2}$ ) zu erkennen, die sie als Klassifikatoren nicht erkennen können (beschränkt auf $L_k$ ). Dies erklärt Diskrepanzen zwischen theoretischen Erkennungsgrenzen und empirischer Symbolvorhersageleistung in der vorherigen Literatur.

Bedeutung und Behauptungen

Die Arbeit beansprucht, einen prinzipiellen Weg zur Interpretation bestehender Experimente zur Ausdruckskraft von Transformern zu bieten.

Validierung: In vielen Fällen (insbesondere bei vollständiger boolescher LTL) übertragen sich Ergebnisse aus der Literatur zur Spracherkennung auf Sprachmodelle. Da UHATs beispielsweise PARITY nicht als Klassifikatoren erkennen können, können sie dies auch nicht als Autoregressoren.
Einschränkungen: Die Autoren betonen, dass man nicht blind davon ausgehen darf, dass Erkennungsergebnisse auf Generierung anwendbar sind.
- Reelle Gewichte: Der Wechsel von booleschen zu reellen Gewichten bricht Äquivalenzen, die im booleschen Fall gefunden wurden (z. B. zwischen DFAs und NFAs).
- Autoregression versus Klassifikation: Autoregression kann die Ausdruckskraft in eingeschränkten logischen Fragmenten (Boolesch) strikt erhöhen und ändert die Klasse der ausdrückbaren gewichteten Sprachen (Reell).
Zukünftige Richtungen: Die Autoren schlagen vor, dass zukünftige Arbeiten diese Ergebnisse auf Softmax-Aufmerksamkeit mit logarithmischer Präzision, Positionsencodings und „Chain-of-Thought"-Schlussfolgerungen in reell-gewichteten Settings erweitern sollten, wobei sie feststellen, dass aktuelle Techniken zum Beweis der Nichtausdrückbarkeit bei Autoregressoren begrenzt sind.

Zusammenfassend stellt die Arbeit fest, dass Transformer als Sprachmodelle zwar einen großen Teil ihrer theoretischen Grundlage mit Transformern als Erkennern teilen, aber der Wechsel zu Autoregression und reellwertigen Wahrscheinlichkeiten subtile, aber kritische Unterschiede in der rechnerischen Ausdruckskraft einführt, insbesondere hinsichtlich der Kraft der Nichtdeterminiertheit und der spezifisch verfügbaren temporalen Operatoren.