💻 computer science

How Many Different Outputs Can a Transformer Generate?

Diese Arbeit zeigt, dass die Fähigkeit eines Transformators, diverse Ausgabesequenzen zu generieren, grundlegend durch die Länge des Prompts begrenzt ist, indem sie nachweist, dass die Anzahl der zugänglichen Sequenzen linear mit dem Prompt wächst, während der Anteil der zugänglichen Sequenzen jenseits eines kritischen Schwellenwerts exponentiell abfällt, wodurch empirische Misserfolge bei Aufgaben wie dem Kopieren und Einprägen erklärt werden.

Ursprüngliche Autoren: Maxime Meyer, Mario Michelessa, Caroline Chaux, Vincent Y. F. Tan

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Maxime Meyer, Mario Michelessa, Caroline Chaux, Vincent Y. F. Tan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „endliche Bibliothek" eines Transformers

Stellen Sie sich einen Transformer (das KI-Modell hinter Chatbots) nicht als unendlichen, magischen Geist vor, sondern als eine riesige, hochtechnologische Bibliothek.

Das Paper stellt eine einfache Frage: Wie viele verschiedene Bücher (Wortfolgen) kann diese Bibliothek tatsächlich produzieren?

Die Autoren entdeckten eine überraschende Grenze: Egal wie groß die Bibliothek ist oder wie viel Zeit man ihr gibt, sie kann nur eine endliche Anzahl einzigartiger Geschichten schreiben. Die meisten möglichen Geschichten sind grundsätzlich „unzugänglich" – die Bibliothek hat einfach nicht den physischen Platz oder die „Tinte", um sie zu schreiben, selbst wenn man versucht, sie durch verschiedene Eingabeaufforderungen (Prompts) zu täuschen.

Die Kernanalogie: Die pixelige Karte

Um zu verstehen, warum dies passiert, stellen Sie sich den internen Denkprozess des Transformers als eine riesige Karte vor (genannt „Embedding-Raum").

Die Karte ist pixelig: Da Computer Zahlen mit begrenzter Genauigkeit verwenden (wie ein digitales Foto mit einer festen Anzahl von Pixeln), ist diese Karte nicht glatt und kontinuierlich. Sie besteht aus winzigen, diskreten „Kacheln" oder „Pixeln".
Die Zonen: Auf dieser Karte entsprechen verschiedene Bereiche verschiedenen nächsten Wörtern. Wenn der interne „Zeiger" der KI in Zone A landet, schreibt es „Katze". Wenn es in Zone B landet, schreibt es „Hund".
Das Größenproblem: Wenn Sie die KI bitten, eine immer längere Geschichte zu schreiben, explodiert die Anzahl möglicher Wortkombinationen.
- Stellen Sie sich vor, Sie versuchen, jede mögliche Satzfolge der Länge 100 auf diese Karte zu passen.
- Da die Karte aus endlichen Kacheln besteht, werden die „Zonen" für spezifische lange Sätze unglaublich winzig – kleiner als ein einzelnes Pixel.
- Sobald eine Zone kleiner als ein Pixel ist, kann die KI sie nicht mehr von ihren Nachbarn unterscheiden. Sie kann den Pfad, um diesen spezifischen langen Satz zu schreiben, buchstäblich nicht mehr „sehen".

Die drei wichtigsten Erkenntnisse

Das Paper beweist drei Hauptpunkte bezüglich dieser „pixeligen Karte":

1. Der „Prompt" ist der Schlüssel, hat aber eine Grenze
Stellen Sie sich den „Prompt" (den Text, den Sie eingeben) als einen Schlüssel vor, der eine bestimmte Tür in der Bibliothek öffnet.

Das Paper zeigt, dass die Länge der Geschichte, die die KI schreiben kann, linear mit der Länge Ihres Schlüssels (des Prompts) wächst.
Analogie: Wenn Sie der KI einen 1-Wort-Prompt geben, kann sie vielleicht nur eine 10-Wort-Geschichte schreiben. Wenn Sie ihr einen 10-Wort-Prompt geben, könnte sie eine 100-Wort-Geschichte schreiben. Aber Sie können nicht einfach endlos Wörter hinzufügen; irgendwann läuft der „Schlüssel" aus einzigartigen Kombinationen aus, um neue, längere Pfade zu entsperren.

2. Die „Klippe" des Versagens
Es gibt einen bestimmten Längenschwellenwert.

Unterhalb der Klippe: Die KI funktioniert perfekt. Sie kann fast jede kurze Sequenz kopieren oder generieren, die Sie verlangen.
Oberhalb der Klippe: Die Anzahl der Geschichten, die sie schreiben kann, stürzt von einer Klippe ab. Es wird nicht nur ein wenig schlechter; es wird plötzlich unmöglich, die meisten langen Sequenzen zu generieren.
Analogie: Stellen Sie sich eine Treppe vor, bei der die ersten 50 Stufen solide sind. Aber die 51. Stufe ist eine Falltür. Sobald Sie eine bestimmte Länge überschreiten, sinkt die Wahrscheinlichkeit, dass die KI erfolgreich eine spezifische lange Wortfolge schreibt, exponentiell schnell auf nahezu null.

3. Das „Cramming"-Experiment
Die Forscher testeten dies, indem sie versuchten, eine spezifische lange Sequenz mit einem speziellen, optimierten Prompt (wie einem Hauptschlüssel) in das Gedächtnis der KI zu „stopfen".

Ergebnis: Sie stellten fest, dass die KI bei kurzen Sequenzen dazu gezwungen werden konnte, diese auszugeben. Aber sobald die Sequenz zu lang wurde, half kein „Cramming" mehr. Die KI konnte die Sequenz einfach nicht generieren, egal wie sehr sie den Prompt abstimmen versuchten.
Dies erklärt, warum KI-Modelle manchmal bei einfachen Aufgaben wie dem perfekten Kopieren eines langen Textstrangs versagen, selbst wenn sie speziell dafür trainiert wurden. Es ist kein Trainingsfehler; es ist eine strukturelle Grenze der Architektur.

Warum passiert das? (Die Metapher des „Rundungsfehlers")

Das Paper argumentiert, dass dies auf begrenzte Genauigkeit zurückzuführen ist.

Die Metapher: Stellen Sie sich vor, Sie zeichnen ein Bild mit einem Lineal, das nur Markierungen alle Millimeter hat. Sie können leicht eine gerade Linie ziehen. Aber wenn Sie versuchen, einen sehr komplexen, langen, gewundenen Pfad zu zeichnen, der erfordert, dass Sie an einem Punkt drehen, der 0,0001 Millimeter von einer Markierung entfernt ist, kann Ihr Lineal das nicht. Sie sind gezwungen, auf den nächsten Millimeter zu runden.
Das Ergebnis: Über eine lange Sequenz hinweg summieren sich diese winzigen Rundungsfehler. Der interne „Zeiger" der KI driftet vom winzigen, präzisen Pfad ab, der erforderlich ist, um einen spezifischen langen Satz zu schreiben, und landet in einer anderen Zone, wodurch ein anderes Wort produziert wird.

Zusammenfassung

Transformer sind nicht unendlich: Sie haben eine harte, mathematische Grenze dafür, wie viele eindeutige Sequenzen sie generieren können.
Es ist ein geometrisches Problem: Die Grenze ergibt sich aus der Form und Größe der „Karte" innerhalb der KI und der Tatsache, dass Computer keine unendliche Genauigkeit speichern können.
Die „Klippe": Die Leistung ist bei kurzen Aufgaben hervorragend, bricht aber bei langen Aufgaben abrupt zusammen, nicht allmählich.
Es ist fundamental: Dies liegt nicht daran, dass das Modell „dumm" oder schlecht trainiert ist. Selbst mit unendlicher Zeit und Daten kann die Architektur selbst die meisten langen Sequenzen nicht generieren.

Das Paper kommt zu dem Schluss, dass diese Einschränkung eine fundamentale Eigenschaft des Transformer-Designs ist, die für alle Modellgrößen gilt, von kleinen bis zu den massiven, die heute verwendet werden.

Technische Zusammenfassung: Wie viele verschiedene Ausgaben kann ein Transformer generieren?

Problemstellung

Trotz des empirischen Erfolgs von Transformern in der natürlichen Sprachverarbeitung und Computer Vision zeigen diese Modelle fundamentale Versagen bei einfachen algorithmischen Aufgaben, wie dem Kopieren oder Wiederholen von Sequenzen, sobald die Eingabelänge einen bestimmten Schwellenwert überschreitet. Während frühere Arbeiten diese Versagen auf Trainingsdaten oder Optimierungsprobleme zurückführten, geht diese Arbeit davon aus, dass sie aus intrinsischen architektonischen Einschränkungen resultieren. Konkret untersuchen die Autoren die Erreichbarkeit von Ausgabesequenzen: die Menge aller Tokensequenzen, die ein Transformer generieren kann, gegeben jeden möglichen Prompt (einschließlich optimierter weicher Prompts) und eine beliebige Kontextlänge. Die Kernfrage lautet: Wie viele verschiedene Sequenzen kann ein Transformer tatsächlich ausgeben, und wie skaliert diese Kapazität mit der Prompt-Länge und der Modellarchitektur?

Methodik

Die Autoren nähern sich dem Problem an, indem sie die geometrischen Einschränkungen analysieren, die durch endliche numerische Präzision und die beschränkte Natur der internen Repräsentationen innerhalb der Transformer-Architektur auferlegt werden.

Mean-Field-Formulierung: Um beliebige Prompt-Längen zu handhaben, interpretieren die Autoren Transformer als Abbildungen zwischen Wahrscheinlichkeitsmaßen (Mean-Field-Erweiterung) statt als endliche Sequenzen. Dies nutzt die Permutationsäquivarianz der Attention-Schichten aus.
Partitionierung des Embedding-Raums: Der Embedding-Raum wird in Regionen ( $E_t$ ) partitioniert, die dem wahrscheinlichsten nächsten Token (oder einer Sequenz von Tokens) basierend auf der Projektionsausgabe des Decoders entsprechen.
Analyse der Packungszahlen: Die Autoren nutzen das Konzept der Packungszahlen (die maximale Anzahl disjunkter Kugeln eines gegebenen Radius, die in einen Raum passen), um die Anzahl der verschiedenen Eingaben zu quantifizieren, die ein Transformer unterscheiden kann.
- Annahme endlicher Präzision: Sie gehen davon aus, dass der Transformer eine endliche Präzision $\epsilon$ hat, was bedeutet, dass er Eingaben, die näher als $\epsilon$ beieinander liegen, nicht unterscheiden kann (modelliert als achsenparallele Würfel oder Kugeln).
- Beschränkter Träger: Sie gehen davon aus, dass der Embedding-Träger innerhalb eines beschränkten Bereichs enthalten ist (z. B. eine Kugel mit Radius $r$ ).
Theoretische Herleitung: Durch Abschätzung der Packungszahl des Eingaberaums relativ zum Volumen des Embedding-Trägers leiten sie obere Schranken für die Anzahl der erreichbaren Sequenzen ab.
Empirische Validierung: Die theoretischen Vorhersagen werden mit der „Cramming"-Aufgabe (Kuratov et al., 2025) getestet, bei der ein eingefrorener Transformer auf optimierte weiche Prompts konditioniert wird, um spezifische Zielsequenzen zu generieren. Zudem bewerten sie Kopieraufgaben, um längenabhängige Generalisierungsversagen zu beobachten.

Hauptbeiträge

1. Endliche Erreichbarkeit von Sequenzen

Die Arbeit beweist, dass ein Transformer nur eine endliche Menge verschiedener Sequenzen ausgeben kann, unabhängig von der Prompt-Länge oder der Inferenzstrategie.

Satz 4.5: Für einen Transformer mit Präzision $\epsilon$ , Embedding-Radius $r$ und Prompt-Länge $m$ ist die Anzahl der verschiedenen erreichbaren Sequenzen durch $(1 + 2r/\epsilon)^{dm}$ nach oben beschränkt.
Implikation: Die meisten Sequenzen sind fundamental unerreichbar; keine Wahl des Prompts kann dazu führen, dass das Modell sie generiert.

2. Lineares Wachstum und exponentieller Abfall

Die Autoren stellen eine präzise Beziehung zwischen Prompt-Länge und der maximalen Länge erreichbarer Sequenzen her:

Lineares Wachstum: Die maximale Länge $n$ erreichbarer Sequenzen wächst linear mit der Prompt-Länge $m$ ( $n \propto m$ ).
Exponentieller Abfall: Jenseits eines kritischen Schwellenwerts $N$ nimmt der Anteil erreichbarer Sequenzen der Länge $n$ exponentiell mit $n$ ab.
Theoretischer Schwellenwert: Sie leiten eine explizite Formel für diesen Schwellenwert ab: $n^* \approx C \cdot m$ , wobei $C$ von der Embedding-Dimension $d$ , der Vokabulargröße $|V|$ , der Präzision $\epsilon$ und dem Träger-Radius $r$ abhängt.

3. Erklärung empirischer Versagen

Die Analyse liefert eine theoretische Erklärung für das in der Praxis beobachtete „plötzliche Versagen" (z. B. perfektes Kopieren bis zur Länge $L$ , dann komplettes Versagen). Die Arbeit argumentiert, dass dies keine graduelle Verschlechterung ist, sondern eine Folge des exponentiellen Abfalls erreichbarer Sequenzen jenseits des kritischen Schwellenwerts.

4. Verfeinerte Schranken durch Geometrie

Die Autoren verfeinern ihre theoretischen oberen Schranken, indem sie die Annahme eines uniformen, kugelförmigen Embedding-Trägers lockern. Sie schlagen vor:

Anisotrope Träger: Modellierung des Trägers als Kegel oder Ellipsoide, um die tatsächliche Verteilung der Embeddings besser zu erfassen.
Nicht-uniforme Zellvolumina: Berücksichtigung der Tatsache, dass häufige Tokens größere Regionen im Embedding-Raum einnehmen als seltene Tokens.
Diese Verfeinerungen verringern die Lücke zwischen theoretischen oberen Schranken und empirischen Beobachtungen (von einem Faktor von ~10 auf ~5–6).

Ergebnisse

Theoretische Vorhersagen

Korollar 4.6: Für ein festes Prompt-Budget $m$ bleibt die Erreichbarkeit bis zu einer Länge $n^*(m)$ hoch und fällt dann exponentiell ab. Die Steigung dieser linearen Beziehung ist durch $C \leq \frac{d \ln(1 + 2r/\epsilon)}{\ln(|V|)}$ nach oben beschränkt.
Korollar 4.10: Selbst bei unbegrenztem Kontext und Berechnung existiert ein Schwellenwert $N$ , jenseits dessen fast alle Sequenzen unerreichbar sind.

Empirische Validierung

Cramming-Aufgabe: Experimente an Modellen (Pythia, Qwen-2.5, Llama-3.2, Gemma-3) zeigen, dass die Länge $n_{50}$ (bei der die Erreichbarkeit auf 50 % fällt) linear mit der Anzahl der trainierbaren Memory-Vektoren $m$ skaliert ( $R^2 > 0,99$ ).
Steigungsvergleich: Die empirisch beobachteten Steigungen liegen konsistent unter den theoretischen oberen Schranken, wobei das Verhältnis zwischen Theorie und Experiment je nach Modell und verwendeten geometrischen Annahmen zwischen 4,5 und 20,4 liegt.
Kopieraufgabe: Modelle, die zum Kopieren von Sequenzen bis zur Länge 50 trainiert wurden, versagen abrupt, wenn sie an längeren Sequenzen getestet werden, was die Existenz eines scharfen Erreichbarkeitsschwellenwerts unabhängig von der Prompt-Länge bestätigt.
Verteilung der Zellvolumina: Die Analyse zeigt, dass die Zellvolumina des Decoders stark schief verteilt sind; eine kleine Menge häufiger Tokens (z. B. Leerzeichen, Satzzeichen) nimmt einen unverhältnismäßig großen Anteil des Embedding-Raums ein, was die Erreichbarkeitsschranken im Vergleich zu uniformen Annahmen verschärft.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste rigorose theoretische Erklärung für die intrinsischen Grenzen von Transformern bei Aufgaben zur Sequenzgenerierung zu liefern. Ihre Bedeutung liegt in:

Architektonische Grenzen: Der Nachweis, dass die Unfähigkeit, lange Sequenzen zu kopieren, eine fundamentale Eigenschaft der endlichen Präzision und der beschränkten Repräsentationen der Architektur ist und nicht lediglich ein Trainingsartefakt.
Vorhersagekraft: Die Bereitstellung einer Formel zur Vorhersage der Leistungsgrenzen eines Transformers allein basierend auf der Geometrie seines Embedding-Raums (Dimension, Vokabulargröße, Präzision und Trägerform), ohne das vollständige Parameterset inspizieren zu müssen.
Generalisierbarkeit: Die Ergebnisse erstrecken sich über Transformer hinaus auf jede Architektur mit beschränkten internen Repräsentationen und endlicher Präzision (z. B. State-Space-Modelle wie Mamba, wobei divergierende versteckte Zustände Herausforderungen darstellen).

Die Autoren schließen, dass der Embedding-Raum, obwohl er nur einen Bruchteil der Modellparameter repräsentiert, aussagekräftige Informationen über die fundamentalen Fähigkeiten und Grenzen des Modells trägt.