💬 NLP

On the "Induction Bias" in Sequence Models

Diese Arbeit zeigt, dass Transformer im Gegensatz zu rekurrenten neuronalen Netzen, die Zustandsverfolgungsmechanismen effektiv über Sequenzlängen hinweg teilen, signifikant mehr Trainingsdaten benötigen, wenn der Zustandsraum und die Länge zunehmen, und aufgrund eines Mangels an Gewichtsteilung nicht über Längen hinweg generalisieren können, was grundlegende In-Distribution-Limitierungen in ihren Fähigkeiten zur Zustandsverfolgung offenbart.

Ursprüngliche Autoren: M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Zwei verschiedene Denkweisen

Stellen Sie sich vor, Sie bringen zwei verschiedenen Schülern bei, wie man eine lange Matheaufgabe löst: das Aufsummieren einer sehr langen Liste von Zahlen.

Schüler A (Das rekursive Modell/RNN): Dieser Schüler ist wie eine Person, die durch einen Flur geht. Er nimmt eine Zahl auf, addiert sie zu seiner mentalen Gesamtsumme, geht zum nächsten Raum, nimmt die nächste Zahl auf, addiert sie zur aktuellen Summe und so weiter. Er kann nicht zum Anfang zurückgehen; er trägt nur die „aktuelle Summe“ in seinem Kopf mit sich herum.
Schüler B (Der Transformer): Dieser Schüler ist wie eine Person, die in einem riesigen Raum vor einem massiven Whiteboard steht. Er kann jede Zahl auf dem Board gleichzeitig sehen. Um das Problem zu lösen, kann er die erste Zahl betrachten, dann die letzte, dann die mittlere, und das alles gleichzeitig, um durch den Blick auf das Gesamtbild die Antwort zu finden.

Die Arbeit fragt: Welcher Schüler lernt diese Aufgabe schneller, und lernt er eine allgemeine Regel oder lernt er nur spezifische Antworten auswendig?

Die Kernentdeckung: Der „Induction Bias“

Die Autoren führen ein Konzept namens „Induction Bias“ (Induktions-Bias) ein. Betrachten Sie dies als den natürlichen „Lernstil“ oder die „Gewohnheit“ eines Schülers.

Schüler A (RNN) hat einen starken Induction Bias: Da er die Summe Schritt für Schritt aktualisieren muss, lernt er natürlich eine wiederverwendbare Regel: „Um die neue Summe zu erhalten, nimm die alte Summe und addiere die neue Zahl.“ Diese Regel funktioniert für eine Liste von 5 Zahlen, 50 Zahlen oder 500 Zahlen. Er lernt den Mechanismus der Addition.
Schüler B (Transformer) mangelt es an diesem Bias: Da er das ganze Board auf einmal sehen kann, muss er die schrittweise Regel nicht lernen. Stattdessen versucht er oft, das spezifische Muster für die Länge der Liste auswendig zu lernen, die er gerade vor sich hat.

Die Experimente: Was ist passiert?

Die Forscher testeten diese Schüler an synthetischen Aufgaben (wie modularer Addition und dem Vertauschen von Elementen), um zu sehen, wie viel Trainingsdaten sie benötigen, um den Job zu meistern.

1. Das Problem der „Datenhungrigkeit“

Das Ergebnis: Wenn die Liste der Zahlen länger wird, benötigt Schüler A (RNN) nur ein winziges bisschen mehr Übung. Schüler B (Transformer) benötigt massiv viel mehr Übung.
Die Analogie: Wenn Schüler A lernt, eine 5-Elemente-Liste zu addieren, kann er problemlos eine 10-Elemente-Liste handhaben, weil er einfach denselben Schritt immer wieder ausführt. Schüler B hingegen scheint eine 5-Elemente-Liste und eine 10-Elemente-Liste als völlig unterschiedliche Fächer zu behandeln. Um die 10-Elemente-Liste zu lernen, muss er fast alles von Grund auf neu lernen, was Millionen von weiteren Beispielen erfordert.

2. Der „Supervisions“-Stil (Wie sie unterrichtet werden)

Die Forscher versuchten, sie auf drei Arten zu unterrichten:

Nur das Ergebnis: „Hier ist die Liste. Nenne mir die endgültige Summe.“ (Ohne Hinweise).
Chain of Thought (CoT): „Hier ist die Liste. Schreibe die laufende Summe nach jeder Zahl auf und gib mir dann die endgültige Summe.“
Aligned CoT: „Hier ist die Liste. Nenne für jede Zahl die laufende Summe direkt daneben.“

Die Ergebnisse:

Schüler A (RNN): Liebte die „Aligned CoT“-Methode. Da der Lehrer ihm die laufende Summe direkt neben der Zahl gab, passte dies perfekt zu seinem schrittweisen Geh-Stil. Er lernte unglaublich schnell.
Schüler B (Transformer): Hasste „Aligned CoT“. Es zwang ihn, anzuhalten und für jede einzelne Zahl eine Summe aufzuschreiben, was sich unnatürlich für seinen „Alles-auf-einmal-ansehen“-Stil anfühlte. Er lernte tatsächlich besser mit der „Chain of Thought“-Methode, bei der er die gesamte Sequenz der Summen am Ende schreiben konnte, was es ihm ermöglichte, auf sein eigenes Whiteboard zurückzugreifen, um auf seine vorherigen Antworten zu schauen.

3. Die „Spezialisierungsfalle“

Dies ist die wichtigste Erkenntung. Die Forscher fragten: Lernt dieser Schüler eine allgemeine Regel oder lernt er nur spezifische Längen auswendig?

Schüler A (RNN): Er lernte eine allgemeine Regel. Wenn man ihn auf gemischten Listen der Längen 5, 10 und 20 trainiert, wird er in allen Bereichen besser. Die Daten für die kurzen Listen helfen ihm, auch die langen Listen zu lösen. Er teilt seine „Gehirnleistung“ über alle Längen hinweg auf.
Schüler B (Transformer): Er lernte längenspezifische Tricks. Wenn man ihn auf gemischten Listen der Längen 5, 10 und 20 trainiert, wird er tatsächlich schlechter oder bleibt gleich. Es ist, als würde er versuchen, drei verschiedene Sprachen gleichzeitig zu lernen und dabei verwirrt zu werden. Er teilt sein Wissen nicht; er baut für jede Listenlänge einen separaten, isolierten „Schaltkreis“.
- Die „destruktive Interferenz“: In einigen Fällen war es effizienter, drei separate Transformer zu trainieren (einen für Länge 5, einen für 10, einen für 20), als einen großen Transformer zu nutzen, der versucht, alle drei gleichzeitig zu lernen.

Warum ist das wichtig?

Die Arbeit argumentiert, dass State Tracking (das Verfolgen einer sich über die Zeit ändernden Situation) eine fundamentale Schwäche für Transformer ist, selbst wenn die Testdaten exakt wie die Trainingsdaten aussehen.

Der „Kontext-Verfall“ (Context Rot): Da Transformer die schrittweise Regel nicht natürlich lernen, haben sie Schwierigkeiten, wenn der Kontext (die Länge des Gesprächs oder der Geschichte) länger wird. Sie benötigen exponentiell mehr Daten, um längere Geschichten zu bewältigen.
Das „Agentische“ Problem: Die Autoren legen nahe, dass, wenn wir wollen, dass KI-Agenten (wie Roboter oder Software-Assistenten) über die Zeit mit der Welt interagieren, Transformer sehr ineffizient sein könnten, da sie nicht in der Lage sind, ihr Lernen einfach über verschiedene Zeitspannen zu „amortisieren“.

Zusammenfassung in einem Satz

Während Transformer fantastisch darin sind, ein ganzes Bild auf einmal zu erfassen, sind sie schrecklich darin, die einfachen, schrittweisen Regeln zu lernen, die nötig sind, um Veränderungen über die Zeit zu verfolgen; dies zwingt sie dazu, spezifische Szenarien auswendig zu lernen, anstatt eine allgemeine Fähigkeit zu erwerben, was sie im Vergleich zu älteren, schrittweisen Modellen unglaublich datenhungrig macht.

Technisches Resümee: Über den „Induktions-Bias“ in Sequenzmodellen

Problemstellung

Obwohl Transformer-basierte Sprachmodelle bemerkenswerte praktische Erfolge erzielt haben, hat die jüngere Literatur deren fundamentale Limitationen bei der Zustandsverfolgung (State Tracking) hervorgehoben, insbesondere im Hinblick auf die Generalisierung außerhalb der Verteilung (Out-of-Distribution, OOD), wie etwa die Längenextrapolation. Es bleibt jedoch weniger verstanden, inwieweit sich diese Limitationen innerhalb der Verteilung (In-Distribution) manifestieren – speziell hinsichtlich der Dateneffizienz und der Fähigkeit, über verschiedene Sequenzlängen innerhalb der Trainingsverteilung hinweg zu generalisieren.

Diese Arbeit postuliert, dass das Kernproblem im Induktions-Bias der Architekturen liegt. Transformer berechnen Ausgaben, indem sie auf alle vorherigen Eingaben und Ausgaben innerhalb eines Kontextfensters aufmerksam werden (Attention), was theoretisch eine globale Neuberechnung des Zustands ermöglicht. Im Gegensatz dazu müssen rekurrenten neuronalen Netzen (RNNs) alle relevanten Informationen der Vergangenheit in einem einzigen verborgenen Zustandsvektor an jedem Zeitschritt kodieren. Die Autoren argumentieren, dass diese Beschränkung in RNNs einen „Schritt-für-Schritt“-Zustandsaktualisierungsmechanismus begünstigt (analog zum Induktionsschritt in mathematischen Beweisen), den sie als „Induktions-Bias“ bezeichnen. Dieser Bias erleichtert die Weitergabe von Lösungsmechanismen über variierende Sequenzlängen hinweg, während Transformer tendenziell längenspezifische Lösungen isoliert lernen.

Methodik

Die Autoren führen eine groß angelegte, systematische empirische Studie durch, um die Dateneffizienz von Transformern gegenüber rekurrenten Modellen bei synthetischen State-Tracking-Aufgaben zu quantifizieren.

Aufgaben

Die Studie formalisiert das State Tracking als Aufrechterhaltung eines latenten Zustands unter einer Sequenz von Aktualisierungen innerhalb eines gruppentheoretischen Rahmens. Zwei kanonische Aufgaben werden verwendet:

Modulare Addition: Eine kommutative Operation über der zyklischen Gruppe $\mathbb{Z}_m$ .
Permutationskomposition: Eine nicht-kommutative Operation über der symmetrischen Gruppe $S_5$ .

Diese synthetischen Aufgaben ermöglichen die unabhängige Kontrolle von Sequenzlänge ( $n$ ) und Zustandsraumgröße (Modulus $m$ ), wodurch die State-Tracking-Berechnung von Artefakten des Sprachverständnisses oder des Auswendiglernens isoliert wird.

Supervision-Regime

Drei Aufgabenformate werden evaluiert, um die Dichte des Supervisionssignals zu variieren:

Outcome Supervision: Das Modell sagt nur die finale Summe/den finalen Zustand voraus.
Chain-of-Thought (CoT): Das Modell generiert eine Sequenz intermediärer Teilsummen autoregressiv.
Aligned Chain-of-Thought (ACoT): Das Modell gibt die Teilsumme aus, die dem jeweiligen Input-Token entspricht (Pro-Token-Supervision).

Modelle

Die Studie vergleicht:

Transformer: Multi-Layer Decoder-only Architekturen (GPT-2 Stil, 6 Layer).
Rekurrente Modelle: Long Short-Term Memory (LSTM) und Dense State-Space Models (Dense-SSMs), die input-abhängige, dichte Übergangsmatrizen nutzen.
Selektive SSMs: Mamba wird zur Analyse des Weight-Sharings einbezogen.

Metriken

Die primäre Metrik ist die Beispiel-Effizienz (Sample Efficiency), definiert als die minimale Datensatzgröße ( $N^*$ ), die ein Modell benötigt, um einen Konvergenzschwellenwert im Validierungsverlust zu unterschreiten. Zusätzlich führen die Autoren einen Sharing Factor ( $\kappa$ ) ein, um das Mechanismen-Sharing über Längen hinweg zu quantifizieren:
$\kappa = \frac{\sum_{n=2}^{L} N^*_n}{N^*_{joint}}$
Wobei $N^*_n$ die benötigten Samples für eine feste Länge $n$ sind und $N^*_{joint}$ die Samples sind, die benötigt werden, um alle Längen gleichzeitig zu lernen.

$\kappa > 1$ : Deutet auf amortisiertes Lernen (geteilte Mechanismen) hin.
$\kappa \approx 1$ : Deutet auf isoliertes, längenspezifisches Lernen hin.
$\kappa < 1$ : Deutet auf destruktive Interferenz hin.

Kernergebnisse

1. Divergierende Präferenzen für die Supervision

Transformer arbeiten am effizientesten mit Chain-of-Thought (CoT) Supervision. Sie haben erhebliche Schwierigkeiten mit Aligned CoT und Outcome Supervision und scheitern oft daran, auf nicht-trivialen Konfigurationen zu konvergieren.
Rekurrente Modelle (LSTM/Dense-SSM) zeigen eine überlegene Sample-Effizienz mit Aligned CoT (ACoT) und Outcome Supervision. Sie haben Schwierigkeiten mit CoT, wahrscheinlich aufgrund eines „Recall-Bottlenecks“, bei dem sie nach der Verarbeitung des vollständigen Inputs die intermediären Berechnungen erst unrollen müssen.

2. Dateneffizienz und Sequenzlänge

Transformer: Die Menge der benötigten Trainingsdaten wächst rapide mit der Sequenzlänge und der Größe des Zustandsraums. Entscheidend ist, dass Transformer die durch längere Sequenzen in CoT-Formaten bereitgestellten zusätzlichen Supervisionssignale nicht nutzen können; die Stichprobenkomplexität sinkt nicht wie erwartet mit längeren Sequenzen.
Rekurrente Modelle: Im ACoT-Regime zeigen rekurrenten Modelle eine verbesserte Dateneffizienz, wenn die maximale Sequenzlänge steigt, was darauf hindeutet, dass sie die erhöhte Dichte der Supervisionssignale effektiv nutzen. Im Regime der Outcome Supervision liefern kürzere Sequenzen für RNNs ein stärkeres Lernsignal als längere Sequenzen.

3. Weight Sharing und Induktions-Bias

Transformer weisen einen niedrigen Sharing Factor ( $\kappa \approx 1$ oder $\kappa < 1$ ) über alle Aufgabenformate hinweg auf. Dies deutet darauf hin, dass sie längenspezifische Lösungen isoliert lernen. Im CoT-Regime zeigen Transformer destruktive Interferenz ( $\kappa \ll 1$ ), wobei das Training auf gemischten Längen weniger effizient ist als das Training separater Modelle für jede Länge.
Rekurrente Modelle weisen hohe Sharing Faktoren ( $\kappa \gg 1$ ) in ihren bevorzugten Regimen (Outcome und ACoT) auf. Dies bestätigt, dass sie einen wiederverwendbaren Übergangsoperator internalisieren, der es ermöglicht, dass Daten aus einer Sequenzlänge die Lernkosten für andere amortisieren.
Korrelation mit OOD: Die Arbeit findet eine starke Korrelation zwischen einem hohen Sharing Factor und der Fähigkeit, auf ungesehene Sequenzlängen (OOD) zu generalisieren. Modelle mit niedrigen Sharing Faktoren können nicht extrapolieren.

Bedeutung und Behauptungen

Die Autoren behaupten, dass State Tracking eine fundamentale Herausforderung für Transformer bleibt, selbst wenn Trainings- und Evaluationsverteilungen übereinstimmen. Die Studie zeigt:

Transformer benötigen eine extrem große Menge an Trainingsdaten, um auf einfachen State-Tracking-Aufgaben selbst in-distribution zu generalisieren.
Der Mangel an „Induktions-Bias“ in Transformern verhindert ein effektives Weight-Sharing über Sequenzlängen hinweg, was zu isoliertem Lernen von längenspezifischen Heuristiken führt.
Die Dateneffizienz von Transformern skaliert schlecht mit der Sequenzlänge, was die Herausforderungen wie „Context Rot“ in großen Kontextfenstern erklären könnte.
Obwohl Transformer diese Aufgaben mit spezifischer Supervision (CoT) lernen können, tun sie dies, indem sie distinkte Mechanismen für jede Länge lernen, statt eines generalisierbaren Algorithmus.

Die Autoren kommen zu dem Schluss, dass diese Befunde darauf hindeuten, dass End-to-End-Lernen in „agentischen“ Szenarien (z. B. Robotik, GUI-Steuerung), die ein langfristiges State Tracking erfordern, für Transformer wesentlich schwieriger sein könnte als bisher angenommen, da ihnen der inhärente Induktions-Bias fehlt, um State-Update-Mechanismen über variierende zeitliche Skalen hinweg effizient zu teilen.

Limitationen

Die Autoren räumen ein, dass ihre Studie auf einem repräsentativen Satz synthetischer Aufgaben und Modelle beschränkt ist. Obwohl diese Aufgaben das State Tracking isolieren, bilden sie nicht die volle Komplexität realer sequenzieller Vorhersagen ab. Zudem begrenzt der enorme Suchraum der Experimente die Anzahl der Architekturen und Aufgabenfamilien, die direkt evaluiert werden konnten. Der Transfer dieser Dateneffizienz-Muster auf realistische Domänen (Code-Ausführung, embodied Control) bleibt ein Forschungsfeld für die Zukunft.