🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

Das Papier stellt MLP-LDRU vor, eine rekurrente Einheit mit logarithmischer Tiefe, die Rekurrenz durch parallele Reduktion approximiert, um eine nahezu perfekte Längengeneralisierung bei Aufgaben mit regulären Sprachen und wettbewerbsfähige Leistung auf breiteren Benchmarks zu erreichen, wodurch die Positionsverzerrungen rekurrenter Modelle und die Tiefenbeschränkungen von Transformern effektiv adressiert werden.

Ursprüngliche Autoren: Charles Pert, Dalal Alrajeh, Alessandra Russo

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Charles Pert, Dalal Alrajeh, Alessandra Russo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „kurze Gedächtnis" der KI

Stellen Sie sich vor, Sie bringen einem Kind das Zählen bei. Wenn Sie nur bis 10 üben, könnte das Kind verwirrt sein, wenn es aufgefordert wird, bis 100 zu zählen. Es hat nicht die Regel des Zählens gelernt; es hat sich nur die ersten zehn Zahlen gemerkt.

In der Welt der Künstlichen Intelligenz (neuronale Netze) nennt man dies das Length Generalization-Problem.

RNNs (Old School): Stellen Sie sich diese wie eine Staffel vor, bei der der Stab nacheinander von einer Person zur nächsten weitergegeben wird. Wenn das Rennen lang ist, muss der erste Läufer lange warten, bis der Stab wieder bei ihm ist. Bis das Rennen zu Ende ist, wird er müde (vergisst Dinge).
Transformer (Moderne Giganten): Stellen Sie sich diese wie eine Gruppe von Menschen vor, die in einem Kreis stehen und alle gleichzeitig schreien. Sie können alle sofort hören, aber wenn der Kreis zu riesig wird, wird das Geräusch chaotisch, und sie haben Schwierigkeiten, das Muster zu verstehen, wenn sich die Gruppengröße von der geübten unterscheidet.

Beide haben Schwierigkeiten, wenn sie aufgefordert werden, Sequenzen (wie Sätze oder Code) zu verarbeiten, die viel länger sind als das, was sie während des Trainings gesehen haben.

Die Lösung: Der „ausgeglichene Baum" (MLP-LDRU)

Die Autoren schlagen ein neues Modell namens MLP-LDRU vor. Um zu verstehen, wie es funktioniert, stellen Sie sich vor, Sie haben einen Stapel von 8 Büchern und möchten das Gesamtgewicht aller Bücher finden.

Der alte Weg (RNN): Sie nehmen Buch 1, addieren dann Buch 2, dann Buch 3 und so weiter, eins nach dem anderen. Das dauert lange, und das erste Buch wird „vergessen", bis Sie am Ende angekommen sind.
Der neue Weg (MLP-LDRU): Sie paaren die Bücher.
1. Paare (Buch 1 + Buch 2) und (Buch 3 + Buch 4) und (Buch 5 + Buch 6) und (Buch 7 + Buch 8).
2. Jetzt haben Sie 4 Paare. Paaren Sie diese erneut: (Paar 1 + Paar 2) und (Paar 3 + Paar 4).
3. Jetzt haben Sie 2 Gruppen. Paaren Sie sie ein letztes Mal, um die endgültige Antwort zu erhalten.

Dies nennt man eine Log-Depth Reduction. Es ist wie ein ausgeglichener Baum. Egal wie viele Bücher Sie haben, alle erreichen die Ziellinie in ungefähr der gleichen Zeit. Das erste Buch ist nicht „müde", weil es nicht warten musste, bis das letzte Buch verarbeitet wurde.

Das Geheimnis: Der „magische Kleber"

Das Paper führt einen speziellen „Kleber" (einen mathematischen Operator) ein, der verwendet wird, um diese Paare zu kombinieren. Die Autoren haben diesen Kleber so gestaltet, dass er sich wie assoziative Mathematik verhält.

Assoziativität bedeutet, dass die Reihenfolge der Gruppierung keine Rolle spielt. $(A + B) + C$ ist dasselbe wie $A + (B + C)$ .
Die Autoren haben ihren „Kleber" gezwungen, sich so zu verhalten. Indem sie der KI beibrachten, dass „die Gruppierung keine Rolle spielt", lernt die KI die zugrunde liegende Regel der Sequenz, anstatt nur spezifische Positionen auswendig zu lernen.

Die Experimente: Der „Grammatik-Test"

Um dies zu testen, verwendeten die Autoren keine unordentlichen realen Sprachen (die schwer zu messen sind). Stattdessen verwendeten sie Regular Languages.

Analogie: Stellen Sie sich einen strengen Roboter vor, der nur Sätze akzeptiert, die einer perfekten, einfachen Grammatikregel folgen (wie „jedes 'A' muss von einem 'B' gefolgt werden").
Sie erstellten 21 verschiedene Grammatikrätsel. Einige waren einfach (wie zu prüfen, ob eine Zahl gerade ist), und einige waren schwierig (wie das Verfolgen von verschachtelten Klammern, ähnlich wie das Ausgleichen eines Scheckbuchs).
Sie erfanden auch ein neues Rätsel namens Prefix Languages. Dies ist wie ein Spiel, bei dem die ersten paar Wörter das gesamte Ergebnis bestimmen, der Rest des Satzes jedoch nur Rauschen ist. Es testet, ob die KI den Anfang记住 kann, während sie die Mitte ignoriert.

Die Ergebnisse: Die „perfekte Punktzahl"

Die Ergebnisse waren beeindruckend:

Der Champion: Das MLP-LDRU-Modell erreichte 100 % Genauigkeit bei 18 von 21 Rätseln, selbst wenn die Testsätze 10- bis 12-mal länger waren als die Trainingssätze.
Die Giganten schlagen: Es übertraf Standard-Transformer und ältere RNNs, die oft vollständig versagten, wenn die Sätze zu lang wurden.
Das „Warum": Die Autoren fanden heraus, dass das Modell bei den wenigen verbleibenden Rätseln nicht deshalb scheiterte, weil die „Baum"-Struktur falsch war, sondern weil die Trainingsdaten der KI nicht genug Arten von Kombinationen zeigten. Es ist wie das Üben von Mathematik nur mit geraden Zahlen; wenn Sie schließlich eine ungerade Zahl bekommen, stecken Sie fest. Das Modell musste mehr Vielfalt in den „Kombinationen" sehen, um die Regel zu meistern.

Über die Grammatik hinaus: Der „Liste"-Test

Sie testeten das Modell auch auf ListOps, einer Aufgabe, die verschachtelte Listen beinhaltet (wie ein Rezept in einem Rezept in einem Rezept).

Während spezialisierte „baumstrukturierte" Modelle dabei etwas besser waren, schnitt das MLP-LDRU immer noch sehr gut ab und schlug Standard-Transformer und LSTMs.
Sie testeten es auch auf Standard-Textklassifizierung (wie das Sortieren von Nachrichtenartikeln), wo es wettbewerbsfähig abschnitt und zeigte, dass diese „ausgeglichene Baum"-Idee auch außerhalb strenger Grammatikregeln funktioniert.

Das Fazit

Das Paper argumentiert, dass wir, um eine KI zu schaffen, die lange Sequenzen zuverlässig verarbeiten kann, das Modell nicht nur größer machen sollten. Stattdessen sollten wir ändern, wie es Informationen verarbeitet. Durch die Verwendung einer ausgeglichenen Baumstruktur und das Erzwingen, dass das Modell assoziative Regeln lernt (bei denen die Reihenfolge der Gruppierung keine Rolle spielt), kann die KI auf Längen verallgemeinern, die es noch nie gesehen hat, ganz wie ein Kind, das das Konzept des Zählens versteht, bis zu einer Million zählen kann, auch wenn es nur bis 10 geübt hat.

Technische Zusammenfassung: Längengeneralisierung mit Log-Tiefe Rekurrenten Einheiten

Problemstellung

Die Generalisierung auf Out-of-Distribution (OOD) Sequenzlängen bleibt eine zentrale Herausforderung in der neuronalen Modellierung. Bestehende Architekturen weisen in diesem Bereich deutliche Einschränkungen auf:

Recurrent Neural Networks (RNNs): Obwohl sie eine längenadaptive Berechnung bieten, leiden sie unter einer Positionsverzerrung, bei der frühere Token mehr rekursive Schritte durchlaufen als spätere, was zu Problemen mit dem Langzeitgedächtnis und Schwierigkeiten bei der Modellierung von Abhängigkeiten über ausgedehnte Sequenzen hinweg führt.
Transformer: Diese Modelle wenden einen festen Stapel von Schichten unabhängig von der Sequenzlänge an. Obwohl sie eine parallele Berechnung ermöglichen, generalisieren sie weniger zuverlässig auf OOD-Längen und sind durch eine feste Berechnungstiefe eingeschränkt.

Die Arbeit geht davon aus, dass reguläre Sprachen einen rigorosen Testboden für die Evaluierung der Längengeneralisierung bieten, da sie eine präzise mathematische Formulierung und eine exakte Validierung der Korrektheit bei jeder Sequenzlänge ermöglichen, was direkt mit der Automatentheorie verknüpft ist.

Methodik: MLP-LDRU

Die Autoren schlagen MLP-LDRU (Log-Depth Recurrent Unit) vor, eine spezifische Art von binärem Operator, der entwickelt wurde, um Rekursion durch parallele Reduktion zu approximieren. Die Kernhypothese lautet, dass das Erlernen von Operatoren mit einer expliziten Tendenz zu Assoziativität und Identitätsverhalten die Extrapolation von Längen verbessern kann.

Architektur und Mechanismus

Log-Tiefe Reduktion: Im Gegensatz zu Standard-RNNs, die Sequenzen sequenziell verarbeiten (Tiefe $O(n)$ ), verarbeitet MLP-LDRU Sequenzen unter Verwendung einer balancierten binären Baumstruktur. Gegeben eine Sequenz der Länge $n$ , wendet das Modell einen binären Operator $\odot_\theta$ parallel auf benachbarte Paare für $\lceil \log_2 n \rceil$ Schritte an. Dies führt zu einer einheitlichen Berechnungstiefe von $O(\log n)$ über alle Token hinweg, was die Positionsverzerrung mindert und gleichzeitig eine parallele Berechnung ermöglicht.
Der Operator ( $\odot_\theta$ ): Der Kernoperator ist eine auf MLP basierende Funktion, die entwickelt wurde, um ein annähernd assoziatives Verhalten zu induzieren.
- Er nimmt zwei Eingabe-Embeddings $h_i, h_j$ entgegen und verkettet sie.
- Ein MLP erzeugt Gating-Vektoren $g_i, g_j$ .
- Diese Gatter modulieren die Eingaben durch elementweise Multiplikation, gefolgt von gelernten linearen Projektionen und Bias-Termen.
- Die endgültige Ausgabe ist eine gewichtete Summe der projizierten Eingaben.
- Initialisierungs-Bias: Der Operator wird so initialisiert, dass die Projektionsmatrizen Einheitsmatrizen sind und die Bias-Terme null sind. In Kombination mit der Struktur der elementweisen Summe biasst dies den Operator dazu, sich initial als einfache Summe zu verhalten und damit eine assoziative Operation zu approximieren.
Padding-Handling: Wenn eine Sequenzlänge während der Reduktion ungerade ist, wird sie mit einem Null-Embedding aufgefüllt. Der Operator ist so gestaltet, dass, wenn eine der Eingaben null ist, die Ausgabe die andere Eingabe ist und null als neutrales Element (Identität) behandelt wird, um zu vermeiden, dass eine Identitätsabbildung von Grund auf neu gelernt werden muss.
Komplexität: MLP-LDRU erreicht eine Arbeitskomplexität von $O(nd^2)$ (linear in der Sequenzlänge) mit einer Berechnungstiefe von $O(\log n)$ , im Gegensatz zur $O(n)$ -Tiefe von RNNs und der $O(n^2)$ -Arbeitskomplexität von Standard-Transformern.

Experimentelles Setup

Die Autoren evaluierten MLP-LDRU auf:

21 Regulären Sprachaufgaben: Einschließlich Standard-Benchmarks (z. B. Paritätsprüfung, Modulare Arithmetik, Tomita-Sprachen, Dyck-Sprachen $D_n$ ) und einer neuen Klasse von Präfix-Sprachen ( $P_{p,q}$ ), die entwickelt wurden, um den Umgang mit Langzeitabhängigkeiten unter Längsextrapolation zu testen.
ListOps: Eine hierarchische Aufgabe für kompositionelle Extrapolation jenseits regulärer Sprachen.
NLP-Klassifikation: Benchmarks einschließlich GLUE, AG's News und DBPedia, um das Verhalten bei nicht-regulären Daten zu untersuchen.

Hauptbeiträge

Vorschlag von MLP-LDRU: Eine spezifische Log-Depth Recurrent Unit, die einen binären Operator verwendet, der zu annähernder Assoziativität und Identitätsbehandlung biasst, um sequentielle Rekursion durch parallele Reduktion zu induzieren.
Einführung von Präfix-Sprachen: Eine neue Klasse regulärer Aufgaben ( $P_{p,q}$ ), die speziell entwickelt wurde, um den Umgang mit Langzeitabhängigkeiten unter Längsextrapolation zu isolieren und zu testen.
Empirische Evaluierung: Umfassende Tests an 21 regulären Aufgaben, ListOps und NLP-Benchmarks, die eine überlegene oder wettbewerbsfähige Leistung im Vergleich zu RNNs, Transformern und anderen rekursiven neuronalen Netzen demonstrieren.
Analyse der Trainingsanforderungen: Eine Analyse, die Generalisierungsfehler mit unzureichender Abdeckung von Äquivalenzklassen-Kompositionen (EC) in den Trainingsdaten verknüpft, was darauf hindeutet, dass begrenzte Trainingslängen verhindern, dass Modelle die seltenen Monoid-Kompositionen beobachten, die für eine perfekte Generalisierung erforderlich sind.

Ergebnisse

Reguläre Sprachaufgaben

Leistung: Wenn auf Sequenzen der Länge 1–40 trainiert, erreichte MLP-LDRU 100% OOD-Genauigkeit bei 18 von 21 Aufgaben (evaluiert auf Längen 41–500) und mindestens 99,9% bei den verbleibenden 3, wenn die maximale Trainingslänge erhöht wurde.
Vergleich: MLP-LDRU übertraf alle Transformer-Varianten (einschließlich solcher mit ALiBi, NoPE und randomisiertem RoPE), Gated DeltaNet und andere Baselines bei der Mehrheit der Aufgaben. Es entsprach oder übertraf die Fähigkeiten von RNNs und LSTMs, die bei diesen Aufgaben oft mit Langzeitabhängigkeiten kämpfen.
Operator-Sensitivität: Ablationsstudien zeigten, dass die Wahl des Reduktionsoperators kritisch ist. Während einfache elementweise Summen oder lineare Projektionen bei komplexen Aufgaben wie Modulare Arithmetik versagten, erreichte der auf MLP basierende Operator mit Gating eine perfekte Generalisierung. Dies deutet darauf hin, dass Assoziativität zwar notwendig ist, aber auch die spezifische Fähigkeit erforderlich ist, komplexe Kompositionen zu lernen.

ListOps und NLP

ListOps: Bei hierarchischen Aufgaben erreichten baumbasierte Baselines (BBT-GRC, RIR-GRC) im Allgemeinen die höchste Genauigkeit. MLP-LDRU blieb jedoch wettbewerbsfähig und übertraf LSTM- und Transformer-Baselines bei größeren Datensatzgrößen (500k und 1M Stichproben). Die Hinzufügung eines expliziten Terms für Assoziativitätsregularisierung verbesserte die Leistung weiter, was darauf hindeutet, dass die Förderung einer annähernden Assoziativität auch außerhalb regulärer Sprachen vorteilhaft ist.
NLP-Klassifikation: MLP-LDRU schnitt auf GLUE, AG's News und DBPedia wettbewerbsfähig mit ähnlich trainierten Transformer-Baselines ab und erreichte die höchste Genauigkeit auf DBPedia (98,6%).

Interpretierbarkeit und Monoid-Analyse

Äquivalenzklassen: Die Analyse der D6-Aufgabe zeigte, dass MLP-LDRU lernt, Sequenz-Embeddings entsprechend ihrer entsprechenden Äquivalenzklassen (ECs) im syntaktischen Monoid zu clustern.
Abdeckungslücke: Heatmaps von EC-Kompositionen zeigten, dass das Training auf kurzen Sequenzen (Länge 10–40) zu einer spärlichen Abdeckung des Monoid-Raums führt, wobei seltene Kompositionen, die in längeren Sequenzen (Länge 480–500) vorkommen, fehlen. Diese Spärlichkeitslücke erklärt, warum Modelle, die auf kurzen Sequenzen trainiert wurden, nicht perfekt auf längere generalisieren; sie wurden nicht allen notwendigen Kompositionsregeln ausgesetzt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MLP-LDRU eine robuste Lösung für die Längengeneralisierung bei regulären Aufgaben bietet, indem es die mathematischen Eigenschaften von Monoiden nutzt. Durch die Induktion eines annähernd assoziativen Operators kann das Modell eine sequentielle Rekursion durch parallele Reduktion approximieren und effektiv die längenadaptive Natur von RNNs mit der parallelen Effizienz baumbasierter Strukturen kombinieren.

Die Autoren betonen, dass die maximale Trainingslänge der primäre Treiber der OOD-Leistung ist. Ihre Analyse legt nahe, dass für komplexe Sprachen das Erreichen einer 100% igen Generalisierung eine ausreichende Exposition gegenüber allen möglichen Äquivalenzklassen-Kompositionen erfordert, was möglicherweise ein Training auf längeren Sequenzen erfordert als die Ziel-Testlängen.

Während das Modell eine starke Leistung bei regulären Sprachen und wettbewerbsfähige Ergebnisse bei NLP-Aufgaben demonstriert, bleiben die Autoren bezüglich seines Anwendungsbereichs bescheiden. Sie stellen fest, dass reguläre Sprachen zwar eine exakte Verifizierung bieten, das Ausmaß, in dem diese Ideen auf reichhaltigere kompositionelle Probleme unter Verteilungsverschiebung in der natürlichen Sprache übertragbar sind, weiterer Untersuchung bedarf. Zusätzlich identifizieren sie die Notwendigkeit theoretischer Schranken für die minimalen Trainingslängen oder die Stichprobenskomplexität, die erforderlich sind, um eine vollständige Abdeckung der Monoid-Kompositionen zu erreichen.