🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

Het artikel introduceert MLP-LDRU, een log-diepe recurrente eenheid die recurrentie benadert via parallelle reductie om bijna perfecte lengtegeneralisatie te bereiken op reguliere-taaktaken en concurrerende prestaties op bredere benchmarks, waarmee de positionele bias van recurrente modellen en de dieptebeperkingen van transformers effectief worden aangepakt.

Oorspronkelijke auteurs: Charles Pert, Dalal Alrajeh, Alessandra Russo

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Charles Pert, Dalal Alrajeh, Alessandra Russo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Korte Geheugen" van AI

Stel je voor dat je een kind leert tellen. Als je alleen maar oefent tot 10, raakt het kind in de war als je vraagt om tot 100 te tellen. Het heeft de regel van tellen niet geleerd; het heeft alleen de eerste tien getallen uit het hoofd geleerd.

In de wereld van Kunstmatige Intelligentie (neuronale netwerken) heet dit het Length Generalization-probleem.

RNN's (Oude School): Denk hierbij aan een estafettewedstrijd waarbij de stok één voor één wordt doorgegeven. Als de wedstrijd lang is, moet de eerste loper lang wachten tot de stok weer terug is. Tegen de tijd dat de wedstrijd eindigt, is hij moe (vergeet dingen).
Transformers (Moderne Giganten): Denk hierbij aan een groep mensen die in een kring staan en allemaal tegelijk schreeuwen. Ze kunnen iedereen direct horen, maar als de kring te groot wordt, wordt het lawaai chaotisch en hebben ze moeite om het patroon te begrijpen als de groepsgrootte verschilt van wat ze hebben geoefend.

Beide hebben moeite wanneer ze worden gevraagd om sequenties (zoals zinnen of code) te verwerken die veel langer zijn dan wat ze tijdens het trainen hebben gezien.

De Oplossing: De "Gebalanceerde Boom" (MLP-LDRU)

De auteurs stellen een nieuw model voor genaamd MLP-LDRU. Om te begrijpen hoe dit werkt, stel je voor dat je een stapel van 8 boeken hebt en je wilt het totale gewicht van allemaal vinden.

De Oude Weg (RNN): Je pakt Boek 1 op, tel je Boek 2 erbij op, tel je Boek 3 erbij op, en ga zo verder, één voor één. Dit kost veel tijd, en het eerste boek wordt "vergeten" tegen de tijd dat je aan het einde bent.
De Nieuwe Weg (MLP-LDRU): Je koppelt de boeken aan elkaar.
1. Koppel (Boek 1 + Boek 2) en (Boek 3 + Boek 4) en (Boek 5 + Boek 6) en (Boek 7 + Boek 8).
2. Nu heb je 4 paren. Koppel ze opnieuw: (Paar 1 + Paar 2) en (Paar 3 + Paar 4).
3. Nu heb je 2 groepen. Koppel ze één laatste keer om het eindantwoord te krijgen.

Dit heet een Log-Depth Reduction. Het is als een gebalanceerde boom. Hoeveel boeken je ook hebt, iedereen komt in ongeveer dezelfde tijd aan de finish. Het eerste boek is niet "moe" omdat het niet hoefde te wachten tot het laatste boek eerst werd verwerkt.

Het Geheime Ingrediënt: De "Magische Lijm"

Het artikel introduceert een speciale "lijm" (een wiskundige operator) die wordt gebruikt om deze paren te combineren. De auteurs hebben deze lijm ontworpen om te fungeren als associatieve wiskunde.

Associativiteit betekent dat de volgorde van groepering er niet toe doet. $(A + B) + C$ is hetzelfde als $A + (B + C)$ .
De auteurs hebben hun "lijm" gedwongen zich zo te gedragen. Door de AI te leren dat "groeperen er niet toe doet", leert de AI de onderliggende regel van de sequentie in plaats van alleen specifieke posities uit het hoofd te leren.

De Experimenten: De "Grammaticatest"

Om dit te testen, gebruikten de auteurs geen rommelige realistische taal (wat moeilijk te meten is). In plaats daarvan gebruikten ze Reguliere Talen.

Analogie: Stel je een strenge robot voor die alleen zinnen accepteert die een perfecte, simpele grammaticaregel volgen (zoals "elke 'A' moet worden gevolgd door een 'B'").
Ze creëerden 21 verschillende grammaticapuzzels. Sommigen waren makkelijk (zoals controleren of een getal even is), en sommigen waren moeilijk (zoals het bijhouden van geneste haakjes, vergelijkbaar met het balanceren van een bankafschrift).
Ze bedachten ook een nieuwe puzzel genaamd Prefix Languages. Dit is als een spel waarbij de eerste paar woorden het hele resultaat bepalen, maar de rest van de zin slechts ruis is. Het test of de AI het begin kan onthouden terwijl het het midden negeert.

De Resultaten: De "Perfecte Score"

De resultaten waren indrukwekkend:

De Kampioen: Het MLP-LDRU-model behaalde 100% nauwkeurigheid op 18 van de 21 puzzels, zelfs wanneer de testzinnen 10 tot 12 keer langer waren dan de trainingszinnen.
De Giganten Verslaan: Het presteerde beter dan standaard Transformers en oudere RNN's, die vaak volledig faalden wanneer de zinnen te lang werden.
Het "Waarom": De auteurs ontdekten dat het model faalde op de paar overgebleven puzzels niet omdat de "boom"-structuur verkeerd was, maar omdat de trainingsdata de AI niet genoeg soorten combinaties liet zien. Het is als wiskunde oefenen met alleen even getallen; wanneer je eindelijk een oneven getal krijgt, zit je vast. Het model had meer variatie in de "combinaties" nodig om de regel te beheersen.

Voorbij de Grammatica: De "Lijst"-test

Ze testten het model ook op ListOps, een taak met geneste lijsten (zoals een recept binnen een recept binnen een recept).

Hoewel gespecialiseerde "boom-structuren"-modellen hier iets beter in waren, presteerde het MLP-LDRU nog steeds zeer goed, en versloeg het standaard Transformers en LSTMs.
Ze testten het ook op standaard tekstclassificatie (zoals nieuwsartikelen sorteren), waar het concurrerend presteerde, wat laat zien dat dit idee van een "gebalanceerde boom" zelfs werkt buiten strikte grammaticaregels om.

De Conclusie

Het artikel stelt dat om AI te maken die betrouwbare lange sequenties kan verwerken, we het model niet alleen groter moeten maken. In plaats daarvan moeten we veranderen hoe het informatie verwerkt. Door een gebalanceerde boomstructuur te gebruiken en het model te dwingen associatieve regels te leren (waarbij de volgorde van groepering er niet toe doet), kan de AI generaliseren naar lengtes die het nog nooit heeft gezien, net als een kind dat het concept van tellen begrijpt en tot een miljoen kan tellen, zelfs als het alleen tot 10 heeft geoefend.

Technische Samenvatting: Lengtegeneralisatie met Log-Depth Recurrente Eenheden

Probleemstelling

Generalisatie naar out-of-distribution (OOD) sequentielengtes blijft een centrale uitdaging in neurale modellering. Bestaande architecturen vertonen duidelijke beperkingen op dit gebied:

Recurrente Neurale Netwerken (RNN's): Hoewel ze lengte-adaptieve berekening bieden, lijden ze onder een positionele bias waarbij eerdere tokens meer recurrente stappen ondergaan dan latere tokens. Dit leidt tot problemen met langetermijngeheugen en moeilijkheden bij het modelleren van afhankelijkheden over uitgebreide sequenties.
Transformers: Deze modellen passen een vaste stapel lagen toe, onafhankelijk van de sequentielengte. Hoewel ze parallelle berekening mogelijk maken, generaliseren ze minder betrouwbaar naar OOD-lengtes en worden ze beperkt door een vaste computationele diepte.

Het artikel stelt dat reguliere talen een rigoureuze testomgeving bieden voor het evalueren van lengtegeneralisatie, omdat ze een nauwkeurige wiskundige formulering en exacte validatie van correctheid bij elke sequentielengte mogelijk maken, wat direct aansluit bij automatentheorie.

Methodologie: MLP-LDRU

De auteurs stellen MLP-LDRU (Log-Depth Recurrent Unit) voor, een specifiek type binaire operator ontworpen om recurrentie te benaderen via parallelle reductie. De kernhypothese is dat het leren van operatoren met een expliciete bias naar associativiteit en identiteitsgedrag de lengte-extrapolatie kan verbeteren.

Architectuur en Mechanisme

Log-Depth Reductie: In tegenstelling tot standaard RNN's die sequenties sequentieel verwerken (diepte $O(n)$ ), verwerkt MLP-LDRU sequenties met behulp van een gebalanceerde binaire boomstructuur. Gegeven een sequentie van lengte $n$ , past het model een binaire operator $\odot_\theta$ parallel toe op aangrenzende paren gedurende $\lceil \log_2 n \rceil$ stappen. Dit resulteert in een uniforme computationele diepte van $O(\log n)$ voor alle tokens, wat de positionele bias vermindert terwijl parallelle berekening mogelijk blijft.
De Operator ( $\odot_\theta$ ): De kernoperator is een op MLP gebaseerde functie die ongeveer associatief gedrag induceert.
- Het neemt twee invoerembeddings $h_i, h_j$ en concateneert ze.
- Een MLP produceert gating-vectoren $g_i, g_j$ .
- Deze gates moduleren de invoer via elementgewijze vermenigvuldiging, gevolgd door geleerde lineaire projecties en biases.
- De uiteindelijke output is een gewogen som van de geprojecteerde invoer.
- Initialisatiebias: De operator wordt zo geïnitieerd dat de projectiematrices identiteitsmatrices zijn en de biases nul. In combinatie met de structuur van de elementgewijze som, bias dit de operator om zich aanvankelijk als een eenvoudige som te gedragen, wat een associatieve operatie benadert.
Afhandeling van Padding: Als de lengte van een sequentie tijdens reductie oneven is, wordt deze gepadded met een zero-embedding. De operator is zo ontworpen dat, als een van de invoeren nul is, de output de andere invoer is. Hierdoor wordt nul behandeld als een neutraal element (identiteit), zodat er geen identiteitsmapping van scratch hoeft te worden geleerd.
Complexiteit: MLP-LDRU bereikt een werkcomplexiteit van $O(nd^2)$ (lineair in de sequentielengte) met een computationele diepte van $O(\log n)$ . Dit staat in contrast met de $O(n)$ diepte van RNN's en de $O(n^2)$ werkcomplexiteit van standaard Transformers.

Experimentele Opstelling

De auteurs evalueerden MLP-LDRU op:

21 Reguliere Taakopgaven: Inclusief standaard benchmarks (zoals Parity Check, Modulaire Aritmetica, Tomita-talen, Dyck-talen $D_n$ ) en een nieuwe klasse van Prefix-talen ( $P_{p,q}$ ) die zijn ontworpen om de verwerking van langetermijnafhankelijkheden onder lengte-extrapolatie te testen.
ListOps: Een hiërarchische taak voor compositieve extrapolatie buiten reguliere talen.
NLP-classificatie: Benchmarks zoals GLUE, AG's News en DBPedia om het gedrag op niet-reguliere data te onderzoeken.

Belangrijkste Bijdragen

Voorstel van MLP-LDRU: Een specifieke Log-Depth Recurrente Eenheid die een binaire operator gebruikt met een bias naar benaderende associativiteit en identiteitsbehandeling om sequentiële recurrentie te induceren via parallelle reductie.
Introductie van Prefix-talen: Een nieuwe klasse van reguliere taken ( $P_{p,q}$ ) die specifiek is ontworpen om de verwerking van langetermijnafhankelijkheden onder lengte-extrapolatie te isoleren en te testen.
Empirische Evaluatie: Uitgebreide testen op 21 reguliere taken, ListOps en NLP-benchmarks, waarbij superieure of concurrerende prestaties worden aangetoond in vergelijking met RNN's, Transformers en andere recurrente neurale netwerken.
Analyse van Trainingsvereisten: Een analyse die generalisatiefouten koppelt aan onvoldoende dekking van equivalentieklassen (EK) in de trainingsdata. Dit suggereert dat beperkte trainingslengtes modellen beletten zeldzame monoomcomposities waar te nemen die nodig zijn voor perfecte generalisatie.

Resultaten

Reguliere Taakopgaven

Prestaties: Wanneer getraind op sequenties van lengte 1–40, bereikte MLP-LDRU 100% OOD-accuraatheid op 18 van de 21 taken (geëvalueerd op lengtes 41–500) en minimaal 99,9% op de overige 3 bij het verhogen van de maximale trainingslengte.
Vergelijking: MLP-LDRU presteerde beter dan alle Transformer-varianten (inclusief die met ALiBi, NoPE en gerandomiseerde RoPE), Gated DeltaNet en andere baselines op de meerderheid van de taken. Het kwam overeen met of overtrof de capaciteiten van RNN's en LSTMs, die vaak worstelen met langetermijnafhankelijkheden in deze taken.
Operatorgevoeligheid: Ablatiestudies toonden aan dat de keuze van de reductieoperator cruciaal is. Terwijl eenvoudige elementgewijze sommen of lineaire projecties faalden op complexe taken zoals Modulaire Aritmetica, bereikte de op MLP gebaseerde operator met gating perfecte generalisatie. Dit suggereert dat hoewel associativiteit noodzakelijk is, ook het specifieke vermogen om complexe composities te leren vereist is.

ListOps en NLP

ListOps: Op hiërarchische taken bereikten boomgebaseerde baselines (BBT-GRC, RIR-GRC) over het algemeen de hoogste nauwkeurigheid. MLP-LDRU bleef echter concurrerend en overtrof LSTM- en Transformer-baselines bij grotere datasetgroottes (500k en 1M samples). De toevoeging van een expliciete associativiteitsregularisatie-term verbeterde de prestaties verder, wat aangeeft dat het aanmoedigen van benaderende associativiteit ook buiten reguliere talen voordelig is.
NLP-classificatie: MLP-LDRU presteerde concurrerend met vergelijkbaar getrainde Transformer-baselines op GLUE, AG's News en DBPedia, en behaalde de hoogste nauwkeurigheid op DBPedia (98,6%).

Interpretatie en Monoomanalyse

Equivalentieklassen: Analyse van de D6-taak toonde aan dat MLP-LDRU leert sequentie-embeddings te clusteren volgens hun corresponderende equivalentieklassen (EK's) in de syntactische monoom.
Dekkingskloof: Warmtekaarten van EK-composities toonden aan dat training op korte sequenties (lengte 10–40) resulteert in een schaarse dekking van de monoomruimte, waarbij zeldzame composities die voorkomen in langere sequenties (lengte 480–500) worden gemist. Deze schaarsheidskloof verklaart waarom modellen die op korte sequenties zijn getraind, niet perfect generaliseren naar langere sequenties; ze zijn niet blootgesteld aan alle noodzakelijke compositiesregels.

Betekenis en Claims

Het artikel stelt dat MLP-LDRU een robuuste oplossing biedt voor lengtegeneralisatie op reguliere taken door gebruik te maken van de wiskundige eigenschappen van monoïden. Door een ongeveer associatieve operator te induceren, kan het model een sequentiële recurrentie benaderen via parallelle reductie, waardoor effectief de lengte-adaptieve aard van RNN's wordt gecombineerd met de parallelle efficiëntie van boomgebaseerde structuren.

De auteurs benadrukken dat de maximale trainingslengte de primaire drijvende kracht is achter OOD-prestaties. Hun analyse suggereert dat voor complexe talen het bereiken van 100% generalisatie voldoende blootstelling vereist aan alle mogelijke equivalentieklassen-composities, wat kan betekenen dat training op langere sequenties nodig is dan de doeltestlengtes.

Hoewel het model sterke prestaties laat zien op reguliere talen en concurrerende resultaten op NLP-taken, blijven de auteurs bescheiden wat betreft de reikwijdte. Zij merken op dat hoewel reguliere talen exacte verificatie bieden, de mate waarin deze ideeën uitbreiden naar rijkere compositieve problemen onder distributieverandering in natuurlijke taal, verder onderzoek vereist. Daarnaast identificeren zij de behoefte aan theoretische grenzen voor de minimale trainingslengtes of samplecomplexiteit die nodig zijn om volledige dekking van monoomcomposities te bereiken.