🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

L'article présente MLP-LDRU, une unité récurrente à profondeur logarithmique qui approxime la récurrence par une réduction parallèle pour atteindre une généralisation de longueur quasi parfaite sur des tâches de langages réguliers et des performances compétitives sur des benchmarks plus larges, résolvant ainsi efficacement les biais positionnels des modèles récurrents et les contraintes de profondeur des transformateurs.

Auteurs originaux : Charles Pert, Dalal Alrajeh, Alessandra Russo

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Charles Pert, Dalal Alrajeh, Alessandra Russo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La « Mémoire Courte » de l'IA

Imaginez que vous enseigniez à un enfant à compter. Si vous ne pratiquez que le comptage jusqu'à 10, l'enfant risque de se confondre lorsqu'on lui demande de compter jusqu'à 100. Il n'a pas appris la règle du comptage ; il a simplement mémorisé les dix premiers nombres.

Dans le monde de l'Intelligence Artificielle (les réseaux de neurones), c'est ce qu'on appelle le problème de la Généralisation de Longueur.

RNN (L'Ancienne École) : Imaginez-les comme une course de relais où le témoin est passé une personne à la fois. Si la course est longue, le premier coureur doit attendre longtemps que le témoin revienne. Il est épuisé (oublie des choses) d'ici la fin de la course.
Transformers (Les Géants Modernes) : Imaginez-les comme un groupe de personnes debout en cercle, tous criant en même temps. Ils peuvent entendre tout le monde immédiatement, mais si le cercle devient trop immense, le bruit devient chaotique, et ils peinent à comprendre le motif si la taille du groupe change par rapport à ce qu'ils ont pratiqué.

Les deux peinent lorsqu'on leur demande de gérer des séquences (comme des phrases ou du code) beaucoup plus longues que celles qu'ils ont vues pendant l'entraînement.

La Solution : L'« Arbre Équilibré » (MLP-LDRU)

Les auteurs proposent un nouveau modèle appelé MLP-LDRU. Pour comprendre comment il fonctionne, imaginez que vous avez une pile de 8 livres et que vous voulez trouver le poids total de tous.

L'Ancienne Façon (RNN) : Vous prenez le Livre 1, puis vous ajoutez le Livre 2, puis le Livre 3, et ainsi de suite, un par un. Cela prend beaucoup de temps, et le premier livre est « oublié » d'ici que vous arriviez à la fin.
La Nouvelle Façon (MLP-LDRU) : Vous mettez les livres par paires.
1. Paire (Livre 1 + Livre 2) et (Livre 3 + Livre 4) et (Livre 5 + Livre 6) et (Livre 7 + Livre 8).
2. Maintenant vous avez 4 paires. Mettez-les par paires à nouveau : (Paire 1 + Paire 2) et (Paire 3 + Paire 4).
3. Maintenant vous avez 2 groupes. Mettez-les par paires une dernière fois pour obtenir la réponse finale.

Ceci s'appelle une Réduction de Profondeur Logarithmique. C'est comme un arbre équilibré. Peu importe le nombre de livres que vous avez, tout le monde arrive à la ligne d'arrivée en à peu près le même temps. Le premier livre n'est pas « fatigué » car il n'a pas dû attendre que le dernier livre soit traité en premier.

L'Ingrédient Secret : La « Colle Magique »

Le papier introduit une « colle » spéciale (un opérateur mathématique) utilisée pour combiner ces paires. Les auteurs ont conçu cette colle pour agir comme une mathématique associative.

L'Associativité signifie que l'ordre du regroupement n'a pas d'importance. $(A + B) + C$ est identique à $A + (B + C)$ .
Les auteurs ont forcé leur « colle » à se comporter ainsi. En enseignant à l'IA que « le regroupement n'a pas d'importance », l'IA apprend la règle sous-jacente de la séquence plutôt que de simplement mémoriser des positions spécifiques.

Les Expériences : Le « Test de Grammaire »

Pour tester cela, les auteurs n'ont pas utilisé un langage réel désordonné (qui est difficile à mesurer). Au lieu de cela, ils ont utilisé des Langages Réguliers.

Analogie : Imaginez un robot strict qui n'accepte que des phrases suivant une règle de grammaire parfaite et simple (comme « chaque 'A' doit être suivi d'un 'B' »).
Ils ont créé 21 énigmes de grammaire différentes. Certaines étaient faciles (comme vérifier si un nombre est pair), et d'autres étaient difficiles (comme garder une trace des parenthèses imbriquées, similaire à l'équilibrage d'un carnet de chèques).
Ils ont également inventé une nouvelle énigme appelée Langages Préfixes. C'est comme un jeu où les premiers mots déterminent l'issue entière, mais le reste de la phrase n'est que du bruit. Cela teste si l'IA peut se souvenir du début tout en ignorant le milieu.

Les Résultats : Le « Score Parfait »

Les résultats étaient impressionnants :

Le Champion : Le modèle MLP-LDRU a obtenu 100 % de précision sur 18 énigmes sur 21, même lorsque les phrases de test étaient 10 à 12 fois plus longues que les phrases d'entraînement.
Battre les Géants : Il a surpassé les Transformers standards et les anciens RNN, qui échouaient souvent complètement lorsque les phrases devenaient trop longues.
Le « Pourquoi » : Les auteurs ont constaté que le modèle échouait sur les quelques énigmes restantes non pas parce que la structure « arbre » était incorrecte, mais parce que les données d'entraînement n'ont pas montré à l'IA assez de types de combinaisons. C'est comme pratiquer les mathématiques uniquement avec des nombres pairs ; lorsque vous obtenez enfin un nombre impair, vous êtes bloqué. Le modèle avait besoin de voir plus de variété dans les « combinaisons » pour maîtriser la règle.

Au-delà de la Grammaire : Le Test de « Liste »

Ils ont également testé le modèle sur ListOps, une tâche impliquant des listes imbriquées (comme une recette à l'intérieur d'une recette à l'intérieur d'une recette).

Bien que des modèles spécialisés « à structure d'arbre » soient légèrement meilleurs dans cette tâche, le MLP-LDRU a tout de même très bien performé, battant les Transformers standards et les LSTM.
Ils l'ont également testé sur la classification standard de texte (comme le tri d'articles de presse), où il a performé de manière compétitive, montrant que cette idée d'« arbre équilibré » fonctionne même en dehors des règles de grammaire strictes.

La Conclusion

Le papier soutient que pour créer une IA capable de gérer des séquences longues de manière fiable, nous ne devrions pas simplement rendre le modèle plus gros. Au lieu de cela, nous devrions changer la façon dont il traite l'information. En utilisant une structure d'arbre équilibrée et en forçant le modèle à apprendre des règles associatives (où l'ordre du regroupement n'a pas d'importance), l'IA peut généraliser à des longueurs qu'elle n'a jamais vues auparavant, tout comme un enfant qui comprend le concept du comptage peut compter jusqu'à un million même s'il n'a pratiqué que jusqu'à 10.

Résumé technique : Généralisation de la longueur avec des unités récurrentes à profondeur logarithmique

Énoncé du problème

La généralisation à des longueurs de séquence hors distribution (OOD) reste un défi central dans la modélisation neuronale. Les architectures existantes présentent des limitations distinctes dans ce domaine :

Réseaux de neurones récurrents (RNN) : Bien qu'ils offrent un calcul adaptatif à la longueur, ils souffrent d'un biais positionnel où les tokens précoces subissent plus d'étapes récurrentes que les tokens tardifs, entraînant des problèmes de mémoire à long terme et des difficultés à modéliser les dépendances sur des séquences étendues.
Transformers : Ces modèles appliquent une pile fixe de couches indépendante de la longueur de la séquence. Bien qu'ils permettent un calcul parallèle, ils ont tendance à généraliser moins fiablement aux longueurs OOD et sont contraints par une profondeur de calcul fixe.

L'article postule que les langages réguliers fournissent un terrain d'essai rigoureux pour évaluer la généralisation de la longueur, car ils permettent une formulation mathématique précise et une validation exacte de la correction à n'importe quelle longueur de séquence, établissant un lien direct avec la théorie des automates.

Méthodologie : MLP-LDRU

Les auteurs proposent MLP-LDRU (Unité Récurrente à Profondeur Logarithmique), un type spécifique d'opérateur binaire conçu pour approximer la récurrence par réduction parallèle. L'hypothèse centrale est que l'apprentissage d'opérateurs avec un biais explicite vers le comportement associatif et identité peut améliorer l'extrapolation de la longueur.

Architecture et mécanisme

Réduction à profondeur logarithmique : Contrairement aux RNN standards qui traitent les séquences de manière séquentielle (profondeur $O(n)$ ), MLP-LDRU traite les séquences en utilisant une structure d'arbre binaire équilibré. Étant donné une séquence de longueur $n$ , le modèle applique un opérateur binaire $\odot_\theta$ en parallèle à des paires adjacentes pendant $\lceil \log_2 n \rceil$ étapes. Cela résulte en une profondeur de calcul uniforme de $O(\log n)$ pour tous les tokens, atténuant le biais positionnel tout en permettant un calcul parallèle.
L'opérateur ( $\odot_\theta$ ) : L'opérateur central est une fonction basée sur un MLP conçue pour induire un comportement approximativement associatif.
- Il prend deux embeddings d'entrée $h_i, h_j$ et les concatène.
- Un MLP produit des vecteurs de porte $g_i, g_j$ .
- Ces portes modulent les entrées par multiplication élément par élément, suivie de projections linéaires apprises et de biais.
- La sortie finale est une somme pondérée des entrées projetées.
- Biais d'initialisation : L'opérateur est initialisé de telle sorte que les matrices de projection soient des matrices identité et que les biais soient nuls. Combiné à la structure de somme élément par élément, cela biaise l'opérateur vers un comportement de simple somme initialement, approximating une opération associative.
Gestion du remplissage (Padding) : Si une longueur de séquence est impaire lors de la réduction, elle est remplie avec un embedding nul. L'opérateur est conçu de telle sorte que si l'une des entrées est nulle, la sortie est l'autre entrée, traitant le zéro comme un élément neutre (identité) pour éviter d'apprendre une application identité à partir de zéro.
Complexité : MLP-LDRU atteint une complexité de travail de $O(nd^2)$ (linéaire en longueur de séquence) avec une profondeur de calcul de $O(\log n)$ , contrastant avec la profondeur $O(n)$ des RNN et la complexité de travail $O(n^2)$ des Transformers standards.

Configuration expérimentale

Les auteurs ont évalué MLP-LDRU sur :

21 tâches de langages réguliers : Incluant des benchmarks standards (par exemple, Vérification de parité, Arithmétique modulaire, Langages de Tomita, Langages de Dyck $D_n$ ) et une nouvelle classe de Langages de Préfixe ( $P_{p,q}$ ) conçue pour tester la gestion des dépendances à long terme sous extrapolation de longueur.
ListOps : Une tâche hiérarchique pour l'extrapolation compositionnelle au-delà des langages réguliers.
Classification NLP : Benchmarks incluant GLUE, AG's News et DBPedia pour sonder le comportement sur des données non régulières.

Contributions clés

Proposition de MLP-LDRU : Une Unité Récurrente à Profondeur Logarithmique spécifique qui utilise un opérateur binaire biaisé vers l'associativité approximative et la gestion de l'identité pour induire une récurrence séquentielle par réduction parallèle.
Introduction des Langages de Préfixe : Une nouvelle classe de tâches régulières ( $P_{p,q}$ ) spécifiquement conçue pour isoler et tester la gestion des dépendances à long terme sous extrapolation de longueur.
Évaluation empirique : Tests complets sur 21 tâches régulières, ListOps et benchmarks NLP, démontrant des performances supérieures ou compétitives par rapport aux RNN, Transformers et autres réseaux de neurones récursifs.
Analyse des exigences d'entraînement : Une analyse reliant les échecs de généralisation à une couverture insuffisante des compositions de classes d'équivalence (CE) dans les données d'entraînement, suggérant que des longueurs d'entraînement limitées empêchent les modèles d'observer les compositions de monoïdes rares requises pour une généralisation parfaite.

Résultats

Tâches de langages réguliers

Performance : Entraîné sur des séquences de longueur 1–40, MLP-LDRU a atteint une précision OOD de 100 % sur 18 tâches sur 21 (évaluées sur des longueurs 41–500) et au moins 99,9 % sur les 3 restantes lors de l'augmentation de la longueur d'entraînement maximale.
Comparaison : MLP-LDRU a surpassé toutes les variantes de Transformers (y compris celles avec ALiBi, NoPE et RoPE randomisé), Gated DeltaNet et d'autres baselines sur la majorité des tâches. Il a égalé ou dépassé les capacités des RNN et LSTM, qui luttent souvent avec les dépendances à long terme dans ces tâches.
Sensibilité de l'opérateur : Des études d'ablation ont montré que le choix de l'opérateur de réduction est critique. Alors que des sommes élémentaires simples ou des projections linéaires échouaient sur des tâches complexes comme l'arithmétique modulaire, l'opérateur basé sur MLP avec portes a atteint une généralisation parfaite. Cela suggère que si l'associativité est nécessaire, la capacité spécifique à apprendre des compositions complexes est également requise.

ListOps et NLP

ListOps : Sur les tâches hiérarchiques, les baselines basées sur des arbres (BBT-GRC, RIR-GRC) ont généralement atteint la précision la plus élevée. Cependant, MLP-LDRU est resté compétitif, surpassant les baselines LSTM et Transformer sur des tailles de jeu de données plus grandes (500k et 1M d'échantillons). L'ajout d'un terme de régularisation d'associativité explicite a encore amélioré les performances, indiquant que l'encouragement d'une associativité approximative est bénéfique même en dehors des langages réguliers.
Classification NLP : MLP-LDRU a performé de manière compétitive avec des baselines Transformers entraînés de manière similaire sur GLUE, AG's News et DBPedia, atteignant la précision la plus élevée sur DBPedia (98,6 %).

Interprétabilité et analyse des monoïdes

Classes d'équivalence : L'analyse de la tâche D6 a révélé que MLP-LDRU apprend à regrouper les embeddings de séquence selon leurs classes d'équivalence (CE) correspondantes dans le monoïde syntaxique.
Écart de couverture : Les cartes thermiques des compositions de CE ont montré que l'entraînement sur des séquences courtes (longueur 10–40) résulte en une couverture clairsemée de l'espace du monoïde, manquant des compositions rares trouvées dans des séquences plus longues (longueur 480–500). Cet écart de densité explique pourquoi les modèles entraînés sur des séquences courtes échouent à généraliser parfaitement aux séquences plus longues ; ils n'ont pas été exposés à toutes les règles de composition nécessaires.

Importance et affirmations

L'article affirme que MLP-LDRU offre une solution robuste à la généralisation de la longueur sur les tâches régulières en exploitant les propriétés mathématiques des monoïdes. En induisant un opérateur approximativement associatif, le modèle peut approximer une récurrence séquentielle par réduction parallèle, combinant efficacement la nature adaptative à la longueur des RNN avec l'efficacité parallèle des structures basées sur des arbres.

Les auteurs soulignent que la longueur d'entraînement maximale est le principal moteur des performances OOD. Leur analyse suggère que pour des langages complexes, atteindre une généralisation de 100 % nécessite une exposition suffisante à toutes les compositions possibles de classes d'équivalence, ce qui peut nécessiter un entraînement sur des séquences plus longues que les longueurs de test cibles.

Bien que le modèle démontre de solides performances sur les langages réguliers et des résultats compétitifs sur les tâches NLP, les auteurs restent modestes quant à son étendue. Ils notent que si les langages réguliers fournissent une vérification exacte, la mesure dans laquelle ces idées s'étendent à des problèmes compositionnels plus riches sous décalage de distribution dans le langage naturel nécessite une investigation supplémentaire. De plus, ils identifient le besoin de bornes théoriques sur les longueurs d'entraînement minimales ou la complexité d'échantillonnage requise pour atteindre une couverture complète des compositions de monoïdes.