💬 NLP

An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars

Cet article fournit une analyse théorique démontrant que les transformers profonds possèdent la capacité structurelle d'encoder des états grammaticaux abstraits issus de grammaires non contextuelles à profondeur bornée dans des sous-espaces de faible dimension et linéairement séparables, validant ainsi l'hypothèse de la représentation linéaire pour la modélisation hiérarchique.

Auteurs originaux : Vinoth Nandakumar, Qiang Qu, Pramod Thebe, Sakshi Khachariya, Tongliang Liu

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vinoth Nandakumar, Qiang Qu, Pramod Thebe, Sakshi Khachariya, Tongliang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre la structure complexe et imbriquée du langage humain. Vous savez que les phrases ne sont pas de simples chaînes de mots aléatoires ; elles sont construites comme des poupées russes ou un arbre généalogique, où de petits groupes de mots forment des syntagmes, des syntagmes forment des propositions, et des propositions forment des phrases.

Cet article pose une question fondamentale : Comment un réseau de neurones profonds (spécifiquement un « Transformer », le cerveau derrière l'IA moderne) parvient-il réellement à construire ces arbres mentaux ?

Bien que nous sachions que ces modèles sont performants, nous n'avions pas de preuve mathématique claire de comment ils y parviennent sans être submergés. Cet article fournit cette preuve en construisant un « robot théorique » capable de comprendre parfaitement un type spécifique de casse-tête linguistique.

Voici la décomposition de leur découverte en utilisant des analogies simples :

1. Le Problème : L'« Infini » contre le « Limité »

Le langage est théoriquement infini. Vous pouvez continuer à imbriquer des phrases dans des phrases indéfiniment (par exemple, « Le chat qui le chien qui l'homme... »). Cependant, le cerveau humain a des limites ; nous ne pouvons tenir qu'un certain nombre de couches d'imbrication dans notre mémoire de travail à la fois.

Les chercheurs ont décidé de simplifier le problème. Au lieu d'essayer de modéliser la récursion infinie, ils se sont penchés sur les grammaires à profondeur bornée. Voyez cela comme un langage où chaque phrase est garantie d'avoir exactement 3 ou 4 couches de profondeur, pas plus. C'est comme construire une maison avec une règle stricte : « Chaque maison doit avoir exactement 3 étages ». Cela rend la structure prévisible et plus facile à analyser mathématiquement.

2. La Solution : La « Chaîne de Montage par Étages »

Les auteurs ont construit un type spécifique de modèle Transformer pour prouver qu'il peut résoudre ces énigmes. Ils ne se sont pas contentés de dire « ça marche » ; ils ont construit la machine pièce par pièce pour montrer exactement comment elle fonctionne.

Ils ont comparé les couches du Transformer à une chaîne de montage ou à une équipe de construction :

L'Entrée : Imaginez un tas de briques brutes (les mots).
Les Couches : Le Transformer possède de nombreuses couches empilées les unes sur les autres.
- La Couche 1 regarde les briques et les colle ensemble pour former de petits murs (syntagmes simples).
- La Couche 2 prend ces murs et les colle ensemble pour former des pièces (propositions).
- La Couche 3 prend les pièces et les assemble pour former une maison complète (la phrase).
La Magie : L'article prouve que si votre langage a une profondeur $d$ (par exemple, 3 étages), vous avez seulement besoin d'un Transformer de $d$ couches pour le comprendre parfaitement. La profondeur du modèle croît linéairement avec la complexité du langage. Vous n'avez pas besoin d'une explosion exponentielle de couches ; vous avez juste besoin d'une couche pour chaque niveau de la hiérarchie.

3. Le Mécanisme d'« Attention » : Le Clipboard du Contremaître

Comment le modèle sait-il quelles briques coller ensemble ? L'article décrit le mécanisme d'« Attention » (la partie du Transformer qui décide sur quoi se concentrer) comme un Contremaître avec un carnet de notes.

Dans leur construction, le Contremaître ne regarde pas l'ensemble du chantier chaotique à la fois. Au lieu de cela, il a une règle spécifique et préprogrammée : « Ne regardez que les briques qui appartiennent à ce groupe spécifique ».

Il ignore tout le reste.
Il se concentre uniquement sur les voisins immédiats nécessaires pour construire le niveau supérieur.
C'est ce qu'on appelle l'attention parcimonieuse (sparse attention). C'est comme un projecteur qui n'éclaire que les travailleurs spécifiques qui doivent passer une brique à la personne située au-dessus d'eux.

4. La Découverte de la « Représentation Linéaire »

L'une des affirmations les plus passionnantes de l'article concerne l'endroit où le modèle stocke cette information.

Il existe une théorie en IA appelée l'« Hypothèse de la Représentation Linéaire ». Elle suggère que des idées complexes (comme « ceci est un syntagme nominal ») sont stockées dans le cerveau du modèle sous forme de lignes droites simples dans un espace de grande dimension.

Les auteurs ont prouvé cela mathématiquement pour leur modèle construit. Ils ont montré que :

Le modèle crée un « dossier » spécifique ou un sous-espace pour chaque type de structure grammaticale.
Lorsqu'il construit un « syntagme nominal », il active une ligne simple et spécifique dans son calcul interne.
Lorsqu'il passe à un « syntagme verbal », il active une autre ligne distincte.
Ces lignes sont orthogonales (comme les axes X et Y sur un graphique), ce qui signifie qu'elles ne se chevauchent pas et ne s'embrouillent pas.

Cela explique pourquoi le « sondage » (probing — une technique par laquelle les chercheurs testent le modèle pour voir ce qu'il sait) fonctionne si bien. Le modèle ne cache pas la grammaire dans un nœud complexe et emmêlé ; il la classe proprement dans des lignes droites et faciles à lire.

5. Pourquoi cela importe (selon l'article)

L'article ne prétend pas que cela guérira immédiatement des maladies ou construira des voitures autonomes. Il affirme plutôt qu'il résout un mystère théorique :

Il prouve l'efficacité : Il montre que les Transformers n'ont pas besoin d'être exponentiellement gigantesques pour comprendre une grammaire complexe. Ils ont juste besoin d'être assez profonds pour correspondre à la profondeur du langage.
Il valide l'« Hypothèse Linéaire » : Il fournit une preuve mathématique rigoureuse que ces modèles peuvent organiser des règles complexes en structures linéaires simples, confirmant ce que les expériences empiriques suggéraient depuis des années.
Il comble le fossé : Il relie les mathématiques abstraives des « Grammaires non contextuelles » (la linguistique classique) avec l'architecture moderne des « Transformers » (l'IA moderne), montrant qu'ils sont plus compatibles qu'on ne le pensait.

Résumé par analogie

Imaginez que vous essayiez d'apprendre à un robot à plier une grue en origami complexe.

Vue ancienne : Nous pensions que le robot devait mémoriser chaque forme de grue possible existante, ce qui nécessiterait un cerveau de la taille d'une galaxie.
La vue de cet article : Nous avons prouvé que si vous donnez au robot un manuel d'instructions étape par étape (une grammaire) où la grue possède un nombre fixe de plis, le robot n'a besoin que d'un cerveau avec un nombre d'étapes égal au nombre de plis. De plus, le robot organise ces étapes dans des dossiers séparés et bien rangés (sous-espaces linéaires) afin de ne jamais se tromper sur l'étape suivante.

L'article dit essentiellement : « Nous avons construit un robot théorique qui prouve que les modèles d'apprentissage profond sont naturellement doués pour construire des structures hiérarchiques, et ils le font en organisant l'information d'une manière étonnamment simple et linéaire. »

Résumé Technique : Analyse de l'Expressivité de la Modélisation Hiérarchique dans les Transformers Profonds via des Grammaires à Profondeur Bornée

Énoncé du Problème

Les réseaux de neurones profonds, en particulier les transformers, sont empiriquement observés comme tirant leur puissance expressive de la formation de représentations hiérarchiques, capturant des caractéristiques abstraites et compositionnelles à travers les couches. En modélisation du langage, les premières couches du transformer capturent des motifs syntaxiques locaux tandis que les couches ultérieures encodent des dépendances complexes au niveau des propositions. Malgré l'intuition qui façonne la conception des modèles, il manque un travail théorique rigoureux démontrant comment les transformers profonds représentent de telles structures hiérarchiques.

Les analyses théoriques existantes se concentrent souvent sur des contextes restreints, tels que les langages de Dyck (parenthèses équilibrées) ou les automates à états finis, qui manquent des structures de branchement complexes des grammaires du monde réel. De plus, bien que des études empiriques (Allen-Zhu & Li, 2025 ; Saglam et al., 2025) soutiennent l'« hypothèse de la représentation linéaire » — montrant que des états grammaticaux abstraits peuvent être récupérés via des sondes linéaires dans les flux résiduels — ces travaux n'expliquent pas théoriquement pourquoi les architectures de type transformer possèdent la capacité structurelle d'encoder explicitement ces structures complexes dans des sous-espaces de faible dimension et linéairement séparables.

Cet article comble cette lacune en analysant l'expressivité des modèles de transformer profonds à travers le prisme formel des grammaires non récursives et à profondeur bornée (CFG). L'objectif est de fournir une construction explicite d'un transformer capable de modéliser prédictivement de telles grammaires, formalisant ainsi les mécanismes de la compositionnalité hiérarchique.

Méthodologie

Les auteurs formalisent le problème en utilisant une classe spécifique de CFG possédant les propriétés suivantes :

Profondeur Fixe ( $d$ ) : Chaque arbre de dérivation a une hauteur exactement égale à $d$ .
Non-Récursive : Les grammaires génèrent des langages finis, évitant l'imbrication non bornée.
Uniformité : Les règles de production pour un non-terminal donné ont la même longueur.
Paramètres Bornés : L'analyse considère le nombre maximal de règles ( $M$ ), le facteur de branchement maximal ( $B$ ), et le nombre de formes de d'arbres de dérivation valides ( $c = |C(G)|$ ).

Les auteurs construisent un transformer de type décodeur uniquement avec un mécanisme d'attention positionnelle pour modéliser ces grammaires. La construction repose sur trois composantes clés :

Têtes d'Attention Éparses : Le modèle utilise un mécanisme d'attention positionnelle relative simplifié où les poids d'attention dépendent uniquement des positions des tokens, et non de leur contenu. Cela permet une attention « dure » qui sélectionne des tokens spécifiques basés sur leur position dans l'arbre de dérivation.
Traitement Hiérarchique : La profondeur du transformer croît linéairement avec la profondeur de la grammaire ( $d$ ). Chaque bloc de transformer correspond à un niveau dans la hiérarchie grammaticale, traitant les constituants des feuilles (terminaux) vers la racine (symbole de départ).
Mémorisation par Réseaux Feedforward : Les réseaux de propagation avant (FFN) par position sont construits pour agir comme des tables de recherche discrètes. En s'appuyant sur les résultats concernant la capacité de mémorisation des réseaux de neurones (Zhang et al., 2017), ces couches cartographient les contextes syntaxiques locaux agrégés vers les symboles non-terminaux parents.

La construction implémente un algorithme de programmation dynamique ascendant (similaire au parseur CKY) où :

Les Têtes d'Attention agrègent les contextes syntaxiques locaux des nœuds enfants pour identifier les frontières des constituants grammaticaux.
Les FFN encodent les symboles non-terminaux parents résultants dans le flux résiduel, préservant les états de niveau inférieur via les connexions résiduelles.
Les Couches Finales utilisent des réseaux feedforward empilés pour calculer les prédictions de mots suivants basées sur les états hiérarchiques accumulés.

Contributions Clés

Construction Explicite de Transformer : L'article fournit une preuve constructive qu'un transformer de profondeur $d$ (linéaire par rapport à la profondeur de la grammaire) peut modéliser prédictivement des CFG uniformes et non récursives de profondeur $d$ .
Bornes de Scalabilité : Les auteurs dérivent des bornes spécifiques sur la taille du modèle requise :
- Profondeur : Croît linéairement avec la profondeur de la grammaire ( $d$ ).
- Nombre de Neurones : Évolue linéairement avec le nombre de formes d'arbres de dérivation ( $c$ ) et de manière quadratique avec le nombre de règles de production ( $M$ ).
- Dimension Cachée : Évolue avec $c \cdot d$ .
Soutien Théorique à la Représentation Linéaire : La construction démontre que l'architecture possède la capacité structurelle d'encoder des états grammaticaux abstraits dans des sous-espaces de faible dimension et linéairement séparables au sein du flux résiduel. Plus précisément, pour une forme d'arbre de dérivation fixée, les calculs de parsing se produisent dans des sous-espaces distincts, permettant d'isoler les symboles non-terminaux via de simples transformations affines.
Différenciation par rapport aux Travaux Précédents : Contrairement aux bornes précédentes qui augmentent avec la longueur maximale de la phrase (qui peut être exponentielle par rapport à la profondeur de la grammaire), cette construction augmente avec la profondeur de la grammaire elle-même. Cela souligne l'efficacité de la modélisation hiérarchique par rapport aux représentations plates (comme les n-grammes ou les automates à états finis, qui nécessiteraient des espaces d'états exponentiels pour des CFG profondes).

Résultats

Le principal résultat théorique (Théorème 4.1) établit que pour tout $\epsilon > 0$ , il existe un modèle de langage transformer $f_T$ qui modélise prédictivement le langage $L(G)$ avec une erreur au plus de $\epsilon$ . Le modèle se compose de $d$ blocs de transformer suivis de $5d + 7$ couches feedforward.

Efficacité : Le nombre de couches requises est linéaire par rapport à la profondeur de la grammaire, une amélioration significative par rapport aux constructions où le nombre de couches dépend de la longueur de la phrase.
Sparsité : La construction utilise un circuit éparse où chaque séquence d'entrée est traitée par une seule tête d'attention par bloc, ce qui s'aligne sur les observations empiriques de sous-graphes computationnels éparses dans le deep learning.
Séparabilité Linéaire : La preuve montre que les symboles non-terminaux à une profondeur donnée sont projetés vers des vecteurs dans un sous-espace du flux résiduel correspondant, soutenant l'hypothèse de la représentation linéaire. Cependant, les auteurs notent que leur construction utilise une base strictement orthogonale (neurones indicateurs distincts), alors que les modèles empiriques atteignent probablement cela via la superposition dense.

Signification et Limites

Signification :
L'article offre une preuve d'existence rigoureuse que les transformers profonds peuvent explicitement représenter des structures grammaticales hiérarchiques. Il comble le fossé entre les observations empiriques des représentations linéaires et les capacités architecturales théoriques. En formalisant comment les transformers peuvent implémenter la programmation dynamique ascendante, ce travail fournit une base théorique expliquant pourquoi les architectures profondes sont efficaces pour capturer des structures linguistiques complexes sans souffrir de la « malédiction de la dimensionnalité » associée aux modèles plats.

Limites :

Cadre Simplifié : L'analyse est restreinte aux CFG à profondeur bornée et non récursives. Elle ne traite pas directement les grammaires récursives ou les langages infinis, bien que le cadre soit présenté comme une abstraction pour analyser la compositionnalité hiérarchique.
Superposition vs Orthogonalité : La construction théorique repose sur un espace de base orthogonale où chaque état grammatical possède un neurone dédié. Cela simplifie la preuve mais ne rend pas compte du phénomène de « superposition » observé dans les modèles réels, où les caractéristiques sont compressées dans des vecteurs denses. Comprendre comment la dynamique d'entraînement standard produit de telles représentations compressées reste une question ouverte.
Scalabilité aux Corpus Réels : Les bornes dépendent de $c$ (le nombre de formes d'arbres), qui peut être élevé. Bien que le cadre formalise les mécanismes de base, les auteurs reconnaissent qu'il ne fournit pas encore de bornes serrées pour des corpus complexes du monde réel comme le Penn Treebank.

En conclusion, ce travail pose les jalons de la compréhension du fonctionnement interne des modèles transformer à travers la théorie des langages formels, suggérant que la profondeur du transformer reflète naturellement la profondeur de la hiérarchie grammaticale qu'il modélise.