💬 NLP

Comparing Transformers and Hybrid Models at the Token Level

Cet article analyse les différences de performance au niveau des tokens entre les modèles de langage purement transformer et hybrides en utilisant Olmo 3 et Olmo Hybrid, révélant que les modèles hybrides excellent dans la prédiction du contenu sémantique et le suivi d'état via les couches récurrentes, tandis que les transformers surpassent les autres sur les tâches d'appariement de crochets syntaxiques et de copie de n-grammes.

Auteurs originaux : Yanhong Li, William Merrill

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanhong Li, William Merrill

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à deux types d'étudiants comment écrire la phrase suivante d'une histoire. L'un est un Super-Lecteur (le Transformer), et l'autre est un Super-Lecteur avec un Carnet de Notes (le modèle Hybride).

L'article pose la question : Quand l'étudiant avec le carnet de notes fait-il réellement un meilleur travail que celui qui se repose uniquement sur sa mémoire de ce qu'il vient de lire ?

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. Les deux étudiants

Le Super-Lecteur (Transformer) : Cet étudiant possède une mémoire incroyable pour tout ce qu'il vient de lire. Si vous dites : « Le chat est assis sur le... », il peut instantanément se souvenir que « tapis » a été mentionné trois phrases plus tôt. Il est excellent pour copier des motifs et terminer des phrases qui suivent une règle stricte (comme associer une parenthèse ouvrante ( avec une parenthèse fermante )).
Le Super-Lecteur avec un Carnet de Notes (Hybride) : Cet étudiant possède également une bonne mémoire, mais il porte aussi un carnet de notes où il note l'« état » de l'histoire au fur et à mesure. Il suit qui possède quoi, qui fait quoi, et comment l'intrigue évolue.

2. Quand l'étudiant du « Carnet » gagne

L'article a découvert que l'étudiant avec le carnet de notes (l'Hybride) est bien meilleur pour prédire le mot suivant lorsqu'une histoire nécessite de garder une trace d'une situation changeante.

L'avantage du « Contenu » : L'étudiant Hybride excelle lorsqu'il s'agit de prédire des mots de classe ouverte (comme les noms, les verbes ou les adjectifs). Ce sont les parties « consistantes » d'une phrase qui portent une nouvelle signification.
- Analogie : Imaginez une histoire policière. Si le texte dit : « Le détective a trouvé un ... rouge », le Super-Lecteur pourrait deviner « chapeau » ou « voiture » en se basant sur des expressions courantes. Mais l'étudiant Hybride, ayant noté dans son carnet que le suspect portait un manteau rouge plus tôt, est plus susceptible de deviner « manteau » parce qu'il suit l'état de l'histoire, et non pas seulement les mots immédiats.
L'avantage de l'« État » : L'Hybride est meilleur pour les tâches qui nécessitent de se souvenir d'un rôle ou d'un objet sur une longue distance.
- Exemple : « Liam est le violoniste. Naomi est le pilote. ... (beaucoup de mots) ... Le violoniste a examiné le rapport. » L'Hybride est meilleur pour se souvenir que « violoniste » fait référence à Liam, même après un long intervalle, car il a mis à jour son état interne.

3. Quand l'étudiant de la « Mémoire » gagne

Étonnamment, l'étudiant sans carnet de notes (le pur Transformer) est en réalité meilleur dans des situations spécifiques où la réponse est déjà sous ses yeux.

L'avantage de la « Fermeture » : Lorsqu'un texte doit fermer une structure, le Transformer gagne.
- Analogie : Si un texte présente une parenthèse ouverte (, le Transformer sait exactement quelle sera la parenthèse fermante ). Il n'a pas besoin d'un carnet pour se souvenir qu'une ( nécessite une ); il regarde simplement le texte visible. L'étudiant Hybride se trompe parfois ici, peut-être parce qu'il est trop occupé à suivre l'« état de l'histoire » et manque la règle structurelle simple.
L'avantage de la « Copie » : Si le texte répète une longue phrase (comme une erreur de copier-coller ou une liste répétitive), le Transformer est imbattable.
- Analogie : Si le texte dit : « Le renard brun rapide saute par-dessus le chien paresseux. Le renard brun rapide saute par-dessus le... », le Transformer se contente de copier le motif qu'il voit juste devant lui. L'étudiant Hybride essaie de comprendre la « signification » de la répétition, ce qui est un travail inutile, et performe donc moins bien.

4. Le mystère des « Mots de Fonction »

L'article a également examiné les petits mots banals comme « le », « est », « et » ou « à » (mots de fonction).

L'étudiant Hybride est seulement légèrement meilleur pour ces mots.
Pourquoi ? Parce que ces mots constituent une petite liste fermée. Il y en a très peu. Une fois que vous connaissez la catégorie (par exemple, « ceci est une préposition »), il n'y a pas beaucoup de place pour que le carnet de notes aide à deviner lequel de ces mots spécifiques utiliser. L'avantage du carnet est maximal lorsqu'il y a des milliers de possibilités (comme les noms et les verbes) et que vous avez besoin du contexte pour choisir le bon.

5. La grande conclusion

L'article conclut que les modèles Hybrides ne sont pas simplement « meilleurs en tout ». Ils sont meilleurs pour des choses spécifiques :

Suivre l'intrigue : Suivre qui possède quoi, quelles variables sont définies dans un code, ou quel est le sujet actuel.
Prédire de nouvelles idées : Deviner le prochain « mot de contenu » dans une histoire ou un code.

Cependant, ils ne sont pas meilleurs pour :

La copie simple : Répéter ce qui vient d'être dit.
La fermeture structurelle : Associer des parenthèses ou des balises qui sont déjà ouvertes.

Pourquoi cela importe pour l'avenir

Les auteurs suggèrent que si nous voulons construire des IA encore plus intelligentes, nous ne devrions pas seulement regarder le score « moyen ». Au lieu de cela, nous devrions regarder quels mots l'IA réussit.

Si une IA est mauvaise pour « fermer les parenthèses », nous savons qu'elle a des difficultés avec la structure.
Si une IA est mauvaise pour « suivre qui possède quoi », nous savons qu'elle a des difficultés avec son carnet de notes interne (suivi de l'état).

En décomposant les résultats mot par mot, les chercheurs peuvent voir exactement quel genre de « cerveau » (mémoire vs carnet de notes) une IA utilise et corriger les parties spécifiques qui sont faibles.

Résumé technique : Comparaison des Transformers et des modèles hybrides au niveau du jeton (token)

Énoncé du problème

Les modèles de langage hybrides, qui combinent des mécanismes d'attention avec des couches de séquences récurrentes, ont démontré une supériorité empirique sur les Transformers purs en termes de perte (loss) et de benchmarks en aval. Théoriquement, cet avantage est motivé par l'expressivité complémentaire des deux architectures : l'attention excelle dans la récupération d'informations à partir de préfixes visibles (utile pour la copie et l'appariement structurel), tandis que les couches récurrentes excellent dans la construction et la mise à jour d'états latents pour des calculs de suivi d'état ordonnés.

Cependant, il reste peu clair quels types de données ou quelles capacités de prédiction spécifiques pilotent ces gains empiriques, et si les améliorations observées s'alignent sur les avantages théoriques qui motivent les architectures hybrides. Cet article répond à la question suivante : Quelles occurrences de jetons individuels expliquent la perte moyenne plus faible d'un modèle hybride par rapport à un Transformer apparié, et ces jetons correspondent-ils aux forces théoriques de la récurrence par rapport à l'attention ?

Méthodologie

Les auteurs mènent une analyse fine, au niveau du jeton, comparant deux modèles de même échelle (7B) issus de la même famille de recettes : Olmo 3 7B (Transformer pur) et Olmo Hybrid 7B (attention et couches récurrentes entrelacées).

Métrique centrale

Pour un jeton cible $x_i$ étant donné un préfixe $x_{<i}$ , les auteurs calculent l'écart de perte par jeton apparié :
$\Delta_i = \ell^{Tr}_i - \ell^{Hyb}_i = \log p^{Hyb}(x_i | x_{<i}) - \log p^{Tr}(x_i | x_{<i})$
Un $\Delta_i$ positif indique que le modèle hybride assigne une probabilité plus élevée (NLL plus faible) au jeton que le Transformer.

Cadre d'analyse

L'étude emploie trois approches analytiques complémentaires à travers les domaines de la prose, du code et du balisage (markup) :

Analyse observationnelle stratifiée par étiquettes (tags) :
- Les jetons cibles sont alignés avec des étiquettes de surface (ex: étiquettes POS pour la prose ; identifiants, chaînes de caractères, délimiteurs pour le code/balisage).
- Résumés bruts : Calcul de la moyenne de $\Delta_i$ pour chaque catégorie d'étiquette afin de déterminer l'avantage absolu de l'hybride.
- Robustesse de la régression : Ajustement de régressions linéaires contrôlant les variables de confusion (difficulté, fréquence, position, statut de sous-mot et réutilisation locale) pour déterminer si les motifs par étiquette persistent après avoir pris en compte ces facteurs.
Sondes synthétiques contrôlées :
- Pour isoler des exigences de calcul spécifiques, les auteurs évaluent les modèles sur trois tâches synthétiques avec des modèles fixes et des distances de dépendance variables ( $d \in \{32, \dots, 1024\}$ $d \in {32, \dots, 1024}$ ) :
  - Mémoire des pronoms : Nécessite le maintien d'un état de liaison de rôle pour sélectionner le pronom correct.
  - Suivi d'entités : Nécessite le maintien de liaisons entité-attribut pour répondre à des requêtes.
  - Fermeture structurelle : Nécessite la prédiction d'un délimiteur de fermeture basé sur un ouvreur visible.
Évaluation filtrée (Preuve de concept) :
- Appliquée à des phases de pré-entraînement à l'échelle de 1B (Transformer, Hybride, RNN pur) pour démontrer comment les décompositions par jeton peuvent affiner les diagnostics d'architecture pendant l'entraînement.

Résultats clés

1. Gains non uniformes au niveau du jeton

L'avantage du modèle hybride n'est pas uniforme sur tous les jetons.

Mots de contenu à classe ouverte : L'hybride montre la plus grande réduction de perte sur les catégories de mots de contenu à classe ouverte (noms, verbes, adjectifs, adverbes). Dans la prose, l'écart brut pour les mots de contenu est environ 61 % plus élevé que pour les mots de fonction.
Mots de fonction à classe fermée : L'avantage est plus faible et plus hétérogène pour les mots de fonction à classe fermée (déterminants, prépositions, pronoms).
Corrélation avec la taille du vocabulaire : Il existe une corrélation positive entre la taille du vocabulaire d'une étiquette (ouverture) et l'avantage de l'hybride. Les grands vocabulaires (classes ouvertes) présentent des gains hybrides plus importants, tandis que les inventaires restreints et fermés présentent des gains moindres.

2. Délimiteurs structurels : Ouverts vs Fermés

Délimiteurs d'ouverture : L'hybride est nettement favorisé sur les crochets et les balises d'ouverture dans tous les domaines (prose, Python, HTML, LaTeX). Ces jetons initient souvent un nouveau champ ou une mise à jour d'état.
Délimiteurs de fermeture : L'avantage de l'hybride disparaît presque ou s'inverse sur les délimiteurs de fermeture. Le Transformer est compétitif ou meilleur ici, car les jetons de fermeture satisfont des obligations structurelles déjà établies par le préfixe visible (une tâche de récupération/fermeture).

3. N-grammes répétés et copie

L'avantage de l'hybride s'effondre sur les n-grammes répétés. À mesure que la longueur de l'étendue répétée augmente ( $n=1$ à $16$), l'écart de perte brut diminue rapidement vers zéro.
L'analyse de régression confirme que les caractéristiques de répétition déplacent l'écart vers le Transformer. Cela suggère que lorsque la cible est prévisible via la copie du préfixe visible, le mécanisme d'attention est suffisant, et l'état récurrent n'offre aucun avantage supplémentaire.

4. Résultats des sondes synthétiques

Tâches conditionnées par l'état (Mémoire des pronoms, Suivi d'entités) : L'hybride surpasse systématiquement le Transformer, maintenant une précision supérieure au hasard même à de longues distances là où le Transformer chute en dessous du hasard.
Fermeture structurelle : Le Transformer surpasse l'hybride sur les tâches de fermeture, quelle que soit la distance.
Conclusion : La distinction critique n'est pas seulement la longueur de la dépendance, mais le type de calcul : la lecture conditionnée par l'état favorise la récurrence, tandis que la récupération/fermeture basée sur le préfixe visible favorise l'attention.

5. Utilité de l'évaluation filtrée

Dans les phases de pré-entraînement à l'échelle 1B, la perte de validation agrégée montrait une séparation minimale entre les architectures. Cependant, les pertes filtrées ont révélé des régimes distincts :

Filtre orienté état (Top-10 Classe Ouverte, Sans Copie) : A amplifié l'écart, montrant l'hybride surpassant significativement le Transformer pur et le RNN pur.
Filtre de Copie (5-grammes répétés) : A révélé que les RNN purs accusent un retard significatif derrière les modèles basés sur l'attention pour les tâches de récupération, une faiblesse masquée par la perte agrégée.

Signification et revendications

L'article soutient que le succès empirique des modèles hybrides est piloté par des mécanismes spécifiques et théoriquement cohérents plutôt que par une performance "meilleure" de manière générale sur toutes les tâches.

Validation de la théorie de l'expressivité : Les résultats s'alignent sur la théorie de l'expressivité. Les couches récurrentes améliorent les prédictions qui exploitent l'état sémantique d'un document (ex: suivi d'entités, de rôles ou de variables de programme), tandis que les mécanismes d'attention restent supérieurs pour les tâches reposant sur la récupération de préfixes visibles (copie) ou la fermeture structurelle (appariement d'ouvreurs).
Affinement des benchmarks de suivi d'état : Les auteurs soutiennent que les benchmarks de suivi d'état en monde fermé existants (comme le problème du mot $A_5$ ) sont insuffisants pour distinguer les futurs modèles récurrents car ils peuvent être résolus par des RNN linéaires structurés. Ils proposent le suivi d'état de discours comme une cible plus exigeante, où l'état croît dynamiquement avec de nouvelles entités et relations, reflétant mieux les besoins du langage naturel et du code.
Outil de diagnostic pour la recherche d'architecture : L'article propose que les pertes par jeton filtrées servent d'outil de diagnostic à haut signal durant le pré-entraînement. En décomposant la perte agrégée en composantes "conditionnées par l'état" et "copie/récupération", les chercheurs peuvent identifier si un changement architectural améliore la représentation de l'état ou les capacités de récupération, plutôt que de se fier à un seul chiffre de perplexité agrégée qui peut masquer des compromis.

Les auteurs concluent que les décompositions par jeton peuvent affiner les diagnostics de pré-entraînement, exposer les compromis de capacité cachés par les métriques agrégées et guider la conception des futures architectures hybrides.