💬 NLP

Probability Distributions Computed by Autoregressive Transformers

Ce papier caractérise les distributions de probabilité exprimables par les modèles de langage transformateurs autorégressifs, démontrant que leur nature autorégressive et probabiliste peut accroître l'expressivité et briser les équivalences trouvées dans les reconnaissances de langage non probabilistes.

Auteurs originaux : Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Transformer (le modèle d'IA derrière des outils comme ChatGPT) comme un bibliothécaire robot très intelligent, mais légèrement rigide. Pendant des années, les chercheurs ont étudié ce bibliothécaire en lui posant une simple question « Oui ou Non » : « Ce livre spécifique appartient-il à la section « Science-fiction » ? » Si le robot répond « Oui », le livre est accepté ; si « Non », il est rejeté. C'est ce que l'article appelle un Classifieur.

Cependant, dans le monde réel, nous ne demandons pas seulement au bibliothécaire de trier des livres. Nous lui demandons d'écrire une histoire. Nous lui donnons les premiers mots, et il devine le mot suivant, puis le suivant, puis le suivant, créant une distribution de probabilités (une hypothèse sur ce qui vient ensuite). C'est ce que l'article appelle un Autoregresseur.

L'article pose une question fondamentale : Le robot est-il meilleur pour écrire des histoires que pour trier des livres ? Ou, inversement, sa capacité à trier des livres nous dit-elle tout ce que nous devons savoir sur sa capacité à écrire ?

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. Les Deux Façons de Penser

Les auteurs ont réalisé que la plupart des recherches précédentes traitaient le Transformer comme un Juge (Classifieur), tandis que l'IA réelle que nous utilisons agit comme un Conteur (Autoregresseur).

Le Juge : Examine une phrase entière et dit « Vrai » ou « Faux ».
Le Conteur : Examine une phrase jusqu'à présent et dit : « Il y a 90 % de chances que le mot suivant soit « chat » et 10 % de chances que ce soit « chien ». »

2. Le Monde « Booléen » (Le Cas Simple)

Imaginez un monde où le robot ne traite que du noir et blanc (Vrai/Faux).

La Découverte : Dans ce monde simple, le Juge et le Conteur sont essentiellement la même personne. Si le robot peut trier un livre correctement, il peut aussi écrire une histoire qui suit les mêmes règles, et vice versa.
La Chose : Bien qu'ils soient également puissants, le Conteur a parfois besoin d'un « manuel d'instructions » interne (logique) beaucoup plus compliqué pour faire le même travail que le Juge. C'est comme si le Juge pouvait repérer un motif instantanément, mais que le Conteur devait écrire une recette longue et complexe pour générer ce même motif mot par mot.

3. Le Monde « Pondéré Réel » (Le Cas Complexe)

Maintenant, imaginez que le robot traite des nuances de gris (probabilités, comme 0,5, 0,9, etc.). C'est ainsi que fonctionne l'IA réelle.

La Découverte : Ici, le Juge et le Conteur ne sont pas les mêmes. Ils ont des superpouvoirs différents.
- Le Conteur est plus flexible : Il peut générer certains types de motifs de probabilités que le Juge ne peut tout simplement pas reconnaître.
- Le Juge est plus rigide : Il existe des motifs de probabilités spécifiques que le Juge peut identifier mais que le Conteur ne peut pas générer, car le Conteur doit suivre des règles strictes pour s'assurer que ses probabilités s'additionnent toujours à 100 %.
L'Analogie : Imaginez le Juge comme un agent de sécurité qui peut repérer un faux-pièce d'identité instantanément. Le Conteur est un faussaire essayant de créer un faux-pièce d'identité. Parfois, le faussaire peut créer un faux-pièce d'identité que l'agent ne peut pas repérer (car l'agent ne vérifie que par rapport à une liste spécifique). Mais parfois, le faussaire est si lié par les règles du papier et de l'encre qu'il ne peut pas créer un type spécifique de faux-pièce d'identité que l'agent peut facilement repérer.

4. La Logique « Voyage dans le Temps »

L'article utilise un type spécial de logique appelé « Logique Temporelle Linéaire » (LTL) pour décrire ce que ces robots peuvent faire. C'est comme un ensemble de règles pour le voyage dans le temps :

« Hier » (Y) : Regarder en arrière vers le mot précédent.
« Historiquement » (H) : Regarder en arrière vers tous les mots précédents.
« Depuis » (S) : Regarder en arrière à partir d'un point spécifique.

Les auteurs ont découvert que :

Si le robot a accès à « Hier » et « Historiquement » (regarder en arrière), le Juge et le Conteur sont égaux.
Si le robot est restreint (par exemple, il ne peut regarder en arrière que de quelques pas ou n'utilise que « Historiquement »), le Conteur devient strictement plus puissant que le Juge. Le Conteur peut gérer des motifs que le Juge restreint ne peut pas.

5. Le Problème du « Comptage »

L'article a également examiné des robots qui sont bons pour compter (comme compter combien de « a » il y a dans une chaîne).

Des recherches précédentes ont montré que, en tant que Juges, ces robots ne pouvaient compter que jusqu'à une certaine limite basée sur leur taille.
Cependant, en tant que Conteurs, ils pouvaient en fait gérer des tâches de comptage légèrement plus complexes. L'acte de prédire le mot suivant étape par étape leur donnait un tout petit peu plus de « puissance cérébrale » que de simplement juger la chaîne entière d'un coup.

Résumé

La conclusion principale est que nous ne pouvons pas supposer que ce qu'un Transformer peut faire en tant que « Juge » (reconnaître des motifs) est exactement la même chose que ce qu'il peut faire en tant que « Conteur » (générer du texte).

Dans des scénarios simples, en noir et blanc, ils sont majoritairement les mêmes.
Dans le scénario complexe et réel des probabilités, le « Conteur » possède des capacités uniques que le « Juge » n'a pas, et vice versa.

Cela signifie que lorsque les scientifiques testent les capacités de l'IA, ils doivent être prudents. Le fait qu'un robot échoue à un « test de tri » ne signifie pas qu'il échouera à « écrire une histoire », et un robot excellent pour le tri pourrait avoir des difficultés avec les règles spécifiques de la génération d'une histoire. L'article fournit une carte pour comprendre exactement où résident ces différences.

Résumé Technique : Distributions de Probabilité Calculées par des Transformers Autorégressifs

Énoncé du Problème

Les travaux théoriques existants sur l'expressivité des transformers traitent principalement ces derniers comme des reconnaissances de langage (classificateurs), où l'entrée est une chaîne complète et la sortie est une classification binaire (acceptation/rejet). Cependant, l'application pratique principale des transformers est celle de modèles de langage (autorégresseurs), qui génèrent des chaînes token par token en prédisant une distribution de probabilité sur le symbole suivant étant donné un préfixe.

Ce papier comble une lacune fondamentale : il est incertain de savoir quels résultats théoriques concernant l'expressivité des transformers dans le cadre de la reconnaissance s'appliquent au cadre de la modélisation du langage. Plus précisément, les auteurs examinent si les classes d'équivalence établies pour les transformers en tant que classificateurs booléens (par exemple, l'équivalence avec la Logique Temporelle Linéaire ou les automates sans compteur) sont valables lorsque les transformers sont utilisés comme autorégresseurs à poids réels ou booléens.

Méthodologie

Les auteurs développent un cadre formel pour comparer les transformers en tant que classificateurs versus autorégresseurs à travers deux domaines de poids :

Semirègne Booléen ( $\mathbb{B}$ ) : Les poids sont $\{0, 1\}$ (Faux/Vrai).
Semirègne Réel ( $\mathbb{R}_{\geq 0}$ ) : Les poids sont des nombres réels non négatifs (probabilités).

Ils définissent un encodeur d'état comme une fonction qui mappe un préfixe de chaîne à une séquence d'états, où l'état à la position $i$ dépend uniquement du préfixe $w_{\leq i}$ . En utilisant cette abstraction, ils analysent quatre configurations spécifiques :

Classificateurs Booléens : Mappe une chaîne complète vers une valeur booléenne.
Autorégresseurs Booléens : Mappe un préfixe vers une distribution sur le token suivant (poids booléens).
Classificateurs Réels : Mappe une chaîne complète vers un poids réel.
Autorégresseurs Réels : Mappe un préfixe vers une distribution de probabilité sur le token suivant.

L'étude se concentre sur les Transformers à Attention Unique et Rigide (UHATs) et les Transformers à Attention Softmax (SMATs) avec une précision fixe. Ceux-ci sont comparés à :

La Logique Temporelle Linéaire (LTL) et ses fragments (par exemple, $TL[P]$, $TL[H]$).
Les Automates Finis Déterministes Sans Compteur (cfDFAs) et les Automates Finis Non Déterministes Sans Compteur (cfNFAs).

La méthodologie centrale consiste à construire des réductions entre ces formalismes pour déterminer si l'un peut simuler l'autre, à la fois en mode classificateur et en mode autorégressif.

Contributions et Résultats Clés

1. Équivalence entre Classificateurs et Autorégresseurs Booléens

LTL Complet : Dans le semirègne booléen, les classificateurs LTL et les autorégresseurs LTL sont équivalents. Un transformer agissant comme un autorégresseur booléen peut définir les mêmes langages qu'un transformer agissant comme un classificateur, à condition que la logique inclue les opérateurs « Hier » ( $Y$ ) et « Historiquement » ( $H$ ).
Complexité de la Conversion : Bien qu'équivalents, convertir un autorégresseur en un classificateur (spécifiquement en supprimant l'opérateur $Y$ ) peut nécessiter une explosion exponentielle de la taille de la formule. Le papier démontre que la construction d'une transformation équivalente en temps polynomial pour certains fragments est improbable, sauf si $P = PSPACE$ ou $P = NP$.

2. Divergence dans les Fragments Restreints (Booléen)

Lorsqu'on restreint l'ensemble des opérateurs temporels (par exemple, à $TL[H]$ ou $TL[P]$ sans $Y$ ), les autorégresseurs deviennent strictement plus expressifs que les classificateurs.

Exemple : Le langage $(ab)^*$ est définissable par un autorégresseur booléen $TL[\emptyset]$ mais ne peut pas être défini par un classificateur $TL[H]$ ou $TL[Y]$ quelconque.
Implication : Les transformers avec des mécanismes d'attention spécifiques (comme les UHATs à gauche ou les SMATs à précision fixe, qui correspondent à ces fragments) peuvent reconnaître des langages en tant qu'autorégresseurs qu'ils ne peuvent pas reconnaître en tant que classificateurs.

3. Divergence dans les Cadres à Poids Réels

Dans le semirègne réel, le paysage de l'expressivité change considérablement :

Classificateurs vs Autorégresseurs : Ils sont incomparables.
- Il existe des langages pondérés expressibles par des autorégresseurs réels mais pas par des classificateurs réels (par exemple, $(\frac{1}{2}a)^*$ , qui nécessite une infinité de poids distincts).
- Il existe des langages pondérés expressibles par des classificateurs réels mais pas par des autorégresseurs réels (par exemple, $(1a)^*$ , qui n'est pas une distribution de probabilité normalisée).
UHATs et cfDFAs : Dans le cadre réel, les UHATs (et la LTL) en tant qu'autorégresseurs sont équivalents aux DFA sans compteur. Cependant, ils sont strictement moins expressifs que les NFA pondérés sans compteur.
- Le papier démontre un NFA pondéré sans compteur qui n'est pas déterminisable (ne peut pas être converti en un DFA pondéré équivalent), montrant que le non-déterminisme dans le cadre à poids réels ajoute une expressivité que les transformers (modélisés comme des encodeurs d'états déterministes) ne peuvent pas capturer.

4. Impact des Opérateurs de Comptage

Le papier réexamine les résultats concernant les transformers dotés de capacités de comptage (par exemple, les SMATs avec une précision arbitraire à l'intérieur de l'attention, équivalents à $TL[\#]$ ).

Des travaux antérieurs ont montré que ces transformers reconnaissent des langages spécifiques en tant que classificateurs.
Ce papier montre qu'en tant qu'autorégresseurs, ces modèles sont légèrement plus puissants, capables de reconnaître des langages (comme $L_{k+2}$ ) qu'ils ne peuvent pas reconnaître en tant que classificateurs (limités à $L_k$ ). Cela explique les écarts entre les bornes de reconnaissance théoriques et les performances empiriques de prédiction de symboles dans la littérature antérieure.

Importance et Revendications

Le papier revendique de fournir une manière principielle d'interpréter les expériences existantes sur l'expressivité des transformers.

Validation : Dans de nombreux cas (spécifiquement la LTL booléenne complète), les résultats de la littérature sur la reconnaissance de langage se transfèrent aux modèles de langage. Par exemple, puisque les UHATs ne peuvent pas reconnaître le PARITÉ en tant que classificateurs, ils ne peuvent pas le faire non plus en tant qu'autorégresseurs.
Mises en garde : Les auteurs soulignent que l'on ne peut pas supposer aveuglément que les résultats de reconnaissance s'appliquent à la génération.
- Poids Réels : Le passage des poids booléens aux poids réels brise les équivalences trouvées dans le cas booléen (par exemple, entre les DFA et les NFA).
- Autorégression vs Classification : L'autorégression peut strictement augmenter l'expressivité dans les fragments logiques restreints (booléens) et modifie la classe des langages pondérés expressibles (réels).
Perspectives Futures : Les auteurs suggèrent que les travaux futurs devraient étendre ces résultats à l'attention softmax à précision logarithmique, aux encodages de position et au raisonnement de type « chaîne de pensée » dans des cadres à poids réels, notant que les techniques actuelles pour prouver l'inexpressibilité dans les autorégresseurs sont limitées.

En résumé, le papier établit que si les transformers en tant que modèles de langage partagent une grande partie de leur fondement théorique avec les transformers en tant que reconnaisseurs, le passage à l'autorégression et aux probabilités à valeurs réelles introduit des différences subtiles mais critiques dans l'expressivité computationnelle, en particulier concernant la puissance du non-déterminisme et les opérateurs temporels spécifiques disponibles.