🤖 machine learning

The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models

Cet article identifie et analyse l'écart d'expressivité entre les circuits probabilistes et les grands modèles de langage dans la modélisation linguistique autorégressive, révélant que, bien que la paramétrisation dans l'espace des logits et les architectures décomposables puissent atténuer des goulots d'étranglement spécifiques, la structure de routage fixe des circuits probabilistes décomposables structurés limite fondamentalement leur capacité à modéliser des topologies de dépendance hétérogènes par rapport aux transformateurs.

Auteurs originaux : Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à deux types de robots différents comment prédire le mot suivant dans une phrase. L'un est un Modèle de Langage de Grande Taille (LLM), comme ceux qui alimentent les chatbots modernes. L'autre est un Circuit Probabiliste (CP), un type de modèle connu pour son « honnêteté » mathématique et sa capacité à calculer des probabilités exactes sans deviner.

Pendant longtemps, le robot LLM a gagné les épreuves de langage, tandis que le robot CP peinait. Cet article pose la question : Pourquoi le robot CP est-il si nettement moins performant en langage, alors qu'il est théoriquement très puissant ?

Les auteurs ont découvert que le robot CP n'échoue pas parce qu'il est « bête ». Il échoue à cause de deux goulots d'étranglement spécifiques (embouteillages) dans la façon dont il pense et parle.

1. Le « Goulot d'étranglement de la Sortie » : Le Mélangeur de Peinture vs L'Imprimante Laser

Imaginez le LLM comme une Imprimante Laser. Lorsqu'il décide quel mot dire ensuite, il émet une liste de « scores » (logits) pour chaque mot possible du dictionnaire. Il ne se soucie pas si les scores sont des nombres étranges ; il les imprime simplement, et un filtre final (Softmax) les transforme en une image nette et claire où un mot ressort brillamment tandis que les autres s'estompent. C'est parfait pour le langage, où le contexte pointe généralement vers un mot très spécifique.

Le robot CP, en revanche, agit comme un Mélangeur de Peinture. Il tente de créer le mot suivant en mélangeant quelques « couleurs de base » préfabriquées (distributions de probabilité).

Le Problème : Si vous avez besoin d'une couleur très précise et nette (comme un rouge vif représentant un seul mot), mélanger quelques couleurs de base dans un seau donne souvent une couleur boueuse et floue. Vous ne pouvez pas facilement créer une distribution « nette » en moyennant simplement d'autres.
La Solution : L'article montre que si vous permettez au robot CP d'arrêter de mélanger de la peinture dans un seau et d'émettre à la place des « scores » comme l'Imprimante Laser (travaillant dans l'« espace des logits » plutôt que dans l'« espace des probabilités »), il devient soudainement beaucoup meilleur en langage. Il réduit considérablement l'écart.

2. Le « Goulot d'étranglement du Contexte » : Les Voies de Train Fixes vs La Route Dynamique

C'est le problème le plus important. Imaginez que le robot doit regarder les mots précédents pour comprendre le mot actuel.

Le LLM (La Route Dynamique) : Le LLM utilise un mécanisme appelé « Auto-Attention ». Imaginez un GPS capable de tracer instantanément une nouvelle route reliant n'importe quels deux points de la phrase, peu importe la distance qui les sépare. Si la phrase est « Le chat était assis sur le tapis », le LLM peut tracer instantanément une route entre « chat » et « tapis », même s'il y a 50 mots entre les deux. Il adapte ses connexions en fonction de ce que la phrase nécessite réellement.
Le CP (Les Voies de Train Fixes) : Le robot CP est construit sur une structure rigide appelée vtree (un diagramme d'arbre fixe). Imaginez un système ferroviaire où les voies sont posées de manière permanente avant que le train ne roule.
- Si la structure de la phrase correspond aux voies (par exemple, des mots locaux se connectant à leurs voisins immédiats), le CP roule sans heurts et performe presque aussi bien que le LLM.
- Le Problème : Si la phrase nécessite une connexion que les voies ne supportent pas (par exemple, relier le premier mot au dernier mot d'une manière spécifique), le CP reste bloqué. Il ne peut pas changer d'itinéraire. C'est comme essayer de conduire une voiture sur une voie de train qui va dans la mauvaise direction.

L'article prouve que bien que le CP puisse théoriquement gérer des connexions complexes, il ne peut le faire que si les « voies de train » sont posées exactement de la bonne manière pour cette phrase spécifique. Comme le langage réel est désordonné et change constamment de structure, les voies fixes du CP constituent un handicap majeur.

L'idée du « Super-CP »

Les auteurs ont également testé l'idée d'un « Super-CP ». Et si nous permettions au robot CP d'avoir plusieurs ensembles de voies et de choisir le meilleur pour chaque phrase ?

La Théorie : Mathématiquement, cette version « souple » du CP est strictement plus puissante que la version rigide.
La Réalité : Bien qu'elle fonctionne mieux dans des tests simples et artificiels, il est très difficile d'entraîner ces modèles flexibles sur des données réelles. L'article conclut que bien que nous sachions comment les rendre plus puissants, nous n'avons pas encore trouvé le meilleur moyen de les apprendre à apprendre efficacement.

Résumé

L'article conclut que les Circuits Probabilistes ne sont pas « cassés », ils sont simplement inadaptés au langage :

Ils mélangent de la peinture au lieu d'imprimer des scores : Changer leur façon de produire des prédictions aide beaucoup.
Ils sont coincés sur des voies fixes : Ils ne peuvent pas connecter dynamiquement les mots comme le font les LLM, ce qui les pénalise lorsque la structure de la phrase devient complexe.

Si nous pouvons résoudre le problème du « mélange de peinture » et trouver un moyen d'entraîner des modèles flexibles capables de « changer de voie », les CP pourraient enfin rattraper les LLM dans les tâches de langage tout en conservant leur capacité spéciale à effectuer des calculs mathématiques exacts.

Résumé Technique : La Frontière d'Expressivité des Circuits Probabilistes

Énoncé du Problème

Les Circuits Probabilistes (CP) constituent une classe de modèles génératifs profonds distinguée par leur capacité à supporter une inférence probabiliste exacte et efficace (par exemple, la marginalisation et le conditionnement). Malgré cet avantage théorique, les CP accusent un retard significatif par rapport aux modèles de langage à grande échelle (LLM) basés sur les Transformers dans les tâches de modélisation linguistique autoregressive. Alors que des travaux antérieurs ont analysé l'expressivité des CP de manière isolée ou comparé des sous-classes au sein de la famille tractable, les causes profondes de l'écart de performance entre les CP tractables et les modèles de séquences neuronaux dominants restent floues. Cet article vise à identifier les goulots d'étranglement structurels limitant l'expressivité des CP lorsqu'ils sont appliqués à la modélisation du langage.

Méthodologie

Les auteurs établissent un cadre autoregressif unifié permettant une comparaison directe, tête-à-tête, entre les CP et les LLM. Les deux classes de modèles sont formulées comme des encodeurs conditionnés par le contexte qui mappent un préfixe $x_{<t}$ vers des paramètres prédictifs $\theta_t$ pour le token suivant $X_t$ .

L'analyse décompose l'écart d'expressivité en deux goulots d'étranglement structurels :

Le Goulot de Sortie : Investigation de la manière dont les représentations internes sont traduites en distributions de vocabulaire. Les LLM opèrent dans l'espace des logits (vecteurs non contraints normalisés par softmax), tandis que les CP standards opèrent dans l'espace des probabilités (combinaisons convexes de distributions de base).
Le Goulot de Codage du Contexte : Analyse de la capacité des encodeurs à fusionner l'information à travers les variables de contexte. Les LLM utilisent une attention self-dynamique, tandis que les CP à décomposition structurée reposent sur des structures de routage fixes définies par un vtree (un arbre binaire régissant les splits de portée des variables).

L'étude emploie une combinaison de preuves théoriques (utilisant le rang de séparation comme mesure de complexité) et d'expériences empiriques contrôlées. Les expériences impliquent :

La comparaison des modèles de Markov cachés standards (HMM, une sous-classe de CP) et des Transformers avec des variantes modifiées : Logit-HMM (CP avec sortie dans l'espace des logits) et Prob-Transformer (Transformers avec sortie dans l'espace des probabilités).
L'évaluation des performances sur des données synthétiques avec des topologies de dépendance manipulées (locales vs de type induction) et des benchmarks réels (Penn Treebank, WikiText-103, UD-ATIS).
Le test de l'assouplissement de la décomposabilité structurée vers la décomposabilité générale pour évaluer l'impact du routage fixe.

Contributions et Résultats Clés

1. Le Décalage de Sortie

L'article démontre que le domaine géométrique de la paramétrisation de sortie impacte significativement les performances.

Résultat : Les distributions du langage naturel sont souvent nettes (faible entropie). Les représenter comme des combinaisons convexes dans l'espace des probabilités (CP standards) impose des contraintes géométriques plus strictes que les mappings linéaires non contraints dans l'espace des logits (Transformers).
Preuve : Dans des expériences contrôlées, les Logit-HMM (CP utilisant des sorties dans l'espace des logits) surpassent nettement les HMM standards et réduisent l'écart avec les Transformers. Inversement, forcer un Transformer à utiliser des sorties dans l'espace des probabilités (Prob-Transformer) dégrade ses performances.
Conclusion : Adopter une paramétrisation dans l'espace des logits pour les CP réduit considérablement l'écart d'expressivité, suggérant que la contrainte standard de l'espace des probabilités est un goulot d'étranglement principal.

2. Le Décalage de Routage (Codage du Contexte)

L'article analyse la capacité des CP à décomposition structurée à capturer les dépendances en utilisant le rang de séparation.

Résultat Théorique (Théorème 1) : Les CP à décomposition structurée peuvent égaler le rang de séparation des Transformers, mais uniquement sur des partitions de variables alignées avec le vtree fixe du circuit.
Preuve Empirique : Sur des données synthétiques, un CP atteint un niveau de performance équivalent à celui des Transformers lorsque la disposition de son vtree correspond à la topologie de dépendance des données (par exemple, locale vs induction). Cependant, les performances se dégradent sévèrement lorsque la disposition est inadaptée.
Généralisation : Cette limitation n'est pas unique aux CP ; les Transformers avec des masques d'attention fixes (simulant un routage fixe) échouent également sur des données à topologie mixte où une structure fixe unique ne peut capturer simultanément les dépendances locales et à longue portée.
Conclusion : La rigidité des structures de routage fixes constitue un goulot d'étranglement fondamental pour les données présentant des topologies de dépendance hétérogènes.

3. Assouplissement de la Décomposabilité Structurée

Les auteurs investiguent si le passage des CP à décomposition structurée (avec vtree fixe) aux CP décomposables généraux (routage flexible) résout le problème.

Résultat Théorique (Théorème 2) : Les CP décomposables sont strictement plus expressifs que les CP à décomposition structurée ; il existe des fonctions représentables par des CP décomposables de taille polynomiale qui nécessitent une taille exponentielle sous forme à décomposition structurée.
Réalité Empirique : Bien que la fusion de multiples composants structurés (un mélange de spécialistes) améliore les performances sur des données synthétiques, les gains diminuent sur les jeux de données réels (PTB, UD-ATIS).
Conclusion : Bien que l'écart d'expressivité théorique soit clair, l'optimisation et la construction efficaces de CP décomposables pour tirer parti de cet avantage sur des distributions réelles restent un défi ouvert.

Importance et Revendications

L'article revendique de caractériser l'écart d'expressivité entre les CP et les LLM non pas comme un échec unique, mais comme une décomposition en deux décalages structurels spécifiques :

Espace de Sortie : La contrainte des combinaisons convexes dans l'espace des probabilités versus les projections dans l'espace des logits.
Flexibilité de Routage : La limitation des structures de vtree fixes versus le routage dynamique dépendant de l'entrée.

Les auteurs affirment que ces résultats fournissent des directions concrètes pour les travaux futurs :

Explorer les paramétrisations de sortie au-delà des combinaisons convexes dans l'espace des probabilités (par exemple, l'espace des logits) pour mieux modéliser les distributions nettes.
Développer des algorithmes d'apprentissage capables d'optimiser efficacement la classe plus large des CP décomposables pour surmonter le goulot d'étranglement du routage fixe.

L'article maintient une position modeste concernant le « goulot d'étranglement du codage du contexte », notant que bien que des bornes théoriques soient établies, la réalisation pratique des avantages des CP décomposables sur des distributions complexes et réelles n'est pas encore pleinement atteinte. L'analyse est principalement validée sur des données synthétiques avec des topologies contrôlées et des benchmarks standards de modélisation du langage, reconnaissant que les résultats sur le rang de séparation caractérisent les écarts d'expressivité dans le pire des cas.