On the Expressive Power of Transformers

Le plan directeur du cerveau : Pourquoi certains casse-têtes sont plus difficiles que d'autres

Imaginez que vous essayiez d'apprendre à un robot comment lire. Vous pourriez penser que le robot a seulement besoin de regarder les lettres une par une, comme une personne qui parcourt une page. Mais les robots modernes ultra-intelligents, appelés Grands Modèles de Langage (LLM), ne fonctionnent pas ainsi. Au lieu de lire de gauche à droite, ils utilisent un truc spécial appelé « Transformer ». Considérez le Transformer comme une immense équipe de détectives travaillant dans une pièce. Lorsqu'ils voient une phrase, chaque détective peut instantanément interpeller tous les autres détectives pour dire : « Hé, je regarde ce mot, et il est lié à ce mot là-bas ! » Cela leur permet de comprendre le contexte et les relations en un éclair, plutôt que de simplement mémoriser une liste de règles.

Mais voici la grande question qui empêche les scientifiques de dormir : à quel point ces détectives sont-ils réellement intelligents ? Peuvent-ils résoudre n'importe quel casse-tête, ou existe-t-il des énigmes qui les laisseront toujours perplexes ? Pour trouver la réponse, les chercheurs ne se contentent pas de faire des tests ; ils observent le « cerveau » du robot à travers le prisme des mathématiques de l'informatique. Ils comparent le Transformer à une famille de machines mathématiques appelées « circuits ». Imaginez ces circuits comme des usines dotées de chaînes de montage. Certaines usines sont très simples, avec des lignes courtes et peu d'ouvriers (on les appelle AC0). D'autres ont des lignes plus longues et des outils plus puissants capables de compter et de comparer de grands nombres (ce sont les TC0). En déterminant à quelle usine le Transformer ressemble le plus, les scientifiques peuvent prédire exactement quels types de problèmes il peut résoudre et où il atteint ses limites. Cela importe car, si nous connaissons les limites de ces modèles, nous pouvons cesser d'attendre d'eux qu'ils fassent de la magie et commencer à les construire pour ce qu'ils sont réellement capables de faire.

La grande découverte de l'article : L'interrupteur de puissance du Transformer

Dans leur article, « On the Expressive Power of Transformers », les chercheurs Phokion G. Kolaitis et Rik Sengupta agissent comme des architectes inspectant un nouveau bâtiment de haute technologie. Ils ne regardent pas seulement si le bâtiment est beau ; ils mesurent sa capacité de charge pour voir exactement ce qu'il peut supporter. Leur conclusion principale est que la puissance du Transformer n'est pas fixe ; elle change radicalement en fonction de quelques « boutons » ou réglages, spécifiquement la quantité de précision (combien de décimales il peut utiliser pour les calculs) et s'il est autorisé à penser à voix haute (une technique appelée Chaîne de Pensée ou Chain-of-Thought).

Examinons d'abord le Transformer sans temps de réflexion supplémentaire. Les auteurs expliquent que si vous donnez au Transformer un réglage d'attention simple et « dur » (où il choisit un seul mot sur lequel se concentrer) ou si vous limitez ses mathématiques à une très faible précision (comme l'utilisation de seulement quelques bits d'information), il est étonnamment faible. En fait, dans ces conditions, le Transformer est mathématiquement équivalent au type de circuit le plus simple, AC0. Cela signifie qu'il peut gérer une logique de base, comme vérifier si une phrase contient un nombre pair de mots, mais il peine avec les tâches qui nécessitent de compter ou de comparer de grands nombres. C'est comme un détective qui peut repérer un chapeau rouge mais qui ne peut pas compter combien il y a de chapeaux rouges dans la pièce.

Cependant, l'histoire devient beaucoup plus intéressante quand on augmente la précision. Si le Transformer est autorisé à utiliser des mathématiques plus précises (spécifiquement, un nombre de bits qui croît avec la longueur du texte, comme $\Theta(\log n)$), il monte en niveau. Il devient aussi puissant que l'usine de circuits TC0. C'est un bond significatif ! Désormais, le Transformer peut gérer des questions de « majorité » et des tâches de comptage plus complexes. C'est comme donner une calculatrice au détective ; soudain, il peut résoudre des énigmes qui étaient impossibles auparavant. Mais même avec cette mise à niveau, l'article suggère qu'il existe toujours un plafond. Sans aide supplémentaire, ces modèles sont probablement coincés dans le domaine TC0 et ne peuvent pas facilement résoudre des problèmes qui nécessitent un raisonnement logique profond, étape par étape, propre aux classes informatiques plus complexes comme PTIME (temps polynomial).

Le véritable changement de donne, selon l'article, est la Chaîne de Pensée (CoT). Imaginez que le Transformer n'est plus seulement un détective observant une scène de crime ; désormais, il est autorisé à écrire un journal de ses pensées avant de donner la réponse finale. Il peut générer des « tokens » intermédiaires (de petites notes) qu'il réinjecte dans lui-même pour l'aider à résoudre le problème. Les auteurs montrent que ce simple changement brise les limites précédentes.

• Si le Transformer est autorisé à écrire un court journal (proportionnel à la longueur du texte, ou $O(n)$), il peut résoudre des problèmes qui prennent un temps quadratique (comme $n^2$).
• S'il peut écrire un journal très long (proportionnel à un polynôme de la longueur du texte, ou $poly(n)$), il devient assez puissant pour simuler n'importe quel algorithme informatique standard, atteignant la classe PTIME.
• Et s'il dispose d'un espace de pensée illimité et d'une précision illimitée, il peut simuler une Machine de Turing, qui est la définition théorique d'un ordinateur universel capable de résoudre tout problème calculable.

L'article est très clair sur ce que cela signifie : le Transformer n'est pas intrinsèquement « omnipotent » ou « inutile ». Sa capacité à résoudre des problèmes difficiles dépend entièrement de la quantité de « papier brouillon » (Chaîne de Pensée) et de la « précision mathématique » que vous lui donnez. Sans ces ressources, il est limité à une logique simple et superficielle. Avec elles, il peut gravir l'échelle de la complexité jusqu'à simuler un ordinateur complet.

Les auteurs soulignent également certaines limitations spécifiques. Ils soutiennent que les modèles d'attention « dure » (où le robot ne choisit qu'un seul mot) sont strictement plus faibles que les modèles d'attention « douce » (où il accorde du poids à de nombreux mots) et ne peuvent même pas atteindre la pleine puissance de la classe de circuit la plus simple dans certains cas. De plus, ils insistent sur le fait que, bien que le Transformer puisse théoriquement simuler une Machine de Turing avec suffisamment de Chaîne de Pensée, il s'agit d'une limite théorique. Dans le monde réel, nous n'avons pas une mémoire infinie ou un temps infini pour générer une infinité de pensées intermédiaires, donc les modèles du monde réel auront toujours un plafond pratique inférieur au maximum théorique.

En résumé, Kolaitis et Sengupta ont cartographié le « réseau électrique » des Transformers. Ils nous montrent que ces modèles ne sont pas des boîtes noires magiques ; ce sont des machines à ressources limitées. Si vous voulez qu'ils résolvent un casse-tête difficile, vous ne pouvez pas simplement leur demander de « faire plus d'efforts » ; vous devez leur donner les bons outils : plus de précision, plus de couches et, surtout, la capacité de réfléchir étape par étape. L'article conclut que la compréhension de ces limites est cruciale. Cela nous aide à cesser d'attendre d'eux qu'ils fassent l'impossible et à commencer à les concevoir pour être les meilleures versions possibles de ce qu'ils sont : des reconnisseurs de formes incroyablement puissants, mais finalement limités.