Deterministic multi-hash routing supports long-horizon training in a compact language model

Dans le monde en évolution rapide de l'intelligence artificielle, les chercheurs tentent constamment de construire des machines capables de comprendre le langage et de raisonner sur le monde. Pour ce faire, ils créent des cerveaux numériques appelés modèles de langage, qui sont essentiellement de vastes réseaux de nombres apprenant des motifs à partir de quantités massives de texte. Une stratégie courante pour rendre ces modèles plus intelligents sans les rendre impossibles à gérer en termes de taille est d'utiliser une conception appelée « mélange d'experts » (mixture of experts). Imaginez une bibliothèque où, au lieu que chaque livre soit lu par un seul bibliothécaire, différentes sections de la bibliothèque sont gérées par différents spécialistes. Dans un modèle informatique, cela signifie que pour n'importe quel mot donné, le système active seulement un petit groupe spécifique de processeurs internes, ou « experts », tout en laissant le reste dormant. Généralement, l'ordinateur décide quels experts utiliser en observant le contexte de la phrase, se demandant : « Quel genre de mot est-ce, et de quoi a-t-il besoin en ce moment ? » Ce processus de prise de décision est appris par le modèle lui-même pendant l'entraînement, ce qui le rend flexible mais aussi complexe et difficile à prédire.

Un chercheur nommé Boris Peyriguere a exploré une voie différente, posant une question simple mais audacieuse : et si l'ordinateur n'avait pas besoin de décider quels experts utiliser ? Au lieu d'apprendre une règle dynamique pour chaque phrase, et si le choix de l'expert était fixé de manière permanente sur la seule base du mot lui-même ? Dans cette nouvelle approche, l'identité du mot agit comme une clé permanente qui ouvre toujours les deux mêmes portes, indépendamment de la conversation environnante. Le chercheur a construit un modèle de langage compact d'environ 201 millions de paramètres — une mesure de sa taille et de sa complexité — et l'a entraîné en utilisant ce système rigide et prédéterminé. Le modèle a été exposé à près de 130 milliards de mots lors de sa phase d'apprentissage initiale, puis perfectionné avec 32 milliards de mots supplémentaires, et enfin enseigné pour suivre des instructions. Les résultats ont montré que ce système fixe pouvait apprendre efficacement sur une longue période, produisant un modèle qui performait de manière surprenante sur des tests de raisonnement physique et de bon sens, surpassant même certains modèles plus larges et plus traditionnels qui avaient été entraînés avec des méthodes différentes.

Le cœur de cette expérience réside dans la façon dont le modèle gère l'information. Dans une configuration standard, l'ordinateur analyse la situation actuelle pour choisir les meilleurs outils. Dans le modèle de Peyriguere, les outils sont choisis au moment où le mot est vu, sur la base d'une carte précalculée qui ne change jamais. Pour chaque mot de l'inventaire du modèle, il y a une paire spécifique d'experts assignés à celui-ci. Cette carte a été créée avant le début de l'entraînement et est restée fixe tout au long du processus. Le modèle utilise toujours un chemin partagé qui traite chaque mot, garantissant qu'il comprenne le contexte, mais la puissance de traitement « résiduelle » supplémentaire provient de ces deux experts pré-assignés. Cette conception élimine une couche de complexité : le modèle n'a plus besoin d'apprendre comment router l'information, ce qui économise des efforts de calcul et rend le système plus facile à inspecter. Comme la table de routage est une liste fixe d'entiers, n'importe qui peut regarder le modèle et voir exactement quels experts seront utilisés pour un mot donné, sans avoir à faire passer la phrase par l'ordinateur au préalable.

Le processus d'entraînement était rigoureux et transparent. Le modèle a commencé par une phase de base où il a parcouru une collection massive de textes, incluant des pages web, des documents éducatifs, du code et des mathématiques. Après cette exposition initiale, les chercheurs ont fait une pause et ont redémarré l'entraînement avec un nouvel ensemble de paramètres internes, revisitant les mêmes mots uniques pour affiner la compréhension du modèle sans répéter exactement la même séquence d'événements. Enfin, le modèle a subi un ajustement d'instructions (instruction tuning), où on lui a présenté 300 000 exemples de questions et réponses pour lui apprendre à suivre des commandes. Tout au long de ce parcours, le système de routage fixe a tenu bon. Le modèle ne s'est pas effondré et n'a pas échoué dans son apprentissage ; au contraire, il a amélioré ses capacités de résolution de problèmes de manière constante. À la fin de l'entraînement, le modèle avait été exposé à plus de 162 milliards de mots au total, une quantité de données significative pour un modèle de sa taille.

Lorsqu'il a été testé sur sa capacité de raisonnement, le modèle a délivré des résultats solides. Sur un test appelé PIQA, qui mesure la compréhension des interactions physiques, le modèle a atteint une précision de 68,01 pour cent. Sur un ensemble de questions scientifiques connu sous le nom d'ARC-Challenge, il a obtenu 27,13 pour cent. Plus notablement, en combinant ses scores sur deux ensembles différents de questions scientifiques, le modèle a atteint une précision combinée de 47,29 pour cent. Cette performance était supérieure à celle de plusieurs modèles publics qui étaient nettement plus grands, contenant entre 350 millions et 774 millions de paramètres. Ces modèles plus larges ont été évalués selon les mêmes règles strictes et méthodes de test, pourtant ils n'ont pas égalé la performance de ce modèle plus petit au routage fixe. Cela suggère que l'efficacité du système de routage fixe a permis au modèle de mieux utiliser sa taille limitée.

Cependant, le chercheur prend soin de ne pas prétendre que cette méthode est la solution ultime ou qu'elle est définitivement supérieure à toutes les autres approches. L'étude stipule explicitement qu'elle n'inclut pas de contrôle dense complet apparié ni de réplication multi-graines (multi-seed replication). Sans une telle expérience contrôlée, il est impossible de dire avec certitude si le routage fixe a causé la haute performance ou si d'autres facteurs, tels que les données spécifiques utilisées ou le calendrier d'entraînement, ont joué un rôle plus important. Le document précise explicitement qu'il ne prouve pas que le routage fixe est meilleur que le routage flexible et appris utilisé dans la plupart des systèmes modernes. Au lieu de cela, ce travail sert de preuve de concept : il démontre qu'un modèle avec des routes fixes et immuables peut être entraîné sur une longue période, peut apprendre des tâches complexes et peut produire un résultat de haute qualité.

La portée de ce travail dépasse les simples chiffres. En faisant de la table de routage une partie fixe et auditable du modèle, le chercheur a créé un système plus facile à inspecter et à vérifier. Dans de nombreux systèmes d'IA avancés, le processus de prise de décision est une « boîte noire » qui change à mesure que le modèle apprend, ce qui rend difficile de savoir exactement comment une décision spécifique a été prise. Dans ce modèle, le chemin est clair et immuable. Si vous voulez savoir quels experts activeront un mot, il suffit de chercher le mot dans la table. Cette transparence pourrait être précieuse pour les chercheurs qui ont besoin de comprendre exactement comment un modèle fonctionne ou pour les développeurs qui veulent s'assurer que le système se comporte de manière prévisible. Le modèle a également montré qu'il pouvait gérer de longues sessions d'entraînement sans que le système de routage ne devienne instable, une préoccupation qui avait précédemment fait paraître le routage fixe risqué pour les applications à grande échelle.

En fin de compte, cet article offre une nouvelle perspective sur la construction de modèles de langage efficaces. Il remet en question l'hypothèse selon laquelle l'ordinateur doit constamment apprendre à choisir ses propres outils, montrant au contraire qu'un choix prédéterminé et statique peut fonctionner tout aussi bien, et peut-être même mieux en termes d'efficacité, pour un modèle compact. Le modèle publié par le chercheur, ainsi que son code d'entraînement et ses outils d'évaluation, sont disponibles pour que d'autres puissent les étudier et les reproduire. Cette ouverture permet à la communauté scientifique de tester davantage les conclusions, par exemple en exécutant la même expérience avec des données différentes ou en la comparant directement à un modèle standard. Pour l'instant, l'étude constitue une démonstration qu'une approche de routage plus simple et plus rigide peut soutenir un parcours d'entraînement long et productif, produisant un modèle de langage capable et transparent qui surpasse ses propres limites.