Les modèles de langage étendus sont les moteurs d'une nouvelle génération d'intelligence artificielle, capables d'écrire des histoires, de résoudre des problèmes complexes et de tenir des conversations qui semblent remarquablement humaines. Pourtant, ces esprits numériques ont un prix élevé. Pour les entraîner, les chercheurs doivent les nourrir avec de vastes quantités de données, un processus qui consomme d'énormes quantités d'électricité et nécessite des bancs d'ordinateurs puissants qui coûtent des millions de dollars. Même après l'entraînement, faire fonctionner ces modèles pour répondre à une seule question exige une mémoire et une puissance de calcul massives, limitant souvent leur utilisation aux grands centres de données plutôt qu'aux appareils personnels. Pendant des années, les scientifiques ont tenté de rendre ces modèles plus petits et plus rapides en utilisant trois astuces principales : supprimer les connexions inutiles, réduire la précision des nombres qu'ils utilisent et simplifier leur structure interne. Cependant, l'application de ces astuces une par une s'est heurtée à un mur. Lorsque les chercheurs tentaient de supprimer trop de connexions, le modèle devenait confus et perdait son intelligence. Lorsqu'ils réduisaient trop la précision, les nombres devenaient trop grossiers pour contenir la connaissance du modèle. Chaque méthode fonctionnait bien de manière isolée mais échouait lorsqu'elle était poussée à l'extrême, laissant l'industrie face à un choix difficile entre un modèle massif et lent ou un modèle petit et défaillant.

Un chercheur de l'Université de Toronto, dirigé par Mohammad Mozaffari, a proposé une nouvelle voie à suivre qui traite ces trois méthodes non pas comme des options distinctes, mais comme un outil unique et unifié. Ils appellent cette approche la « Trinité de la Compression ». Au lieu de choisir entre la suppression des connexions, la simplification des nombres ou le changement de structure, leurs travaux démontrent que ces trois techniques fonctionnent mieux lorsqu'elles sont appliquées ensemble. L'idée centrale est que chaque méthode couvre les faiblesses des autres. La suppression des connexions réduit la charge de travail de l'ordinateur, tandis que la simplification des nombres réduit la quantité de données qui doivent être déplacées. La troisième technique, qui consiste à ajouter une petite couche flexible d'informations supplémentaires, agit comme un filet de sécurité, récupérant l'intelligence perdue lors de l'application des deux autres méthodes. En les combinant, les chercheurs ont découvert qu'ils pouvaient réduire considérablement la taille des modèles sans les briser et, dans certains cas, même les rendre plus intelligents que leurs versions plus grandes et non compressées.

Le chemin vers cette découverte a commencé en examinant la façon dont ces modèles sont entraînés. L'entraînement est la phase la plus coûteuse, nécessitant à l'ordinateur d'ajuster des milliards de nombres pour apprendre à partir des données. Les chercheurs ont réalisé que les outils standards utilisés pour guider ce processus d'apprentissage étaient trop lourds et lents. Ils ont développé une nouvelle méthode qui applique la Trinité directement au processus d'entraînement lui-même. En simplifiant la manière dont l'ordinateur calcule sa prochaine étape, ils ont pu accélérer l'entraînement de grands modèles de près du double par rapport aux meilleures méthodes existantes. Ils y sont parvenus en utilisant un mélange de calculs parcimonieux (sparse), de nombres simplifiés et d'une approximation de bas rang qui a permis à l'ordinateur de sauter les étapes inutiles tout en trouvant le bon chemin vers une solution. Cela signifiait que le temps et l'énergie requis pour créer ces modèles puissants pourraient être drastiquement réduits.

Une fois qu'un modèle est entraîné, il doit être compressé pour une utilisation dans le monde réel, où la mémoire et la vitesse sont encore plus critiques. Ici, les chercheurs ont abordé le problème de l'« erreur composée ». Lorsque l'on tente de compresser un modèle en utilisant une seule méthode, les erreurs s'accumulent jusqu'à ce que le modèle cesse de fonctionner. L'équipe a démontré qu'en appliquant la Trinité dans un ordre spécifique, elle pouvait empêcher cet effondrement. D'abord, ils ont utilisé une technique mathématique pour trouver la meilleure façon absolue de supprimer la moitié des connexions du modèle sans nuire à ses performances. Cela a créé une fondation parcimonieuse et stable. Ensuite, ils ont réduit la précision des nombres restants pour gagner de l'espace. Enfin, ils ont ajouté une petite couche d'informations supplémentaires dérivée mathématiquement pour corriger les erreurs causées par la suppression et la simplification. Cette dernière étape a été cruciale ; elle a agi comme une équipe de réparation, comblant les lacunes laissées par la compression afin que le modèle conserve sa capacité à raisonner et à comprendre.

Les résultats de cette approche ont été frappants. Testée sur des modèles dotés de milliards de paramètres, la méthode combinée a produit des modèles huit fois plus petits que l'original, mais qui performent aussi bien, voire mieux, sur une large gamme de tâches. Dans des comparaisons directes, ces modèles compressés ont surpassé les autres techniques de compression de pointe par une marge significative, améliorant la précision de près de six pour cent dans certains cas. Peut-être plus surprenant encore, lorsque les chercheurs ont comparé leurs modèles compressés à des modèles non compressés de même taille, les versions compressées étaient en fait plus précises. Cela suggère que le processus consistant à retirer soigneusement les parties redondantes du modèle et à les remplacer par une correction intelligente de bas rang aide réellement le modèle à se concentrer sur ce qui importe le plus.

Les chercheurs ont également exploré comment ces techniques pouvaient être adaptées à différents types de matériel. Ils ont découvert qu'en permettant au modèle de conserver certaines parties denses et d'autres parcimonieuses selon un schéma flexible, ils pouvaient atteindre un équilibre continu entre vitesse et précision. Cette flexibilité signifiait que les modèles pouvaient être ajustés pour fonctionner efficacement sur tout, des serveurs de centres de données puissants aux cartes graphiques grand public. Le travail comprenait également une nouvelle façon d'entraîner des modèles qui sont déjà parcimonieux, garantissant que le processus d'apprentissage soit efficace dès la première étape. Cette approche signifiait que le modèle pouvait apprendre rapidement en utilisant des connexions parcimonieuses et n'ajouter la complexité nécessaire qu'à la toute fin de l'entraînement, économisant ainsi du temps et de l'énergie tout au long du processus.

Bien que les résultats soient prometteurs, les chercheurs précisent avec prudence que leurs méthodes sont actuellement optimisées pour des types spécifiques de puces informatiques, particulièrement celles fabriquées par NVIDIA qui possèdent un matériel spécial pour gérer les données parcimonieuses. Ils reconnaissent que le transfert de ces techniques vers d'autres types de matériel ou des processeurs à usage général nécessitera des travaux d'ingénierie supplémentaires. Ils soulignent également que, bien que les modèles performent bien sur des tests standards, il est nécessaire de s'assurer que le processus de compression ne nuit pas par inadvertance à la capacité du modèle à comprendre diverses langues ou contextes culturels, car la suppression de parties du modèle pourrait affecter de manière disproportionnée les connaissances sur les groupes sous-représentés.

En fin de compte, ce travail suggère que l'avenir d'une intelligence artificielle efficace ne réside pas dans le choix d'une méthode de compression plutôt qu'une autre, mais dans leur tissage ensemble. La « Trinité de la Compression » offre un plan pour construire des modèles qui sont denses en connaissances mais parcimonieux en calculs. En traitant l'efficacité comme un équilibre multidimensionnel plutôt que comme un problème d'optimisation unique, les chercheurs ont démontré qu'il est possible de créer une intelligence artificielle qui soit à la fois puissante et pratique. Leurs conclusions indiquent que les barrières au déploiement de ces modèles sur les appareils du quotidien ne sont pas des limites fondamentales de la physique ou des mathématiques, mais plutôt une question de trouver la bonne combinaison d'outils. À mesure que le domaine progresse, cette approche intégrée pourrait devenir la norme pour rendre les modèles de langage étendus accessibles, durables et prêts pour le monde réel.