Dans le monde de l'intelligence artificielle moderne, les grands modèles de langage sont comme de vastes bibliothèques du savoir humain, capables d'écrire des histoires, de résoudre des équations et de répondre à des questions. Cependant, ces bibliothèques ne sont pas naturellement organisées pour être utiles, sûres ou obéissantes aux instructions humaines. Pour y remédier, les chercheurs utilisent un processus appelé alignement, qui agit comme une étape finale d'entraînement pour apprendre au modèle comment se comporter comme un bon assistant. La méthode standard pour cela implique une technique connue sous le nom d'apprentissage par renforcement, où le modèle essaie différentes réponses, reçoit un score pour la qualité de celles-ci, puis utilise des mathématiques complexes pour ajuster ses paramètres internes afin d'obtenir un meilleur score la fois suivante. Ce processus est puissant, mais il est aussi incroyablement lourd. Il nécessite une quantité massive de puissance informatique, du matériel spécialisé et une communication constante entre de nombreux processeurs, ce qui le rend coûteux et difficile à mettre à l'échelle pour les plus grands modèles.

Une équipe de chercheurs de T-Tech et de Yandex a proposé une voie différente, qui évite totalement les lours ajustements mathématiques. Ils appellent leur nouvelle méthode ESSA, qui signifie « Evolutionary Strategies for Scalable Alignment » (Stratégies Évolutives pour un Alignement Évolutif). Au lieu de calculer comment pousser le modèle dans la bonne direction, ESSA traite le modèle comme un organisme vivant dans une simulation. Elle crée de nombreuses versions légèrement différentes du modèle, les teste toutes en même temps pour voir laquelle est la plus performante, puis conserve les meilleurs traits tout en écartant les autres. Cette approche élimine le besoin des calculs de rétropropagation complexes qui ralentissent les méthodes traditionnelles. En se concentrant uniquement sur une toute petite partie spécifique des paramètres du modèle et en utilisant une stratégie qui imite la sélection naturelle, les chercheurs ont découvert qu'ils pouvaient aligner des modèles massifs beaucoup plus rapidement et avec beaucoup moins de puissance de calcul qu'auparavant, obtenissant des résultats qui égalent ou surpassent même les méthodes de pointe actuelles.

L'idée centrale derrière ESSA est de cesser d'essayer d'ajuster chaque nombre individuel à l'intérieur du modèle. Les grands modèles de langage contiennent des milliards de ces nombres, et les changer tous à la fois revient à essayer de diriger un superpétrolier en déplaçant chaque boulon de la coque. Les chercheurs ont réalisé qu'après une phase d'entraînement initiale, le modèle sait déjà comment accomplir la tâche de base. Ce dont il a besoin, c'est d'un ajustement fin, un petit réglage de son comportement. Pour y parvenir, ils ont utilisé une technique appelée « Low-Rank Adaptation » (Adaptation de Bas Rang), qui ajoute une couche petite et flexible au modèle, puis ont décomposé cette couche en ses composants les plus essentiels. Ils ont figé la direction de ces composants et n'ont permis que la taille, ou l'amplitude, de quelques nombres clés de changer. Cela a réduit le problème de l'ajustement de milliards de variables à l'ajustement de seulement quelques milliers, créant un espace compact où une stratégie de recherche pouvait fonctionner efficacement.

Dans cette nouvelle configuration, l'ordinateur génère une population de modèles candidats, chacun ayant des paramètres légèrement différents pour ces quelques milliers de nombres. Chaque candidat est testé sur un ensemble de problèmes, tels que la résolution d'équations mathématiques ou le respect d'instructions strictes, et reçoit un score. Le système examine ensuite les scores pour décider quels candidats ont été les plus performants. Au lieu de calculer des gradients, qui sont des pentes mathématiques complexes utilisées pour trouver la meilleure direction pour se déplacer, le système sélectionne simplement les gagnants et utilise leurs paramètres comme point de départ pour la prochaine ronde de variations. Ce processus se répète, la population évoluant lentement vers une meilleure performance. Parce que le système n'a besoin que d'exécuter le modèle vers l'avant pour obtenir un score, il peut fonctionner sur des ordinateurs qui utilisent un format de nombres simplifié et à faible précision, ce qui économise encore plus de mémoire et de vitesse.

Les chercheurs ont testé cette méthode sur une grande variété de tâches, incluant le respect d'instructions, le fait d'agir comme un assistant utile et la résolution de problèmes mathématiques difficiles. Ils ont comparé ESSA aux méthodes de pointe qui utilisent l'approche mathématique traditionnelle et lourde. Sur les tâches impliquant le raisonnement mathématique, ESSA a performé aussi bien que les meilleures méthodes existantes, et dans certains cas, elle était nettement plus rapide. Par exemple, lors de l'entraînement d'un grand modèle sur un cluster de 128 processeurs graphiques puissants, ESSA a atteint un niveau de précision cible spécifique près de huit fois plus vite que la méthode standard. Cette accélération n'est pas due au fait qu'ESSA avait besoin de moins d'exemples pour apprendre, mais parce que chaque étape de son processus était beaucoup plus légère et pouvait être exécutée en parallèle sans les goulots d'étranglement qui ralentissent l'approche traditionnelle.

L'étude a également exploré l'efficacité de cette méthode avec différentes tailles de modèles et différents types de tâches. Ils ont trouvé qu'ESSA restait efficace même lorsque le modèle était mis à l'échelle jusqu'à 72 milliards de paramètres, une taille qui est typiquement très difficile à aligner efficacement. Dans ces tests à grande échelle, la méthode a pu fonctionner avec un candidat modèle par processeur graphique, un exploit qui serait impossible avec la méthode traditionnelle en raison des contraintes de mémoire. Les chercheurs ont également vérifié si la méthode fonctionnait lorsque l'entraînement initial était effectué sur un sujet différent de l'objectif final, comme entraîner sur la conversation générale mais tester sur le respect strict des règles. La méthode a bien résisté, montrant que la recherche évolutive pouvait trouver les bons ajustements même en partant d'une fondation légèrement différente.

L'une des découvertes les plus surprenantes fut que la méthode ne nécessitait pas les réglages complexes et précis que les méthodes traditionnelles exigent. Les chercheurs ont testé différentes tailles pour la population de candidats et ont trouvé qu'un nombre modéré suffisait généralement pour obtenir d'excellents résultats. Ils ont également découvert que la méthode était robuste aux changements de la proportion de paramètres du modèle autorisés à varier. Cette stabilité suggère que l'approche évolutive est moins sensible aux choix spécifiques de l'ingénieur, ce qui la rend plus facile à utiliser en pratique. De plus, la méthode fonctionnait bien même lorsque l'ordinateur utilisait une précision moindre pour ses calculs, ne perdant qu'une fraction infime de précision tout en gagnant en vitesse et en efficacité de mémoire.

L'article a également abordé ce qui se passe lorsque la méthode est comparée à d'autres façons de chercher les meilleurs réglages. Les chercheurs ont testé différents types de stratégies évolutives et ont trouvé que, bien que certaines soient légèrement meilleures à la toute fin, la stratégie spécifique qu'ils ont choisie était la plus fiable pour obtenir de bons résultats rapidement. Ils ont également comparé leur méthode à une version qui tentait d'utiliser les mêmes réglages simplifiés mais avec l'approche mathématique traditionnelle. La méthode évolutive a systématiquement surpassé cet hybride, prouvant que la manière dont la recherche était conduite était tout aussi importante que les paramètres recherchés. Cela suggère que l'ancienne idée d'utiliser la sélection naturelle pour entraîner des machines n'est pas seulement un plan de secours, mais une alternative puissante qui peut surpasser les outils standards dans les bonnes conditions.

En fin de compte, ce travail démontre que la machinerie lourde et complexe de l'alignement moderne n'est pas la seule voie possible. En simplifiant le problème à une recherche des meilleurs réglages parmi un petit groupe de candidats, et en tirant parti de la puissance du calcul parallèle, les chercheurs ont montré que les grands modèles peuvent être alignés rapidement et efficacement. La méthode ne remplace pas l'entraînement initial qui donne au modèle ses connaissances de base, mais elle offre une nouvelle façon plus légère de façonner ces connaissances pour en faire un assistant utile. À mesure que les modèles continuent de croître, cette approche offre une voie pratique pour maintenir leur alignement sans exiger une quantité impossible de puissance de calcul, suggérant que l'avenir de l'alignement de l'IA pourrait résider dans des stratégies plus simples et plus directes plutôt que dans des formules mathématiques de plus en plus complexes.