L'intelligence artificielle moderne repose sur un équilibre délicat. Pour apprendre à un ordinateur à reconnaître un chat sur une photo ou à écrire une histoire cohérente, les chercheurs doivent guider un système mathématique massif à travers un paysage d'erreurs, en ajustant constamment ses paramètres internes pour trouver le point le plus bas. Ce processus est appelé entraînement, et l'outil utilisé pour naviguer dans ce terrain est un optimiseur. Pendant des années, la norme de l'industrie a été un algorithme appelé Adam. Il est le moteur par défaut des modèles de langage les plus puissants, ceux qui peuvent écrire du code, traduire des langues et tenir des conversations. Pourtant, malgré son omniprésence, le fondement mathématique d'Adam a été fragile. Pendant près d'une décée, un célèbre résultat théorique a suggéré qu'Adam pourrait échouer de manière catastrophique, s'emballant hors de contrôle même sur des problèmes simples. Cela a créé un paradoxe : l'outil qui alimente l'IA la plus avancée était théoriquement défectueux, pourtant il fonctionnait parfaitement en pratique. Les chercheurs se demandaient pourquoi la théorie ne correspondait pas à la réalité et si l'outil sur lequel ils comptaient était réellement sûr.

Une nouvelle thèse de doctorat de Yushun Zhang, de l'Université chinoise de Hong Kong, Shenzhen, résout ce paradoxe en examinant le problème sous un nouvel angle. Ce travail ne se contente pas de colmater la théorie ; il réexamine la nature même des problèmes que ces modèles résolvent. Le chercheur a découvert que la crainte de voir Adam échouer était basée sur une configuration spécifique et artificielle qui ne reflète pas la façon dont l'entraînement réel se déroule. En changeant la perspective pour se concentrer sur la taille des blocs de données utilisés pendant l'entraînement, l'étude prouve qu'Adam est effectivement sûr, à condition que ses paramètres soient correctement ajustés pour la tâche spécifique. Plus important encore, la thèse dévoile une structure géométrique cachée au sein des données des réseaux de neurones modernes. Cette structure explique pourquoi Adam surpasse ses rivaux sur des tâches complexes comme l'entraînement de grands modèles de langage, tout en échouant sur des tâches plus simples. Il s'avère que le paysage interne de ces modèles n'est pas un chaos désordonné, mais plutôt une collection de blocs distincts et organisés. Reconnaître ce motif a permis au chercheur de concevoir un nouvel optimiseur plus efficace appelé Adam-mini, qui réduit de moitié la mémoire requise pour entraîner ces modèles massifs sans sacrifier la performance.

L'histoire commence par le débat de longue date sur la fiabilité d'Adam. Pendant des années, un article largement cité a affirmé qu'Adam pouvait diverger, ce qui signifie que le processus d'entraînement s'envolerait vers l'infini plutôt que de se stabiliser. Cette affirmation était basée sur un exemple mathématique spécifique où l'algorithme était testé sur un problème qui changeait ses règles en fonction des paramètres de l'algorithme. Dans le monde réel, cependant, les chercheurs ne changent pas le problème pour l'adapter à l'outil ; ils fixent le problème et ajustent l'outil pour qu'il lui corresponde. Le travail de Zhang montre que lorsque le problème est fixe, comme c'est le cas dans l'entraînement réel, Adam ne diverge pas. Au lieu de cela, il présente une transition de phase claire : si les paramètres sont mal choisis, il peut échouer, mais s'ils sont choisis correctement, il converge en toute sécurité. La clé de cette sécurité réside dans un paramètre spécifique qui contrôle l'importance accordée par l'algorithme aux informations passées. L'étude prouve que pour des ensembles de données plus larges, ce paramètre doit être plus élevé pour assurer la stabilité. Cette découverte concorde avec ce que les ingénieurs observent en pratique : lors de l'entraînement de grands modèles de langage avec de petits lots de données, augmenter ce paramètre empêche l'entraînement de s'effondrer. La thèse fournit la première preuve mathématique rigoureuse que la version standard d'Adam, sans aucune modification, est sûre à utiliser lorsqu'elle est correctement ajustée.

Ayant établi qu'Adam est sûr, la recherche se tourne vers une question plus déroutante : pourquoi fonctionne-t-il beaucoup mieux que son principal concurrent, le SGD, sur des modèles complexes comme les Transformers, tout en étant moins performant sur des modèles plus simples ? Pour y répondre, le chercheur a examiné la forme du paysage d'erreur, plus précisément un objet mathématique appelé Hessienne, qui décrit comment l'erreur change dans chaque direction. Dans les problèmes simples, ce paysage est dense et emmêlé, comme une forêt épaisse où chaque sentier est connecté à tous les autres. Dans de tels environnements, la stratégie d'Adam consistant à ajuster chaque paramètre individuellement est inefficace. Cependant, lorsque le chercheur a examiné la Hessienne des réseaux de neurones profonds et des Transformers, un motif surprenant est apparu. À mesure que l'entraînement progresse, le paysage complexe et emmêlé se simplifie en une structure de blocs distincts et séparés. Imaginez un immense tableur où, au lieu que chaque cellule influence toutes les autres, l'influence est confinée à des lignes et des colonnes spécifiques. Dans ces réseaux, les paramètres qui contrôlent un neurone de sortie spécifique ou une tête d'attention spécifique forment leur propre groupe isolé.

Cette structure en blocs est le secret du succès d'Adam. Parce que le paysage est divisé en blocs indépendants, la méthode d'Adam consistant à attribuer un taux d'apprentissage unique à chaque paramètre devient extrêmement efficace. Il peut ajuster les paramètres d'un bloc sans perturber accidentellement les paramètres d'un autre. En revanche, des optimiseurs plus simples comme le SGD appliquent un taux d'apprentissage unique à l'ensemble du système, ce qui rend difficile la gestion des vitesses et des échelles variables de ces différents blocs. L'étude a en outre révélé que cette structure en blocs n'est pas une coïncidence ; elle découle naturellement de la manière dont ces réseaux sont construits, spécifiquement de la multiplication consécutive de grandes matrices lors du processus de calcul. À mesure que le réseau s'entraîne, les connexions entre les parties distantes du système s'estompent, laissant derrière elles ces blocs propres et séparés. Cette intuition explique pourquoi Adam est le moteur de choix pour l'IA moderne : les problèmes qu'il résout possèdent une géométrie cachée qui correspond parfaitement à la conception de l'optimiseur.

Armé de cette compréhension de la structure en blocs cachée, le chercheur a développé un nouvel optimiseur appelé Adam-mini. L'algorithme Adam standard est gourmand en mémoire car il garde une trace d'un taux d'apprentissage unique pour chaque paramètre du modèle. Pour un modèle de langage massif, cela nécessite de stocker deux fois plus de données que le modèle lui-même, créant un goulot d'étranglement qui ralentit l'entraînement et limite la taille des modèles pouvant être exécutés sur le matériel disponible. La nouvelle intuition était que, puisque les paramètres sont organisés en blocs, nous n'avons pas besoin d'un taux d'apprentissage unique pour chacun d'eux. Au lieu de cela, nous pouvons attribuer un taux d'apprentissage à chaque bloc entier. Ce changement simple réduit l'empreinte mémoire de 50 %. Le nouvel optimiseur, Adam-mini, regroupe les paramètres selon leur structure en blocs naturelle — en regroupant par lignes pour la plupart des couches et par têtes d'attention pour des parties spécifiques du réseau — et applique un taux d'apprentissage unique à chaque groupe.

Les résultats de cette refonte sont immédiats et concrets. Lors de tests d'entraînement de modèles allant de 39 millions à un milliard de paramètres, Adam-mini a égalé les performances de l'optimiseur Adam standard tout en utilisant la moitié de la mémoire. Cette efficacité permet aux chercheurs d'entraîner des modèles plus grands sur le même matériel ou d'entraîner les modèles existants plus rapidement. L'approche a déjà été adoptée par de grands laboratoires d'IA, notamment DeepSeek et l'équipe derrière le modèle Kimi K3, qui utilisent une variante de cette méthode pour entraîner leurs systèmes de nouvelle génération. La thèse a également montré que ce principe de taux d'apprentissage par blocs peut être appliqué à d'autres optimiseurs avancés, améliorant leur efficacité sans changer leur logique de base. En révélant la géométrie cachée de l'entraînement des réseaux de neurones, ce travail a fait passer le domaine d'un lieu d'incertitude et d'essais et erreurs à un domaine de conception fondée sur des principes. Il démontre que les outils les plus efficaces pour l'intelligence artificielle ne sont pas de simples suppositions chanceuses, mais des algorithmes parfaitement adaptés à la structure mathématique spécifique des problèmes qu'ils résolvent.