🤖 machine learning

Geometry-Guided Layerwise FFN Width Allocation in Transformers

Cet article propose une méthode guidée par la géométrie pour allouer dynamiquement la largeur des réseaux de propagation avant (FFN) à travers les couches de Transformer en se basant sur des métriques géométriques telles que la distorsion de Gromov-Wasserstein et l'homologie persistante, démontrant que de tels programmes pilotés par les données réduisent de manière significative la perte de validation par rapport aux allocations de largeur uniformes ou conçues à la main.

Auteurs originaux : Timur Mudarisov, Mikhail Burtsev, Radu State

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Timur Mudarisov, Mikhail Burtsev, Radu State

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une immense bibliothèque à plusieurs étages, où chaque étage est une pièce dédiée à l'organisation d'un type spécifique d'information. Dans le monde de l'intelligence artificielle, ces « bibliothèques » sont appelées des Transformers, et elles sont les cerveaux derrière de nombreux chatbots et outils de langage modernes. À l'intérieur de chaque pièce, il y a une équipe de travailleurs (appelée un Réseau de Propagation Avant, ou FFN) dont le travail est de prendre l'information qui arrive, d'y réfléchir et de la transmettre. Pendant longtemps, les ingénieurs ont construit ces bibliothèques avec une règle stricte : chaque pièce reçoit exactement le même nombre de travailleurs, peu importe l'étage. C'est comme donner le même budget à la salle de stockage du sous-sol qu'au luxueux salon de lecture du dernier étage.

Mais et si cette règle était gaspilleuse ? Et si le sous-sol avait besoin de moins de travailleurs parce que les boîtes sont simples, tandis que le dernier étage a besoin d'une équipe immense pour gérer des idées abstraites et complexes ? C'est la question que les chercheurs ont commencé à poser. Ils savent qu'à mesure que l'information voyage à travers la bibliothèque, elle change de forme et devient plus complexe. La grande question est : pouvons-nous mesurer exactement la quantité de « travail » que chaque pièce effectue et ensuite déplacer les travailleurs là où ils sont le plus nécessaires, sans embaucher de nouvelles personnes ? Ce document plonge dans cette idée, en utilisant un mélange de géométrie (l'étude des formes et des distances) et de mathématiques pour déterminer le plan de dotation en personnel parfait pour chaque pièce.

Les auteurs de ce document, Timur Mudarisov, Mikhail Burtsev et Radu State, ont décidé d'arrêter de deviner et de commencer à mesurer. Ils ont traité l'information circulant à travers l'IA comme un « nuage de points » (imaginez cela comme un essaim de lucioles se déplaçant dans une pièce). À mesure que les lucioles passent d'une pièce à l'autre, elles se déplacent, s'étirent et se tordent. L'équipe a développé un moyen de mesurer exactement la « quantité de travail géométrique » qui se produit dans chaque pièce. Ils ont utilisé trois méthodes différentes pour mesurer cela : observer la distance parcourue par les lucioles (déplacement), la façon dont les distances entre elles changent (Gromov-Wasserstein), et la façon dont les boucles et les trous dans leur formation changent (topologie).

Voici le rebondissement : la façon dont vous mesurez compte. Si vous regardez simplement les distances brutes, les pièces plus tardives semblent effectuer le plus de travail, mais c'est souvent parce que les lucioles deviennent plus grandes (un problème d'échelle). Cependant, lorsqu'ils ont normalisé les données — en observant la forme du mouvement plutôt que simplement la taille — ils ont découvert un schéma différent. Le « travail » est en réalité le plus élevé au tout début de la bibliothèque et diminue progressivement à mesure que l'on s'enfonce dans la structure. Cela suggère que les premières pièces ont besoin de la plus grande puissance de calcul, tandis que les pièces ultérieures peuvent se contenter de moins de travailleurs.

Pour tester cela, ils ont créé un nouveau « calendrier de dotation » basé sur ces mesures. Au lieu de donner à chaque pièce le même nombre de travailleurs, ils ont donné plus aux premières pièces et moins aux dernières, tout en gardant le nombre total de travailleurs exactement identique au modèle uniforme précédent. Ils ont testé cela sur plusieurs modèles d'IA différents, allant de petits (128 millions de paramètres) à un plus grand (440 millions de paramètres).

Les résultats étaient prometteurs. Dans leurs expériences, les modèles qui utilisaient ce plan de dotation « guidé par la géométrie » ont obtenu de meilleurs résultats que les modèles standards où chaque pièce est égale. En fait, lorsqu'ils ont comparé leur nouvelle méthode à un plan populaire conçu à la main appelé « décroissance cosinus » (qui suppose simplement que le travail diminue de manière fluide comme un toboggan), leur approche basée sur les données a fait encore mieux. À l'échelle de 440 millions de paramètres, leur plan basé sur la géométrie a réduit les erreurs du modèle de manière plus significative que le plan de la cosinus.

Cependant, les auteurs prennent soin de ne pas prétendre avoir résolu le problème pour toujours. Ils notent que leur méthode repose sur la mesure d'un modèle de « référence » et sur l'application de ces règles à un nouveau modèle. Bien que les résultats suggèrent que déplacer la capacité vers les couches initiales est une stratégie gagnante, ils admettent que des tests supplémentaires sont nécessaires pour être absolument certains de quel outil de mesure spécifique (topologie vs géométrie) est le meilleur. Ils soulignent également que leur groupe de contrôle « anti-topologique » (un plan qui faisait délibérément l'opposé de ce que les données suggéraient) a été moins performant que le modèle standard, ce qui confirme que la direction de leur nouveau plan est effectivement correcte.

En résumé, ce document suggère que les modèles d'IA n'ont pas besoin d'être construits avec des pièces égales. En utilisant la géométrie pour mesurer où se fait le véritable travail, nous pouvons réorganiser les travailleurs pour rendre l'ensemble de la bibliothèque plus intelligente, sans dépenser un seul dollar supplémentaire pour l'embauche. C'est une façon astucieuse et basée sur les données d'extraire davantage de performance de la même puissance de calcul.

Résumé Technique : Allocation de la Largeur des FFN par Guidage Géométrique dans les Transformers

Énoncé du Problème
Dans les architectures de Transformers standards, la largeur cachée des réseaux de neurones à propagation avant (FFN - Feed-Forward Networks) est typiquement constante à travers toutes les couches, malgré les preuves que les fonctions de couche et la dynamique des représentations changent avec la profondeur. Bien que des travaux récents (Tapered Language Models) aient démontré que la réallocation de la capacité des couches profondes vers les couches plus superficielles améliore les performances, les méthodes existantes reposent sur des schémas monotones conçus à la main (par exemple, des décroissances cosinus). Ces formes prescrites ne s'adaptent pas aux exigences computationnelles spécifiques d'un modèle donné ou d'une distribution de données. L'article demande si une allocation de largeur par couche, dépendante des données, peut être dérivée directement du comportement géométrique des activations lors d'une passe avant, plutôt que de s'appuyer sur un a priori architectural fixe.

Méthodologie
Les auteurs proposent un cadre qui traite les couches FFN comme des transporteurs de nuages de représentations de tokens. La méthodologie centrale comprend trois étapes :

Mesure du Travail Géométrique :
L'article définit le « travail géométrique » comme le changement induit par une couche FFN sur un nuage de représentations de tokens. Pour s'assurer que la métrique reflète la contribution réelle du FFN plutôt que des artefacts d'échelle résiduelle, les auteurs évaluent trois statistiques de travail distinctes sous trois cadres géométriques :
- Géométrie Brute (Raw Geometry) : Utilise la distance euclidienne sur des états non normalisés. Elle est sensible à l'échelle et sert de contrôle.
- Géométrie Sphérique : Utilise des états normalisés en unité et la distance angulaire.
- Géométrie Hyperbolique : Projette les états normalisés en unité dans un ballon de Poincaré, agissant comme une repondération non linéaire des distances angulaires.
Pour chaque géométrie, trois statistiques de travail sont calculées :
- Déplacement (Shift) : Le déplacement moyen des tokens (préservant la correspondance).
- Distorsion Métrique : Mesurée via la distance de Gromov-Wasserstein (GW), quantifiant comment les relations par paires sont préservées ou altérées.
- Changement Topologique : Mesuré via la distance de 2-Wasserstein entre les diagrammes d'homologie persistante de degré un (filtration de Vietoris–Rips), capturant la création ou la destruction de boucles.
Surrogate d'Approximation et Optimisation :
Les auteurs introduisent un modèle de substitution (surrogate) pour mapper le travail géométrique vers les largeurs optimales des couches. Ils postulent que l'erreur d'approximation d'une couche FFN évolue avec sa largeur selon une dimension intrinsèque ( $d_{int}$ ) et une sensibilité de perte ( $\lambda$ ).
- Hypothèses : (1) Les effets de perte sont localement additifs ; (2) L'erreur évolue selon $w^{-a}$ où $a$ dépend de la dimension intrinsèque ; (3) Le travail géométrique mesuré est un indicateur de la difficulté d'approximation.
- Optimiseur : Un problème d'optimisation sous contrainte est résolu pour minimiser la somme des erreurs d'approximation pondérées sous réserve d'un budget total de paramètres fixe. Cela produit une solution en forme close pour la largeur optimale $w_\ell$ de chaque couche, incorporant des bornes inférieures et des exposants dépendant de la profondeur.
Construction du Schéma (Schedule) :
Un modèle de référence (largeur uniforme) est exécuté pour collecter les nuages d'activations. Le profil de travail géométrique est estimé, lissé et mappé vers un schéma de largeur à l'aide de l'optimiseur dérivé. Ce schéma est ensuite appliqué pour entraîner un nouveau modèle à partir de zéro.

Contributions Clés

Définition du Travail Géométrique : L'article formalise trois statistiques de travail complémentaires de la passe avant (déplacement, distorsion GW, changement topologique) sous des métriques brutes, sphériques et hyperboliques, distinguant la magnitude brute des changements structurels normalisés par l'échelle.
Solveur Optimal de Budget Exact : Il dérive un optimiseur continu unique pour l'allocation de la largeur par couche sous un budget de paramètres fixe, gérant les bornes inférieures et les dimensions intrinsèques variables selon les couches.
Diagnostics Complets : L'étude évalue la sensibilité à l'échelle, l'additivité locale de la perte, la dimension intrinsèque et la corrélation entre le travail géométrique et la sensibilité de la couche basée sur la perturbation à travers sept modèles pré-entraînés (Llama 3.1/3.2, Gemma 2/3, Mistral).
Validation Empirique : L'article compare les schémas dérivés de la géométrie à une largeur uniforme, à un décroissance cosinus conçue à la main, et à un contrôle « anti-topologique » à travers trois échelles de modèles (121M, 256M et 440M).

Résultats

Sensibilité à l'Échelle : Le travail géométrique brut (euclidien) suit largement la croissance de la norme résiduelle, tandis que les métriques normalisées (sphériques/hyperboliques) révèlent un profil « front-loaded » où les premières couches présentent le travail géométrique le plus élevé.
Sensibilité vs Allocation : Bien que le travail de Gromov-Wasserstein montre une corrélation plus forte avec la sensibilité de la couche basée sur la perturbation, l'allocation topologique/hyperbolique produit la perte de validation moyenne la plus faible lors des phases d'entraînement. Cela suggère que la sensibilité et la difficulté d'approximation sont des facteurs distincts.
Performance d'Entraînement :
- Dans les tests de 128M et 256M, les schémas de géométrie normalisée surpassent généralement la largeur uniforme et le contrôle anti-topologique, bien que les résultats soient exploratoires en raison du nombre limité de graines (seeds).
- Dans l'expérience de 440M avec cinq graines, le schéma topologique/hyperbolique a atteint une réduction de la perte de validation moyenne de 0,019 par rapport à la largeur uniforme. C'est environ 6,3 fois la réduction obtenue par le décroissance cosinus de style TLM (0,003).
- Le contrôle anti-topologique/brut a été moins performant que la largeur uniforme, confirmant que la direction de l'allocation est cruciale.

Signification et Revendications
L'article affirme que le travail géométrique fournit une méthode principled et dépendante des données pour remplacer les constantes de largeur de FFN globales par des schémas dépendants des couches. Il établit que :

La capacité des FFN ne doit pas être supposée uniforme ; les mises à jour des couches changent de rôle selon la profondeur.
Les décroissances monotones fixes ne sont pas les seules alternatives efficaces ; les profils dérivés des activations peuvent capturer des structures non monotones et atteindre des gains de performance supérieurs aux schémas conçus à la main dans des conditions identiques.
Les changements géométriques normalisés (spécifiquement topologiques/hyperboliques) révèlent un profil transférable prédominant sur les premières couches qui améliore l'efficacité du modèle.

Les auteurs restent modestes dans leurs conclusions, notant que les résultats sont des comparaisons de moyennes descriptives jusqu'à ce que l'incertitude des différences appariées soit pleinement rapportée. Ils ne prétendent pas avoir prouvé la supériorité universelle d'une géométrie spécifique (par exemple, topologie vs GW), mais plutôt que le changement géométrique normalisé est un signal utile pour l'allocation de capacité. Ce travail positionne l'allocation dérivée des activations comme une extension pratique du tapering, motivant des travaux futurs pour calibrer directement le travail géométrique à la demande d'approximation par couche.

Résumé Technique : Allocation de la Largeur des FFN par Guidage Géométrique dans les Transformers

Articles similaires