A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

L'intelligence artificielle moderne qui écrit, traduit et raisonne repose sur une conception architecturale spécifique connue sous le nom de transformer. Au cœur de cette conception se trouvent des piles profondes de couches de traitement, chacune affinant l'information qu'elle reçoit de la précédente. Pour empêcher ces réseaux profonds de s'effondrer pendant l'entraînement, les ingénieurs utilisent des « connexions de saut » (skip connections). Imaginez une rivière coulant à travers une série de cascades ; la connexion de saut est comme un canal de dérivation qui permet à l'eau de contourner une cascade et de rejoindre le courant en aval. Cela garantit que le signal ne se perd jamais ou ne s'affaiblit pas, peu importe le nombre de couches par lesquelles les données doivent passer. Pendant des années, la pratique standard a consisté à inclure ces dérives après chaque étape de traitement. Mais une enquête récente a posé une question structurelle simple : que se passe-t-il si nous supprimons une seule de ces dérives ? Le système échoue-t-il complètement, ou trouve-t-il un moyen de s'adapter ?

Un chercheur nommé Pratik Kumar Babariya a entrepris de répondre à cela en construisant des modèles d'intelligence artificielle et en supprimant systématiquement ces filets de sécurité. Il a testé deux scénarios spécifiques : un où la dérive après le mécanisme d'attention était supprimée, et un autre où la dérive après le réseau de neurones à propagation avant (feed-forward network) était supprimée. Le mécanisme d'attention est la partie du modèle qui décide quels mots d'une phrase sont les plus pertinents les uns par rapport aux autres, tandis que le réseau de neurones à propagation avant est la partie qui traite et transforme cette information. L'objectif était de voir si le modèle pouvait survivre sans ces raccourcis spécifiques, ou si la suppression provoquerait l'effondrement de tout le processus d'apprentissage.

Les expériences initiales, menées sur de petits modèles, suggéraient un résultat sombre. Lorsque le chercheur supprimait l'une ou l'autre des deux dérives, les modèles échouaient à apprendre, restant bloqués au même niveau de faible performance qu'un modèle n'ayant aucune dérive. Il semblait que les deux raccourcis étaient également essentiels. Cependant, ce premier résultat était probablement un piège des outils de mesure. Le chercheur a réalisé que la façon dont il évaluait les modèles introduisait un bruit aléatoire, rendant impossible la perception de différences subtiles de performance. Il a reconstruit l'expérience avec une configuration plus rigoureuse, utilisant des données fixes pour les tests et s'assurant que chaque variable était contrôlée.

Lorsque l'expérience fut menée à nouveau avec cette méthode plus propre, une asymétrie frappante est apparue. Supprimer la dérive après le réseau de neurones à propagation avant a provoqué l'échec total du modèle, tout comme les tests initiaux l'avaient montré. Le modèle ne pouvait pas apprendre, et sa performance restait bloquée à un taux d'erreur élevé. Mais lorsqu'on supprimait la dérive après le mécanisme d'attention, le modèle faisait quelque chose d'inattendu : il apprenait. Il ne performait pas aussi bien qu'un modèle doté de tous ses raccourcis intacts, mais il apprenait avec succès à traiter le langage, atteignant un niveau de performance bien supérieur au modèle ayant échoué. Ce résultat n'était pas un coup de chance ; le chercheur a exécuté la configuration réussie huit fois avec différents points de départ aléatoires, et dans chaque cas, le modèle apprenait efficacement. L'échec de l'autre configuration était tout aussi constant, se produisant à chaque test.

Le chercheur a ensuite cherché à comprendre pourquoi cette différence existait. Il a observé que dans les modèles en échec, le flux d'informations des couches inférieures vers les couches supérieures s'était complètement arrêté, un phénomène connu sous le nom de « famine de gradient » (gradient starvation). Cela se produisait dans les deux cas d'échec. Cependant, dans le modèle qui a réussi, le mécanisme d'attention semblait avoir trouvé une solution de contournement. Comme le mécanisme d'attention examine simultanément tous les mots d'une phrase, il peut apprendre à acheminer l'information à travers différentes positions, reconstruisant ainsi efficacement un chemin pour que les données circulent, même sans le raccourci physique. Le réseau de neurones à propagation avant, en revanche, traite chaque mot de manière isolée et ne peut pas créer ce type de connexion transversale. Sans sa dérive, il n'a aucun moyen de récupérer l'information perdue.

L'histoire ne s'arrête pas sur un mystère parfaitement résolu. Lorsque le chercheur a transposé l'expérience à un modèle beaucoup plus grand, les résultats sont devenus moins clairs. Si le modèle ayant supprimé la dérive de propagation avant a toujours échoué, le modèle ayant supprimé la dérive d'attention a montré des signes d'apprentissage, mais sa performance variait énormément selon les conditions de départ aléatoires. Dans certains cas, il apprenait bien ; dans d'autres, il peinait. Cela suggère que si la capacité d'adaptation est réelle, elle devient plus difficile à maintenir à mesure que le modèle devient plus grand et plus complexe. Le chercheur a également découvert une erreur méthodologique importante dans ses propres travaux préliminaires : il avait tenté de corriger les modèles défaillants en ajustant un multiplicateur pendant l'entraînement, ce qui les faisait paraître réussis. Il a réalisé plus tard que l'algorithme d'entraînement avait automatiquement compensé ce changement, faisant de l'ajustement une illusion. En corrigeant cette erreur et en rapportant l'échec de manière transparente, il a garanti que la conclusion finale soit basée sur la réalité, et non sur un artefact du logiciel.

La conclusion fondamentale est que tous les raccourcis dans un cerveau d'intelligence artificielle ne se valent pas. Supprimer le chemin après la partie du modèle qui connecte les mots entre eux permet au système de survivre et d'apprendre, probablement parce que cette partie du système peut se recâbler pour compenser. Supprimer le chemin après la partie qui traite les mots individuels provoque l'effondrement complet du système. Cette distinction est vraie pour les petits modèles et est fortement suggérée pour les plus grands, bien que les modèles plus vastes nécessitent des études complémentaires pour confirmer les limites de cette adaptabilité. Ce travail rappelle que dans les systèmes complexes, l'arrangement spécifique des connexions compte autant que les connexions elles-mêmes, et que même lorsqu'un système semble échouer, un examen plus attentif peut révéler une capacité cachée de récupération.