RotRNN: Modelling Long Sequences with Rotations

Résumé Technique : RotRNN – Modéliser les séquences longues avec des rotations

Énoncé du Problème
La modélisation de séquences longues reste un domaine complexe en apprentissage automatique en raison de la difficulté à capturer les dépendances à longue portée. Alors que les Transformers souffrent d'une mise à l'échelle computationnelle quadratique et de biais inductifs médiocres, et que les RNN non linéaires luttent contre la disparition et l'explosion des gradients, les modèles récents de type State Space Models (SSM) et Linear Recurrent Units (LRU) ont atteint des performances de pointe. Cependant, ces modèles présentent des inconvénients significatifs :

1. Initialisation Complexe : Les SSM comme S4 reposent sur des dérivations théoriques complexes (par exemple, l'initialisation HiPPO basée sur des projections polynomiales optimales) qui ne sont pas bien comprises durant le processus d'entraînement.
2. Décalage entre Implémentation et Théorie : L'LRU, bien que conceptuellement plus simple, ne reflète pas pleinement sa motivation théorique en pratique. Plus précisément, il ne parvient pas à imposer des paires conjuguées pour les valeurs propres de matrices réelles, manque de contraintes pour garantir des sorties de valeurs réelles, et repose sur un normalisateur appris qui ne garantit pas une magnitude constante de l'état caché tout au long de l'entraînement.
3. Stabilité : Les méthodes existantes nécessitent souvent des schémas de normalisation complexes ou des procédures d'initialisation qui peuvent ne pas être robustes à travers différentes profondeurs et graines aléatoires.

Méthodologie
Les auteurs proposent RotRNN (Rotational Recurrent Neural Network), un modèle récurrent linéaire qui paramètre la matrice d'état récurrent $A$ comme une matrice de rotation. La méthodologie repose sur trois piliers fondamentaux :

1. Paramétrage via des Matrices de Rotation :
   Au lieu d'apprendre directement une matrice contrainte, RotRNN apprend une matrice de poids générale $M$ et la projette sur le groupe orthogonal spécial $SO(N)$ en utilisant l'exponentielle de matrice d'une matrice antisymétrique ($A = \exp(M - M^\top)$). Cela garantit que $A$ reste une matrice de rotation valide tout au long de l'entraînement.
   Pour permettre un calcul efficace des puissances de matrices (nécessaire pour la forme convolutionnelle de la récurrence linéaire), les auteurs décomposent la matrice de rotation $A$ en une forme bloc-diagonale : $A = P \Theta P^\top$. Ici, $P$ est une matrice orthogonale et $\Theta$ consiste en des blocs de rotation $2\times2$ définis par des angles $\theta_i$. Cette structure permet un calcul rapide de $A^k$ sans opérations de matrices denses coûteuses.

2. Normalisation Fondée sur des Principes :
   En tirant parti de l'orthogonalité des matrices de rotation (où les valeurs propres se situent sur le cercle unité), les auteurs dérivent une procédure de normalisation qui maintient une norme attendue constante de l'état caché ($E[\|x_t\|^2] = c$) tout au long de l'entraînement.
   La récurrence est définie par $x_t = \gamma A x_{t-1} + \xi B u_t$, où $\gamma$ est un facteur de décroissance scalaire apprenable et $\xi$ est un coefficient de remise à l'échelle dérivé pour satisfaire la condition de norme constante. Contrairement à l'LRU, qui normalise en fonction des limites de séquences infinies, la normalisation de RotRNN est valable pour tous les pas de temps, empêissant la décroissance exponentielle des entrées précoces souvent observée lorsque les constantes de normalisation sont élevées à la puissance $t$.

3. Architecture Multi-Têtes :
   Pour remédier à la limitation d'un unique facteur de décroissance scalaire $\gamma$ (qui peut mal se généraliser aux tâches nécessitant des horizons de mémoire différents), RotRNN emploie $H$ têtes de faible dimension indépendantes. Chaque tête opère avec sa propre matrice de rotation $A^{(h)}$, sa matrice d'entrée $B^{(h)}$ et son facteur de décroissance $\gamma^{(h)}$. Les sorties sont concaténées et mélangées linéairement, permettant au modèle de capturer des dépendances à plusieurs échelles.

Contributions Clés

• Nouvelle Couche RNN Linéaire : La proposition d'une couche récurrente où la matrice d'état est paramétrée comme une rotation, garantissant que l'algorithme reste fidèle à sa motivation théorique tout au long de l'entraînement.
• Calcul Efficace : Une méthode pour calculer efficacement les puissances de matrices de rotations paramétriques en les décomposant en formes bloc-diagonales, permettant une récurrence linéaire rapide.
• Normalisation Robuste : Une dérivation rigoureuse d'une procédure de normalisation qui conserve une magnitude constante de l'état caché attendu, offrant des garanties de stabilité plus fortes que les travaux antérieurs qui reposent sur une convergence asymptotique.
• Aperçu Théorique : Une dérivation montrant l'équivalence mathématique entre un cas particulier de l'LRU (où les valeurs propres forment des paires conjuguées) et le RotRNN multi-têtes, ce qui permet potentiellement d'éclairer les mécanismes internes de l'LRU.

Résultats
Les auteurs ont évalué RotRNN sur plusieurs benchmarks de modélisation de séquences longues :

• Long Range Arena (LRA) : RotRNN a démontré des performances compétitives face aux modèles récurrents linéaires de pointe (S4, S5, LRU). Il a obtenu les scores les plus élevés parmi les bases de référence sur les tâches à entrées discrètes telles que ListOps, Text (IMDB) et Retrieval. Cependant, il est légèrement en dessous de certaines bases de référence sur les tâches d'images au niveau des pixels (Path-X, CIFAR).
• Speech Commands : Sur la tâche de classification Speech Commands à 35 voies, RotRNN a obtenu des performances identiques à l'LRU reproduit (95,2 % de précision) avec un nombre de paramètres similaire, restant compétitif face aux modèles d'espace d'état profonds plus complexes.
• Analyse de Stabilité : Une analyse empirique des normes d'état caché sur le jeu de données ListOps a révélé que RotRNN maintient une magnitude presque constante à travers l'entraînement, la profondeur des couches et les graines aléatoires. En revanche, l'LRU présentait des variations sauvages dans les normes d'état caché et mettait beaucoup plus de temps à converger vers une magnitude stable.

Signification et Revendications
L'article affirme que RotRNN offre une alternative conceptuellement simple, efficace et mathématiquement fondée aux modèles récurrents linéaires existants. Sa principale signification réside dans le fait qu'il comble le fossé entre la motivation théorique et l'implémentation pratique. En utilisant des matrices de rotation, RotRNN évite les schémas d'initialisation complexes des SSM et les incohérences d'implémentation de l'LRU. Les auteurs affirment que leur modèle propose une procédure de normalisation robuste qui assure la stabilité sans reposer sur une initialisation de type "boîte noire", tout en atteignant des performances compétitives sur les benchmarks standards. De plus, ce travail suggère que l'examen de l'LRU sous l'angle des structures de blocs basées sur la rotation peut aider à clarifier la mécanique de la récurrence linéaire dans les modèles précédents.