An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

Résumé Technique : Une architecture Encodeur-Transformer pour la reconnaissance de la structure de Jordan d'une matrice

Formulation du Problème
L'article traite du défi consistant à déterminer la taille du plus grand bloc de Jordan dans une matrice $A \in \mathbb{C}^{d \times d}$ (ou $\mathbb{R}^{d \times d}$) qui est proche d'être défectueuse, spécifiquement sous des contraintes de précision finie. En calcul numérique linéaire, les erreurs d'arrondi rendent souvent les matrices défectueuses (celles possédant des blocs de Jordan non triviaux) diagonalisables, occultant ainsi leurs véritables propriétés structurelles. Les auteurs formalisent le problème comme la recherche de l'entier maximal $m$ tel qu'il existe une matrice de Jordan $J$ (avec un seul valeur propre nulle et un bloc maximal de taille $m$) et une matrice inversible $S$ satisfaisant :

1. $\kappa(S) \leq \kappa_{\max}$ (une borne sur le nombre de condition de la transformation de similitude, fixée à $200d$).
2. $\|S^{-1}AS - J\| \leq \epsilon_{\max}$ (une borne sur l'amplitude de la perturbation).

Cette formulation cherche la taille de bloc de Jordan « atteignable » sous un niveau de bruit et une contrainte de conditionnement spécifiques, plutôt que la matrice défectueuse la plus proche dans un sens non contraint. Le problème est motivé par la nécessité de comprendre la stabilité structurelle dans les systèmes dynamiques ($x' = Ax$), où de grands blocs de Jordan peuvent induire une croissance transitoire même si les valeurs propres suggèrent la stabilité, ainsi que par la difficulté de reconnaître ces structures visuellement ou via des méthodes numériques standards.

Méthodologie
Les auteurs proposent un cadre d'apprentissage automatique utilisant une architecture Encodeur-Transformer pour prédire la taille maximale du bloc de Jordan atteignable $m$.

• Représentation des Données : Au lieu de traiter une seule matrice, le modèle prend en entrée une séquence de puissances de matrice $(A, A^2, \dots, A^d)$. Cela exploite la propriété selon laquelle, pour une matrice nilpotente (valeur propre nulle), le rang des puissances successives $A^k$ détermine de manière unique les tailles des blocs de Jordan. Les matrices d'entrée sont réelles, générées sous la forme $A = S(J + \epsilon E)S^{-1}$, où $J$ est une matrice de Jordan avec une valeur propre de 0, $S$ est une matrice de similitude aléatoire avec un nombre de condition borné, et $E$ est une matrice de bruit de Ginibre normalisée.
• Architecture :
  • Encodeurs : Pour chaque dimension $d$, un encodeur MLP (Perceptron Multicouche) dédié traite les matrices d'entrée $A^k$. Ces encodeurs projettent les matrices $d \times d$ dans un espace latent partagé de dimension $d_{latent}=32$. Les encodeurs agissent comme des extracteurs de caractéristiques et des débruiteurs implicites.
  • Transformer : La séquence d'embeddings latents est traitée par un Transformer indépendant de la dimension (2 couches, 4 têtes d'attention). Ce composant apprend les relations structurelles globales entre les puissances de la matrice, en se concentrant sur le comportement d'« extinction » de la séquence plutôt que sur les corrélations locales élément par élément.
  • Classificateur : Une tête MLP spécifique à la dimension effectue un pooling moyen sur la sortie du Transformer et classifie la taille maximale du bloc $m \in \{1, \dots, d\}$.
• Stratégie d'Entraînement :
  • Cibles Douces (Soft Targets) : Pour gérer l'incertitude numérique, les cibles d'entraînement ne sont pas des encodages "one-hot" mais des distributions douces. Pour une perturbation négligeable ($\epsilon \leq \epsilon_0$), la cible est la classe réelle. Pour des $\epsilon$ plus grands, la cible suit un noyau de type Gaussienne discrète centré sur la classe réelle, avec une variance évoluant logarithmiquement avec $\epsilon$. Cela permet au modèle d'apprendre l'incertitude inhérente au problème.
  • Entraînement en Deux Phases : La Phase 1 entraîne simultanément les encodeurs, les classificateurs et le Transformer sur des dimensions $d \in \{4, 6, 9, 12, 15, 28\}$. La Phase 2 gèle le Transformer et entraîne de nouveaux encodeurs/classificateurs pour des dimensions non vues (ex: $d=33, 35$) afin de tester la généralisation.
  • Fonction de Perte : Le modèle est optimisé en utilisant la divergence de Kullback-Leibler (KL) entre la distribution prédite et la distribution cible douce.

Résultats Clés

• Précision : Le modèle atteint une précision de classification élevée sur les données synthétiques générées. Pour de faibles perturbations, la précision approche 1.0. Même sous des perturbations significatives ($\epsilon$ jusqu'à $0.1$) et des rayons spectraux variables, la « précision relaxée » (prédiction à $\pm 1$ de la taille réelle) reste supérieure à 0,9 dans la plupart des cas.
• Généralisation : Le modèle démontre une forte capacité de généralisation aux dimensions de matrices ($d=33, 35$) non présentes lors de la phase d'entraînement initiale du Transformer. Il performe également bien sur des matrices ayant des caractéristiques de Segre différentes (différentes configurations de blocs de Jordan) de celles du jeu d'entraînement.
• Comparaison aux Références (Baselines) : L'architecture proposée surpasse de manière significative une référence numérique classique basée sur le calcul du rang des puissances de matrice via la décomposition en valeurs singulières (SVD). La référence échoue rapidement à mesure que l'amplitude de la perturbation augmente, tandis que le réseau de neurones maintient sa robustesse, atténuant efficacement le bruit important.
• Analyse Interne : L'inspection du modèle révèle que les encodeurs parviennent à mapper l'amplitude des puissances de la matrice dans l'espace latent (reflétant la nullité théorique). Le mécanisme d'attention du Transformer se concentre fortement sur les tokens correspondant aux premières puissances de la matrice qui s'annulent (ou presque), ce qui s'aligne avec la formule du rang de différence pour les blocs de Jordan.

Signification et Revendications
L'article affirme que ce travail introduit une approche novatrice d'un problème de longue date en calcul numérique linéaire en exploitant l'apprentissage profond. La signification primaire réside dans la capacité de l'architecture à :

1. Capturer les Propriétés Structurelles : Le modèle apprend des règles algébriques indépendantes de la dimension concernant la nilpotenté et la structure de Jordan, plutôt que de mémoriser des motifs matriciels spécifiques.
2. Gérer le Bruit Numérique : En s'entraînant avec des cibles douces et en utilisant une structure encodeur-décodeur, le modèle est plus robuste aux erreurs d'arrondi et aux perturbations qui déjouent typiquement les algorithmes numériques classiques.
3. Surmonter l'Absence de Structure Spatiale : Contrairement aux Vision Transformers (ViT) qui reposent sur la localité spatiale, cette architecture adapte le Transformer pour traiter des séquences algébriques, identifiant avec succès des propriétés structurelles globales dans des matrices qui manquent de corrélations locales.

Les auteurs notent modestement des limitations : l'implémentation actuelle est restreinte aux matrices à valeurs réelles avec un seul amas de valeurs propres (géré via la projection de Riesz en théorie, bien que l'entraînement ait utilisé des amas uniques) et ne s'étend pas encore aux faisceaux de matrices. Cependant, les résultats suggèrent que les modèles appris peuvent généraliser à des classes de matrices non vues lors de l'entraînement, offrant une alternative prometteuse aux méthodes purement numériques pour la détection de la défectuosité des matrices.