An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

Technische Samenvatting: Een Encoder-Transformer Architectuur voor de Herkenning van de Jordan-structuur van een Matrix

Probleemformulering
Het artikel behandelt de uitdaging om de grootte van de grootste Jordan-blok te bepalen van een matrix $A \in \mathbb{C}^{d \times d}$ (of $\mathbb{R}^{d \times d}$) die dicht bij defectief is, specif으로 onder beperkingen van eindige precisie. In de numerieke lineaire algebra maken afrondingsfouten vaak defectieve matrices (die niet-triviale Jordan-blokken hebben) diagonaliseerbaar, waardoor hun ware structurele eigenschappen worden verborgen. De auteurs formaliseren het probleem als het vinden van de grootste integer $m$ waarvoor er een Jordan-matrix $J$ bestaat (met een enkel nulpunt-eigenwaarde en een maximaal blok van grootte $m$) en een inverteerbare matrix $S$ die voldoet aan:

1. $\kappa(S) \leq \kappa_{\max}$ (een bovengrens op de conditiegetal van de gelijktijdige transformatie, ingesteld op $200d$).
2. $\|S^{-1}AS - J\| \leq \epsilon_{\max}$ (een bovengrens op de perturbatie-magnitude).

Deze formulering zoekt naar de "bereikbare" Jordan-blokgrootte onder een specifieke ruisniveau en conditioneringsrestrictie, in plaats van de dichtstbijzijnde defectieve matrix in een onbeperkte zin. Het probleem wordt gemotiveerd door de noodzaak om de structurele stabiliteit in dynamische systemen ($x' = Ax$) te begrijpen, waarbij grote Jordan-blokken zelfs tijdelijke groei kunnen induceren, zelfs als eigenwaarden stabiliteit suggereren, en door de moeilijkheid om deze structuren visueel of via standaard numerieke methoden te herkennen.

Methodologie
De auteurs stellen een machine learning-framework voor dat gebruikmaakt van een Encoder-Transformer architectuur om de maximale bereikbare Jordan-blokgrootte $m$ te voorspellen.

• Datarepresentatie: In plaats van een enkele matrix te verwerken, neemt het model een sequentie van matrixmachten $(A, A^2, \dots, A^d)$ als input. Dit maakt gebruik van de eigenschap dat voor een nilpotente matrix (nul-eigenwaarde), de rang van opeenvolgende machten $A^k$ de Jordan-blokgroottes uniek bepaalt. De inputmatrices zijn reële waarden, gegenereerd als $A = S(J + \epsilon E)S^{-1}$, waarbij $J$ een Jordan-matrix is met eigenwaarde 0, $S$ een willekeurige gelijktijdige matrix met een begrensde conditiegetal is, en $E$ een genormaliseerde Ginibre-ruismatrix.
• Architectuur:
  • Encoders: Voor elke dimensie $d$ verwerkt een toegewijde Multilayer Perceptron (MLP) encoder de inputmatrices $A^k$. Deze encoders mappen de $d \times d$ matrices naar een gedeelde latente ruimte van dimensie $d_{latent}=32$. De encoders fungeren als feature extractors en impliciete denoisers.
  • Transformer: De sequentie van latente embeddings wordt verwerkt door een dimensie-onafhankelijke Transformer (2 lagen, 4 attention heads). Dit component leert de globale structurele relaties tussen de machten van de matrix, waarbij de focus ligt op het "verdwijnende" gedrag van de sequentie in plaats van lokale entry-wise correlaties.
  • Classifier: Een dimensie-specifieke MLP-head voert mean pooling uit op de Transformer-output en classificeert de maximale blokgrootte $m \in \{1, \dots, d\}$.
• Trainingsstrategie:
  • Soft Targets: Om numerieke onzekerheid te behandelen, zijn de trainingsdoelen geen one-hot encodings maar soft distributies. Voor verwaarloosbare perturbatie ($\epsilon \leq \epsilon_0$) is de target de ware klasse. Voor grotere $\epsilon$ volgt de target een discrete Gaussische-achtige kernel gecentreerd rond de ware klasse, met een variantie die logaritmisch schaalt met $\epsilon$. Dit stelt het model in staat de inherente onzekerheid van het probleem te leren.
  • Tweefasige Training: Fase 1 traint encoders, classifiers en de Transformer simultaan op dimensies $d \in \{4, 6, 9, 12, 15, 28\}$. Fase 2 bevriest de Transformer en traint nieuwe encoders/classifiers voor ongeziene dimensies (bijv. $d=33, 35$) om generalisatie te testen.
  • Loss Functie: Het model wordt geoptimaliseerd met behulp van de Kullback-Leibler (KL) divergentie tussen de voorspelde distributie en de soft-target distributie.

Belangrijkste Resultaten

• Nauwkeurigheid: Het model bereikt een hoge classificatienauwkeurigheid op synthetisch gegenereerde data. Bij kleine perturbaties nadert de nauwkeurigheid 1.0. Zelfs onder significante perturbaties ($\epsilon$ tot $0.1$) en variërende spectrale radii, blijft de "relaxed accuracy" (het voorspellen binnen $\pm 1$ van de ware grootte) voor de meeste gevallen boven de 0.9.
• Generalisatie: Het model vertoont sterke generalisatie naar matrixdimensies ($d=33, 35$) die niet tijdens de initiële trainingsfase van de Transformer zijn gezien. Het presteert ook goed op matrices met verschillende Segre-karakteristieken (verschillende Jordan-blok configuraties) dan die in de trainingsset.
• Vergelijking met Baselines: De voorgestelde architectuur presteert aanzienlijk beter dan een klassieke numerieke baseline gebaseerd op het berekenen van de rang van matrixmachten via Singular Value Decomposition (SVD). De baseline faalt snel naarmate de perturbatie-magnitude toeneemt, terwijl het neurale netwerk robuust blijft en effectief zware ruis mitigeert.
• Interne Analyse: Inspectie van het model laat zien dat de encoders succesvol de magnitude van matrixmachten naar de latente ruimte mappen (wat de theoretische nulliteit reflecteert). Het attention-mechanisme van de Transformer focust zwaar op de tokens die overeenkomen met de eerste verdwijnende (of bijna-verdwijnende) matrixmachten, wat overeenkomt met de theoretische rang-verschil formule voor Jordan-blokken.

Betekenis en Claims
Het artikel claimt dat dit werk een nieuwe benadering introduceert voor een langdurig numeriek lineair algebra-probleem door gebruik te maken van deep learning. De primaire betekenis ligt in het vermogen van de architectuur om:

1. Structurele Eigenschappen te Vangen: Het model leert dimensie-agnostische algebraïsche regels met betrekking tot nilpotentie en Jordan-structuur, in plaats van specifieke matrixpatronen te memoriseren.
2. Numerieke Ruis te Verwerken: Door te trainen met soft targets en gebruik te maken van een encoder-decoder structuur, is het model robuuster tegen de afrondingsfouten en perturbaties die typische klassieke numerieke algoritmen verslaan.
3. Gebrek aan Ruimtelijke Structuur te Overbruggen: In tegen tegen Vision Transformers (ViTs) die vertrouwen op ruimtelijke lokaliteit, past deze architectuur de Transformer aan om algebraïsche sequenties te verwerken, waarmee het succesvol globale structurele eigenschappen identificeert in matrices die een gebrek aan lokale correlaties vertonen.

De auteurs merken bescheiden de beperkingen op: de huidige implementatie is beperkt tot reële matrices met een enkele eigenwaarde-cluster (behandeld via Riesz-projectie in theorie, hoewel training met enkele clusters werd gebruikt) en strekt zich nog niet uit naar matrix-pencils; echter suggereren de resultaten dat geleerde modellen kunnen generaliseren naar klassen van matrices die niet tijdens de training zijn gezien, wat een veelbelovend alternatief biedt voor puur numerieke methoden voor het detecteren van matrix defectiviteit.