An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

Sintesi Tecnica: Un'Architettura Encoder-Transformer per il Riconoscimento della Struttura di Jordan di una Matrice

Formulazione del Problema
Il documento affronta la sfida di determinare la dimensione del più grande blocco di Jordan in una matrice $A \in \mathbb{C}^{d \times d}$ (o $\mathbb{R}^{d \times d}$) che è vicina all'essere difettiva, specificamente sotto vincoli di precisione finita. Nell'algebra lineare numerica, gli errori di arrotondamento spesso rendono le matrici difettive (quelle con blocchi di Jordan non banali) diagonalizzabili, oscurando le loro vere proprietà strutturali. Gli autori formalizzano il problema come la ricerca dell'intero maggiore $m$ tale che esista una matrice di Jordan $J$ (con un singolo autovalore nullo e un blocco massimo di dimensione $m$) e una matrice invertibile $S$ soddisfacendo:

1. $\kappa(S) \leq \kappa_{\max}$ (un limite al numero di condizionamento della trasformazione di similitudine, fissato a $200d$).
2. $\|S^{-1}AS - J\| \leq \epsilon_{\max}$ (un limite all'entità della perturbazione).

Questa formulazione cerca la dimensione del blocco di Jordan "raggiungibile" sotto un determinato livello di rumore e un vincolo di condizionamento, piuttosto che la matrice difettiva più vicina in senso non vincolato. Il problema è motivato dalla necessità di comprendere la stabilità strutturale nei sistemi dinamici ($x' = Ax$), dove i grandi blocchi di Jordan possono indurre una crescita transitoria anche se gli autovalori suggeriscono stabilità, e dalla difficoltà di riconoscere tali strutture visivamente o tramite metodi numerici standard.

Metodologia
Gli autori propongono un framework di machine learning che utilizza un'architettura Encoder-Transformer per predire la dimensione massima raggiungibile del blocco di Jordan $m$.

• Rappresentazione dei Dati: Invece di elaborare una singola matrice, il modello riceve in input una sequenza di potenze di matrici $(A, A^2, \dots, A^d)$. Ciò sfrutta la proprietà per cui, per una matrice nilpotente (autovalore zero), il rango delle successive potenze $A^k$ determina univocamente le dimensioni dei blocchi di Jordan. Le matrici di input sono a valori reali, generate come $A = S(J + \epsilon E)S^{-1}$, dove $J$ è una matrice di Jordan con autovalore 0, $S$ è una matrice di similitudine casuale con numero di condizionamento limitato, ed $E$ è una matrice di rumore di Ginibre normalizzata.
• Architettura:
  • Encoder: Per ogni dimensione $d$, un encoder MLP (Multilayer Perceptron) dedicato elabora le matrici di input $A^k$. Questi encoder mappano le matrici $d \times d$ in uno spazio latente condiviso di dimensione $d_{latent}=32$. Gli encoder fungono da estrattori di caratteristiche e denoiser impliciti.
  • Transformer: La sequenza di embedding latenti è elaborata da un Transformer indipendente dalla dimensione (2 strati, 4 teste di attenzione). Questa componente apprende le relazioni strutturali globali tra le potenze della matrice, concentrandosi sul comportamento di "svanimento" della sequenza piuttosto che sulle correlazioni locali elemento per elemento.
  • Classificatore: Una testa MLP specifica per la dimensione esegue il pooling medio sull'output del Transformer e classifica la dimensione massima del blocco $m \in \{1, \dots, d\}$.
• Strategia di Addestramento:
  • Target Soft (Soft Targets): Per gestire l'incertezza numerica, i target di addestramento non sono codifiche one-hot, ma distribuzioni soft. Per perturbazioni trascurabili ($\epsilon \leq \epsilon_0$), il target è la classe reale. Per $\epsilon$ più grandi, il target segue una distribuzione simile a una Gaussiana discreta centrata sulla classe reale, con una varianza che scala logaritmicamente con $\epsilon$. Ciò consente al modello di apprendere l'incertezza intrinseca del problema.
  • Addestramento in Due Fasi: La Fase 1 addestra encoder, classificatori e il Transformer simultaneamente su dimensioni $d \in \{4, 6, 9, 12, 15, 28\}$. La Fase 2 congela il Transformer e addestra nuovi encoder/classificatori per dimensioni non viste (ad esempio, $d=33, 35$) per testare la generalizzazione.
  • Funzione di Perdita: Il modello è ottimizzato utilizzando la divergenza di Kullback-Leibler (KL) tra la distribuzione predetta e la distribuzione target soft.

Risultati Chiave

• Accuratezza: Il modello raggiunge un'elevata accuratezza di classificazione sui dati sintetici generati. Per perturbazioni piccole, l'accuratezza si avvicina a 1.0. Anche sotto perturbazioni significative ($\epsilon$ fino a $0.1$) e raggi spettrali variabili, l'accuratezza "rilassata" (predizione entro $\pm 1$ della dimensione reale) rimane superiore a 0.9 nella maggior parte dei casi.
• Generalizzazione: Il modello dimostra una forte capacità di generalizzazione a dimensioni di matrice ($d=33, 35$) non viste durante la fase iniziale di addestramento del Transformer. Funziona bene anche con matrici che presentano diverse caratteristiche di Segre (diverse configurazioni di blocchi di Jordan) rispetto a quelle presenti nel set di addestramento.
• Confronto con i Baseline: L'architettura proposta supera significativamente un baseline numerico classico basato sul calcolo del rango delle potenze di matrice tramite SVD (Singular Value Decomposition). Il baseline fallisce rapidamente all'aumentare dell'entità della perturbazione, mentre la rete neurale mantiene la robustezza, mitigando efficacemente il rumore pesante.
• Analisi Interna: L'ispezione del modello rivela che gli encoder mappano con successo l'ampiezza delle potenze della matrice nello spazio latente (riflettendo la nullità teorica). Il meccanismo di attenzione del Transformer si concentra pesantemente sui token corrispondenti alle prime potenze di matrice che svaniscono (o quasi svaniscono), il che si allinea con la formula del rango differenziale per i blocchi di Jordan.

Significatività e Rivendicazioni
Il documento sostiene che questo lavoro introduce un approccio innovativo a un problema di lunga data dell'algebra lineare numerica sfruttando il deep learning. La significatività primaria risiede nella capacità dell'architettura di:

1. Catturare Proprietà Strutturali: Il modello apprende regole algebriche indipendenti dalla dimensione riguardanti la nilpotenza e la struttura di Jordan, piuttosto che memorizzare pattern specifici di matrici.
2. Gestire il Rumore Numerico: Addestrando con target soft e utilizzando una struttura encoder-decoder, il modello è più robusto agli errori di arrotondamento e alle perturbazioni che tipicamente sconfiggono gli algoritmi numerici classici.
3. Superare la Mancanza di Struttura Spaziale: A differenza dei Vision Transformer (ViT) che si basano sulla località spaziale, questa architettura adatta il Transformer per elaborare sequenze algebriche, identificando con successo proprietà strutturali globali in matrici che mancano di correlazioni locali.

Gli autori notano con modestia i limiti: l'implementazione corrente è limitata a matrici a valori reali con un singolo cluster di autovalori (gestito teoricamente tramite proiezione di Riesz, sebbene l'addestramento abbia usato singoli cluster) e non si estende ancora ai fasci di matrici (matrix pencils). Tuttavia, i risultati suggeriscono che i modelli appresi possono generalizzare a classi di matrici non viste durante l'addestramento, offrendo un'alternativa promettente ai metodi puramente numerici per il rilevamento della difettosità delle matrici.