An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

Resumo Técnico: Uma Arquitetura Encoder-Transformer para o Reconhecimento da Estrutura de Jordan de uma Matriz

Formulação do Problema
O artigo aborda o desafio de determinar o tamanho do maior bloco de Jordan em uma matriz $A \in \mathbb{C}^{d \times d}$ (ou $\mathbb{R}^{d \times d}$) que está próxima de ser defeituosa, especificamente sob restrições de precisão finita. Na álgebra linear numérica, erros de arredondamento frequentemente tornam matrizes defeituosas (aquelas com blocos de Jordan não triviais) diagonalizáveis, obscurecendo suas verdadeiras propriedades estruturais. Os autores formalizam o problema como a busca pelo maior inteiro $m$ tal que exista uma matriz de Jordan $J$ (com um único autovalor zero e um bloco máximo de tamanho $m$) e uma matriz invertível $S$ satisfazendo:

1. $\kappa(S) \leq \kappa_{\max}$ (um limite para o número de condição da transformação de similaridade, definido como $200d$).
2. $\|S^{-1}AS - J\| \leq \epsilon_{\max}$ (um limite para a magnitude da perturbação).

Esta formulação busca o tamanho de bloco de Jordan "atingível" sob um nível de ruído e restrição de condicionamento específicos, em vez da matriz mais próxima de ser defeituosa em um sentido não restrito. O problema é motivado pela necessidade de compreender a estabilidade estrutural em sistemas dinâmicos ($x' = Ax$), onde grandes blocos de Jordan podem induzir crescimento transitório mesmo quando os autovalores sugerem estabilidade, e pela dificuldade de reconhecer essas estruturas visualmente ou via métodos numéricos padrão.

Metodologia
Os autores propõem um framework de aprendizado de máquina utilizando uma arquitetura Encoder-Transformer para prever o tamanho máximo do bloco de Jordan atingível $m$.

• Representação de Dados: Em vez de processar uma única matriz, o modelo recebe uma sequência de potências de matriz $(A, A^2, \dots, A^d)$ como entrada. Isso aproveita a propriedade de que, para uma matriz nilpotente (autovalor zero), o posto das potências sucessivas $A^k$ determina unicamente os tamanhos dos blocos de Jordan. As matrizes de entrada são de valores reais, geradas como $A = S(J + \epsilon E)S^{-1}$, onde $J$ é uma matriz de Jordan com autovalor 0, $S$ é uma matriz de similaridade aleatória com número de condição limitado, e $E$ é uma matriz de ruído de Ginibre normalizada.
• Arquitetura:
  • Encoders: Para cada dimensão $d$, um encoder MLP (Perceptron Multicamadas) dedicado processa as matrizes de entrada $A^k$. Esses encoders mapeiam as matrizes $d \times d$ para um espaço latente compartilhado de dimensão $d_{latent}=32$. Os encoders atuam como extratores de características e denoisers implícitos.
  • Transformer: A sequência de embeddings latentes é processada por um Transformer independente de dimensão (2 camadas, 4 cabeças de atenção). Este componente aprende as relações estruturais globais entre as potências da matriz, focando no comportamento de "desvanecimento" da sequência, em vez de correlações locais elemento a elemento.
  • Classificador: Uma cabeça MLP específica da dimensão realiza o pooling médio na saída do Transformer e classifica o tamanho máximo do bloco $m \in \{1, \dots, d\}$.
• Estratégia de Treinamento:
  • Alvos Suaves (Soft Targets): Para lidar com a incerteza numérica, os alvos de treinamento não são codificações one-hot, mas sim distribuições suaves. Para perturbações desprezíveis ($\epsilon \leq \epsilon_0$), o alvo é a classe verdadeira. Para $\epsilon$ maiores, o alvo segue um kernel do tipo Gaussiano discreto centrado na classe verdadeira, com variância escalonada logaritmicamente com $\epsilon$. Isso permite que o modelo aprenda a incerteza inerente ao problema.
  • Treinamento em Duas Fases: A Fase 1 treina os encoders, o classificador e o Transformer simultaneamente para dimensões $d \in \{4, 6, 9, 12, 15, 28\}$. A Fase 2 congela o Transformer e treina novos encoders/classificadores para dimensões não vistas (ex: $d=33, 35$) para testar a generalização.
  • Função de Perda: O modelo é otimizado usando a divergência de Kullback-Leibler (KL) entre a distribuição prevista e a distribuição de alvos suaves.

Principais Resultados

• Acurácia: O modelo alcança alta acurácia de classificação em dados sintéticos gerados. Para pequenas perturbações, a acurácia aproxima-se de 1.0. Mesmo sob perturbações significativas ($\epsilon$ até $0.1$) e variando os raios espectrais, a "acurácia relaxada" (prever dentro de $\pm 1$ do tamanho real) permanece acima de 0.9 na maioria dos casos.
• Generalização: O modelo demonstra forte generalização para dimensões de matrizes ($d=33, 35$) não vistas durante a fase inicial de treinamento do Transformer. Ele também performa bem em matrizes com diferentes características de Segre (diferentes configurações de blocos de Jordan) do que aquelas presentes no conjunto de treinamento.
• Comparação com Baselines: A arquitetura proposta supera significativamente um baseline numérico clássico baseado no cálculo do posto das potências de matriz via Decomposição de Valor Singular (SVD). O baseline falha rapidamente conforme a magnitude da perturbação aumenta, enquanto a rede neural mantém a robustez, mitigando efetivamente o ruído pesado.
• Análise Interna: A inspeção do modelo revela que os encoders mapeiam com sucesso a magnitude das potências da matriz para o espaço latente (refletindo a nulidade teórica). O mecanismo de atenção do Transformer foca pesadamente nos tokens correspondentes às primeiras potências de matriz que desaparecem (ou quase desaparecem), o que se alinha com a fórmula teórica da diferença de posto para blocos de Jordan.

Significância e Alegações
O artigo afirma que este trabalho introduz uma abordagem inovadora para um problema de longa data da álgebra linear numérica ao utilizar aprendizado profundo. A principal significância reside na capacidade da arquitetura de:

1. Capturar Propriedades Estruturais: O modelo aprende regras algébricas independentes de dimensão relativas à nilpotência e estrutura de Jordan, em vez de memorizar padrões de matrizes específicas.
2. Lidar com Ruído Numérico: Ao treinar com alvos suaves e utilizar uma estrutura encoder-decoder, o modelo é mais robusto aos erros de arredondamento e perturbações que tipicamente derrotam algoritmos numéricos clássicos.
3. Superar a Falta de Estrutura Espacial: Diferente dos Vision Transformers (ViTs), que dependem de localidade espacial, esta arquitetura adapta o Transformer para processar sequências algébricas, identificando com sucesso propriedades estruturais globais em matrizes que carecem de correlações locais.

Os autores notam modestamente limitações: a implementação atual é restrita a matrizes de valores reais com um único cluster de autovalores (tratado via projeção de Riesz na teoria, embora o treinamento tenha usado clusters únicos) e ainda não se estende a lápices de matrizes (matrix pencils). No entanto, os resultados sugerem que modelos aprendidos podem generalizar para classes de matrizes não vistas durante o treinamento, oferecendo uma alternativa promissora aos métodos puramente numéricos para a detecção de defeituosidade de matrizes.