An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

Resumen Técnico: Una Arquitectura de Encoder-Transformer para el Reconocimiento de la Estructura de Jordan de una Matriz

Formulación del Problema
El artículo aborda el desafío de determinar el tamaño del mayor bloque de Jordan en una matriz $A \in \mathbb{C}^{d \times d}$ (o $\mathbb{R}^{d \times d}$) que está cerca de ser defectuosa, específicamente bajo restricciones de precisión finita. En el álgebra lineal numérica, los errores de redondeo a menudo vuelven defectuosas (aquellas con bloques de Jordan no triviales) a las matrices que deberían ser diagonalizables, ocultando sus verdaderas propiedades estructurales. Los autores formalizan el problema como la búsqueda del entero mayor $m$ tal que exista una matriz de Jordan $J$ (con un único autovalor de cero y un bloque máximo de tamaño $m$) y una matriz invertible $S$ que satisfagan:

1. $\kappa(S) \leq \kappa_{\max}$ (un límite al número de condición de la transformación de similitud, establecido en $200d$).
2. $\|S^{-1}AS - J\| \leq \epsilon_{\max}$ (un límite a la magnitud de la perturbación).

Esta formulación busca el tamaño de bloque de Jordan "alcanzable" bajo un nivel de ruido y una restricción de condicionamiento específicos, en lugar de la matriz más cercana a la defectuosa en un sentido sin restricciones. El problema está motivado por la necesidad de comprender la estabilidad estructural en sistemas dinámicos ($x' = Ax$), donde los grandes bloques de Jordan pueden inducir un crecimiento transitorio incluso si los autovalores sugieren estabilidad, y por la dificultad de reconocer estas estructuras visualmente o mediante métodos numéricos estándar.

Metodología
Los autores proponen un marco de aprendizaje automático que utiliza una arquitectura de Encoder-Transformer para predecir el tamaño máximo del bloque de Jordan alcanzable $m$.

• Representación de Datos: En lugar de procesar una sola matriz, el modelo toma una secuencia de potencias de la matriz $(A, A^2, \dots, A^d)$ como entrada. Esto aprovecha la propiedad de que para una matriz nilpotente (autovalor cero), el rango de las potencias sucesivas $A^k$ determina de forma única los tamaños de los bloques de Jordan. Las matrices de entrada son de valores reales, generadas como $A = S(J + \epsilon E)S^{-1}$, donde $J$ es una matriz de Jordan con autovalor 0, $S$ es una matriz de similitud aleatoria con número de condición acotado, y $E$ es una matriz de ruido de Ginibre normalizada.
• Arquitectura:
  • Encoders (Codificadores): Para cada dimensión $d$, un codificador MLP (Perceptrón Multicapa) dedicado procesa las matrices de entrada $A^k$. Estos codificadores mapean las matrices $d \times d$ en un espacio latente compartido de dimensión $d_{latent}=32$. Los codificadores actúan como extractores de características e inmunizadores implícitos de ruido.
  • Transformer: La secuencia de incrustaciones (embeddings) latentes es procesada por un Transformer independiente de la dimensión (2 capas, 4 cabezales de atención). Este componente aprende las relaciones estructurales globales entre las potencias de la matriz, centrándose en el comportamiento de "desvanecimiento" de la secuencia en lugar de las correlaciones locales elemento a elemento.
  • Clasificador: Una cabeza MLP específica de la dimensión realiza un pooling medio (mean pooling) sobre la salida del Transformer y clasifica el tamaño máximo del bloque $m \in \{1, \dots, d\}$.
• Estrategia de Entrenamiento:
  • Objetivos Suaves (Soft Targets): Para manejar la incertidumbre numérica, los objetivos de entrenamiento no son codificaciones one-hot, sino distribuciones suaves. Para una perturbación despreciable ($\epsilon \leq \epsilon_0$), el objetivo es la clase real. Para $\epsilon$ más grandes, el objetivo sigue una distribución similar a una Gaussiana discreta centrada en la clase real, con una varianza que escala logarítmicamente con $\epsilon$. Esto permite que el modelo aprenda la incertidumbre inherente al problema.
  • Entrenamiento en Dos Fases: La Fase 1 entrena los codificadores, el clasificador y el Transformer simultáneamente para dimensiones $d \in \{4, 6, 9, 12, 15, 28\}$. La Fase 2 congela el Transformer y entrena nuevos codificadores/clasificadores para dimensiones no vistas (por ejemplo, $d=33, 35$) para probar la generalización.
  • Función de Pérdida: El modelo se optimiza utilizando la divergencia de Kullback-Leibler (KL) entre la distribución predicha y la distribución de objetivos suaves.

Resultados Clave

• Precisión: El modelo logra una alta precisión de clasificación en datos sintéticos generados. Para perturbaciones pequeñas, la precisión se acerca a 1.0. Incluso bajo perturbaciones significativas ($\epsilon$ hasta $0.1$) y variaciones en los radios espectrales, la "precisión relajada" (predecir dentro de $\pm 1$ del tamaño real) se mantiene por encima de 0.9 en la mayoría de los casos.
• Generalización: El modelo demuestra una fuerte capacidad de generalización a dimensiones de matrices ($d=33, 35$) no vistas durante la fase inicial de entrenamiento del Transformer. También funciona bien con matrices que tienen diferentes características de Segre (diferentes configuraciones de bloques de Jordan) que aquellas en el conjunto de entrenamiento.
• Comparación con Baselines (Líneas Base): La arquitectura propuesta supera significativamente a un baseline numérico clásico basado en el cálculo del rango de las potencias de la matriz mediante la Descomposición en Valores Singulares (SVD). El baseline falla rápidamente a medida que aumenta la magnitud de la perturbación, mientras que la red neuronal mantiene su robustez, mitigando eficazmente el ruido pesado.
• Análisis Interno: La inspección del modelo revela que los codificadores mapean con éxito la magnitud de las potencias de la matriz al espacio latente (reflejando la nulidad teórica). El mecanismo de atención del Transformer se centra intensamente en los tokens correspondientes a las primeras potencias de la matriz que se desvanecen (o casi se desvanecen), lo cual se alinea con la fórmula teórica de la diferencia de rangos para los bloques de Jordan.

Significado y Reivindicaciones
El artículo afirma que este trabajo introduce un enfoque novedoso para un problema de larga data en el álgebra lineal numérica al aprovechar el aprendizaje profundo. La importancia principal radica en la capacidad de la arquitectura para:

1. Capturar Propiedades Estructurales: El modelo aprende reglas algebraicas independientes de la dimensión relacionadas con la nilpotencia y la estructura de Jordan, en lugar de memorizar patrones de matrices específicos.
2. Manejar el Ruido Numérico: Al entrenar con objetivos suaves y utilizar una estructura de codificador-decodificador, el modelo es más robusto ante los errores de redondeo y las perturbaciones que suelen derrotar a los algoritmos numéricos clásicos.
3. Superar la Falta de Estructura Espacial: A diferencia de los Vision Transformers (ViTs) que dependen de la localidad espacial, esta arquitectura adapta el Transformer para procesar secuencias algebraicas, identificando con éxito propiedades estructurales globales en matrices que carecen de correlaciones locales.

Los autores señalan modestamente las limitaciones: la implementación actual está restringida a matrices de valores reales con un único grupo de autovalores (gestionado mediante la proyección de Riesz en teoría, aunque el entrenamiento utilizó grupos únicos) y aún no se extiende a lápices de matrices (matrix pencils). Sin embargo, los resultados sugieren que los modelos aprendidos pueden generalizarse a clases de matrices no vistas durante su entrenamiento, ofreciendo una alternativa prometedora a los métodos puramente numéricos para la detección de la defectuosidad de las matrices.