Expressivity of congruence-based architectures for DNNs on positive-definite matrices

Resumen Técnico: Expresividad de las Arquitecturas Basadas en Congruencia para DNNs sobre Matrices Definidas Positivas

Formulación del Problema
Las matrices simétricas definidas positivas (SPD) son ubicuas en aplicaciones científicas e ingenieriles, codificando información de segundo orden como correlaciones de señales y covarianzas. Dado que el conjunto de matrices SPD forma naturalmente una variedad de Riemann, esto permite el uso de técnicas de aprendizaje automático riemanniano; sin embargo, la expresividad de las Redes Neuronales Profundas (DNN) diseñadas para estos datos aún se comprende poco. Específicamente, el artículo investiga la arquitectura SPDNet, la cual se basa en capas de "tipo congruencia" (capas BiMap) donde una matriz de entrada $X$ se transforma como $X \mapsto WXW^\top$. Una restricción crítica en SPDNet es la imposición de semi-ortogonalidad en las matrices de pesos (es decir, $WW^\top = I_p$) para asegurar la estabilidad de la optimización. El problema central abordado es si esta restricción, combinada con funciones de activación específicas (como ReEig), limita el poder de representación (expresividad) de las arquitecturas profundas, volviéndolas potencialmente equivalentes a redes superficiales.

Metodología
Los autores analizan una clase general de arquitecturas definidas por la ecuación de propagación de la señal:
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
donde $g$ es una función de activación matricial (por ejemplo, ReEig) que actúa sobre los autovalores, y $W_\ell$ son matrices de pesos. El estudio procede en dos fases teóricas principales:

1. Pesos Ortogonales ($W \in O(n)$): Los autores demuestran que si todas las matrices de pesos son cuadradas y ortogonales, la profundidad de la red no aumenta la expresividad. Utilizan la propiedad de que las funciones matriciales son invariantes bajo congruencia con matrices ortogonales.
2. Pesos Semi-Ortogonales ($W \in St(n, p)$): Los autores extienden el análisis a matrices semi-ortogonales rectangulares. Aprovechan el Teorema de Separación de Poincaré, el cual dicta que los autovalores de $W^\top A W$ están acotados por los autovalores de $A$. Esta contención espectral implica que el rango de los autovalores no puede expandirse más allá del espectro inicial de la entrada.

El artículo examina además la interacción de estos extractores de características con clasificadores finales. Evalúa la compatibilidad de la extracción de características basada en congruencia con diversas distancias de Riemann (Afinamente Invariante, Log-Euclidiana, Stein, Bures-Wasserstein y Euclídea) mediante la prueba de sus propiedades de invariancia bajo transformaciones de congruencia.

Contribuciones Clave y Resultados

• Colapso de Arquitecturas Profundas: El artículo demuestra que, para ciertas funciones de activación, imponer restricciones de (semi-)ortogonalidad en las matrices de pesos provoca que las redes profundas colapsen en equivalentes de una sola capa oculta, independientemente de la profundidad de la red.
  • Caso Ortogonal: Si $W$ es ortogonal, la red es equivalente a una sola capa con una función de activación compuesta $L$ veces. Si la función de activación escalar $\sigma$ es idempotente (por ejemplo, ReLU, hard tanh), la composición $g^{(L)}$ se simplifica a $g$, lo que significa que la red profunda es estrictamente equivalente a una red de una sola capa oculta.
  • Caso Semi-Ortogonal: Si $W$ es semi-ortogonal y la función de activación $\sigma$ actúa como la identidad en el intervalo que contiene el espectro de entrada (o mapea el espectro hacia dicho intervalo), la red vuelve a colapsar en una única transformación de congruencia. Esto es una consecuencia directa del Teorema de Separación de Poincaré, que impide la expansión de la diversidad espectral necesaria para el aprendizaje de características jerárquicas profundas en este escenario específico.
• Pérdida de Diversidad Espectral: La falta de expresividad se atribuye a una "pérdida de diversidad espectral". Las transformaciones de congruencia semi-ortogonales restringen los autovalores de la salida para que residan dentro del intervalo de autovalores de la entrada. En consecuencia, para las funciones de activación que dependen de la expansión o modificación espectral, la profundidad no proporciona capacidad discriminativa adicional.
• Incompatibilidad del Clasificador: El estudio revela que varias distancias célebres entre matrices SPD (Afín-Invariante, Stein y Euclídea) son invariantes bajo congruencia con matrices ortogonales o invertibles.
  • Si un clasificador depende de estas distancias invariantes (por ejemplo, la Distancia de Riemann Mínima a la Media), y el extractor de características utiliza capas de congruencia con pesos ortogonales, la distancia entre dos puntos de datos permanece inalterada a lo largo de la red.
  • Esto implica que tales clasificadores no pueden separar datos de diferentes clases si la extracción de características depende únicamente de estas transformaciones invariantes, ya que la geometría relativa de los datos se preserva en lugar de transformarse para mejorar la separabilidad.

Significancia y Reivindicaciones
El artículo sostiene que las elecciones de diseño estándar en SPDNet —específicamente la restricción de semi-ortogonalidad en las capas BiMap— limitan fundamentalmente la expresividad de la arquitectura para ciertas funciones de activación. Los autores argumentan que esta restricción conduce a una degeneración donde las redes profundas no ofrecen ventaja sobre las superficiales, un fenómeno impulsado por las restricciones espectrales del Teorema de Separación de Poincaré.

Además, el trabajo destaca un desajuste crítico entre la extracción de características basada en congruencia y los clasificadores que dependen de métricas invariantes. Si el extractor de características preserva la estructura espectral y geométrica de los datos (debido a las restricciones ortogonales), los clasificadores basados en distancias invariantes no se benefician del proceso de extracción de características. El artículo concluye que los diseños futuros para SPD DNN deben reconsiderar estas restricciones, explorando potencialmente nuevas funciones de activación o relajando los requisitos de ortogonalidad para restaurar la expresividad de las arquitecturas profundas.