Expressivity of congruence-based architectures for DNNs on positive-definite matrices

Resumo Técnico: Expressividade de Arquiteturas Baseadas em Congruência para DNNs em Matrizes Positivas-Definitas

Formulação do Problema
Matrizes simétricas positivas-definidas (SPD) são onipresentes em aplicações científicas e de engenharia, codificando informações de segunda ordem, como correlações de sinais e covariâncias. Embora o conjunto de matrizes SPD forme naturalmente uma variedade riemanniana, permitindo o uso de técnicas de aprendizado de máquina riemanniano, a expressividade das Redes Neurais Profundas (DNNs) projetadas para esses dados permanece mal compreendida. Especificamente, o artigo investiga a arquitetura SPDNet, que se baseia em camadas de "tipo-congruência" (camadas BiMap) onde uma matriz de entrada $X$ é transformada como $X \mapsto WXW^\top$. Uma restrição crítica na SPDNet é a imposição de semi-ortogonalidade nas matrizes de peso (ou seja, $WW^\top = I_p$) para garantir a estabilidade da otimização. O problema central abordado é se essa restrição, combinada com funções de ativação específicas (como ReEig), limita o poder representacional (expressividade) de arquiteturas profundas, potencialmente tornando-as equivalentes a redes rasas.

Metodologia
Os autores analisam uma classe geral de arquiteturas definidas pela equação de propagação de sinal:
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
onde $g$ é uma função de ativação matricial (ex: ReEig) que atua sobre os autovalores, e $W_\ell$ são matrizes de peso. O estudo prossegue em duas fases teóricas principais:

1. Pesos Ortogonais ($W \in O(n)$): Os autores provam que, se todas as matrizes de peso forem quadradas e ortogonais, a profundidade da rede não aumenta a expressividade. Eles utilizam a propriedade de que funções matriciais são invariantes sob congruência com matrizes ortogonais.
2. Pesos Semi-Ortogonais ($W \in St(n, p)$): Os autores estendem a análise para matrizes semi-ortogonais retangulares. Eles utilizam o Teorema de Separação de Poincaré, que dita que os autovalores de $W^\top A W$ são limitados pelos autovalores de $A$. Essa contenção espectral implica que o intervalo de autovalores não pode expandir além do espectro inicial da entrada.

O artigo examina ainda a interação entre esses extratores de características e classificadores finais. Ele avalia a compatibilidade da extração de características baseada em congruência com várias distâncias riemannianas (Invariante-Afim, Log-Euclidiana, Stein, Bures-Wasserstein e Euclidiana) testando suas propriedades de invariância sob transformações de congruência.

Principais Contribuições e Resultados

• Colapso de Arquiteturas Profundas: O artigo demonstra que, para certas funções de ativação, a imposição de restrições de (semi-)ortogonalidade nas matrizes de peso faz com que redes profundas colapsem em equivalentes de uma única camada oculta, independentemente da profundidade da rede.
  • Caso Ortogonal: Se $W$ é ortogonal, a rede é equivalente a uma única camada com uma função de ativação composta $L$ vezes. Se a função de ativação escalar $\sigma$ for idempotente (ex: ReLU, hard tanh), a composição $g^{(L)}$ simplifica-se para $g$, o que significa que a rede profunda é estritamente equivalente a uma única camada oculta.
  • Caso Semi-Ortogonal: Se $W$ é semi-ortogonal e a função de ativação $\sigma$ atua como a identidade no intervalo contendo o espectro de entrada (ou mapeia o espectro para tal intervalo), a rede novamente colapsa para uma única transformação de congruência. Este é um resultado direto do Teorema de Separação de Poincaré, que impede a expansão da diversidade espectral necessária para o aprendizado hierárquico de características profundas neste cenário específico.
• Perda de Diversidade Espectral: A falta de expressividade é atribuída a uma "perda de diversidade espectral". Transformações de congruência semi-ortogonais restringem os autovalores da saída para que residam dentro do intervalo de autovalores da entrada. Consequentemente, para funções de ativação que dependem de expansão ou modificação espectral, a profundidade não fornece poder discriminativo adicional.
• Incompatibilidade do Classificador: O estudo revela que diversas distâncias celebradas entre matrizes SPD (Invariante-Afim, Stein e Euclidiana) são invariantes sob congruência com matrizes ortogonais ou invertíveis.
  • Se um classificador depende dessas distâncias invariantes (ex: Distância Riemanniana Mínima à Média), e o extrator de características utiliza camadas de congruência com pesos ortogonais, a distância entre quaisquer dois pontos de dados permanece inalterada ao longo da rede.
  • Isso implica que tais classificadores não podem separar dados de diferentes classes se a extração de características depender exclusivamente dessas transformações invariantes, pois a geometria relativa dos dados é preservada em vez de ser transformada para aumentar a separabilidade.

Significância e Alegações
O artigo alega que as escolhas de design padrão na SPDNet — especificamente a restrição de semi-ortogonalidade nas camadas BiMap — limitam fundamentalmente a expressividade da arquitetura para certas funções de ativação. Os autores argumentam que essa restrição leva a uma degeneração onde redes profundas não oferecem vantagem sobre redes rasas, um fenômeno impulsionado pelas restrições espectrais do Teorema de Separação de Poincaré.

Além disso, o trabalho destaca um descompasso crítico entre a extração de características baseada em congruência e classificadores que utilizam métricas invariantes. Se o extrator de características preserva a estrutura espectral e geométrica dos dados (devido às restrições ortogonais), os classificadores baseados em distâncias invariantes falham em se beneficiar do processo de extração de características. O artigo conclui que os designs futuros para SPD DNNs devem reconsiderar essas restrições, possivelmente explorando novas funções de ativação ou relaxando os requisitos de ortogonalidade para restaurar a expressividade das arquiteturas profundas.