Resumo Técnico: Manifold GCN

Definição do Problema

As Redes Neurais em Grafos (GNNs) tornaram-se um padrão para analisar dados estruturados em grafos, contudo, a vasta maioria delas depende de espaços de características euclidianos. No entanto, muitas aplicações do mundo real envolvem dados que residem em variedades riemannianas não planas, como esferas, o grupo ortogonal especial $SO(3)$, espaços de matrizes simétricas definidas positivas (SPD), variedades de Stiefel e variedades de Grassmann. Arquiteturas de GNN existentes projetadas para características com valores em variedades são tipicamente restritas a tipos específicos de variedades (por exemplo, espaços de curvatura constante ou matrizes SPD) e falham ao lidar com variedades riemannianas gerais. Além disso, a maioria dos modelos existentes não explora as regularidades geométricas (isometrias) do espaço de características, levando a um desempenho subótimo devido à falta de equivariância e a uma necessidade aumentada de dados de treinamento para aprender essas simetrias.

Metodologia

Os autores propõem uma nova arquitetura de GNN, a Manifold GCN, projetada para operar em grafos com características em variedades riemannianas arbitrárias, desde que as geodésicas possam ser aproximadas eficientemente. A arquitetura consiste em duas camadas primárias que são equivariantes tanto sob permutações de nós quanto sob as isometrias da variedade de características:

1. Camada de Difusão em Variedade (Manifold Diffusion Layer)

Esta camada discretiza uma equação de difusão em grafos com valores em variedades.

• Mecanismo: Ela resolve a equação de difução $\frac{\partial}{\partial t} f(v, t) = -\Delta f(v, t)$ usando um esquema de Euler explícito. O Laplaciano do grafo $\Delta$ é definido usando o mapa logaritmo riemanniano para agregar características de nós vizinhos.
• Não linearidade: Para evitar o colapso de profundidade e manter a equivariância, os autores introduzem uma nova função de ativação $\sigma_p^\theta$ equivariante por isometria que atua sobre vetores tangentes. Esta função escala vetores tangentes com base em sua norma usando uma função sigmoide.
• Operação: A camada realiza $\ell$ etapas de difusão "ativada não linearmente", agregando informações sobre vizinhanças de $\ell$-saltos. Ela mapeia características de entrada $f$ para novas características via o mapa exponencial: $step_{t,\theta}(f)(v) = \exp_{f(v)}(-t \sigma_{f(v)}^\theta(\Delta f(v)))$.
• Equivariância: A camada é provada ser equivariante sob permutações de nós e transformações isométricas da variedade de características.

2. Perceptron Multicamadas Tangente (tMLP)

Esta camada atua como uma "convolução 1x1" para transformar as características dos nós e alterar a largura da rede, generalizando o MLP padrão para variedades.

• Mecanismo: Ela mapeia as características dos nós para um espaço tangente de referência (por exemplo, o espaço tangente em uma característica selecionada ou na média de Fréchet).
• Transformação: Ela aprende combinações lineares para definir direções no espaço tangente. Em seguida, aplica uma ativação escalar não linear (por exemplo, ReLU) à projeção das características sobre essas direções.
• Saída: Os vetores tangentes transformados são mapeados de volta para a variedade via o mapa exponencial.
• Equivariância: Assim como a camada de difusão, o tMLP é equivariante sob permutações de nós e isometrias de variedade.

Arquitetura da Rede

A rede completa combina estas camadas em uma sequência: $Diff \to tMLP \to \dots \to Diff \to tMLP$. Para tarefas de classificação, a saída é passada através de uma camada invariante de variedade (calculando distâncias até médias ponderadas), seguido de pooling global (máximo/média) e um MLP final com softmax. Os autores também recomendam normalizar os pesos das arestas para garantir passos de difusão estáveis.

Principais Contribuições

1. Suporte a Variedades Gerais: Ao contrário de trabalhos anteriores restritos a variedades específicas (como hiperbólicas ou SPD), esta arquitetura suporta características de qualquer variedade riemanniana onde as geodésicas sejam computáveis.
2. Camadas Equivariantes: Os autores são os primeiros a desenvolver camadas de GNN para variedades gerais que exibem equivariância tanto sob permutações de nós quanto sob isometrias do espaço de características. Isso fornece um forte viés indutivo.
3. Ativação Inovadora: A proposta de uma função de ativação com valores em variedade e equivariante por isometria que atua sobre vetores tangentes.
4. Estratégias de Embedding Flexíveis: A equivariância permite novos designs de características, como embeddings "one-hot" que são permutados via isometrias, que anteriormente eram incompatíveis com redes invariantes por permutação.

Resultados Experimentais

Os autores avaliaram a Manifold GCN em duas tarefas de classificação:

1. Classificação de Grafos Sintéticos

• Tarefa: Classificar grafos gerados pelos algoritmos Erdős-Rényi, Barabási-Albert ou Watts-Strogatz.
• Configuração: Comparou-se com GNNs hiperbólicas de última geração (HGNN, H2H-GCN) usando espaços de embedding hiperbólicos e SPD.
• Descobertas:
  • A Manifold GCN com um embedding "one-hot" superou os competidores em todos os tamanhos de dataset, particularmente em datasets menores (ex: 90–360 grafos).
  • Ela alcançou isso com significativamente menos parâmetros treináveis (ex: 1.970 vs. 161.903 para HGNN).
  • O método demonstrou que o espaço SPD não é necessariamente superior ao espaço hiperbólico para esta tarefa específica.

2. Classificação de Doença de Alzheimer (AD)

• Tarefa: Classificar sujeitos com AD vs. Cognitivamente Normais (CN) usando malhas triangulares (meshes) do hipocampo direito.
• Características: Dois tipos de características foram testados: normais de superfície (variedade $S^2$) e coordenadas diferenciais (variedade $SO(3) \times SPD(3)$).
• Comparação: Comparou-se contra DiffusionNet, MeshCNN e uma linha de base de GNN euclidiana.
• Descobertas:
  • Os modelos propostos alcançaram a maior precisão (75,3% para normais, 76,9% para coordenadas diferenciais), apesar de possuírem o menor número de parâmetros entre todos os métodos testados.
  • Estudos de ablação confirmaram que remover as camadas de difusão, tMLPs ou quebrar a equivariância degradou significativamente o desempenho.
  • Os resultados destacam a importância de respeitar a geometria subjacente (ex: simetria esférica para normais) para o reconhecimento de padrões.

Significância e Alegações

O artigo afirma que a Manifold GCN oferece um paradigma unificador para o aprendizado em grafos com dados com valores em variedades. Sua principal significância reside em:

• Aplicabilidade Mais Ampla: Estende as capacidades das GNNs para além de espaços de curvatura constante ou SPD para variedades complexas como grupos de rotação e espaços de formas.
• Eficiência de Dados: O viés indutivo da equivariância permite que a rede performe bem com dados de treinamento escassos, uma vantagem crítica em domínios como imagem médica, onde os dados são limitados.
• Aprendizado de Representação Geométrica: Ao aproveitar a equivariância por isometria, a rede pode utilizar estratégias de embedding (como codificações one-hot) que eram anteriormente inacessíveis para modelos invariantes por permutação, levando a uma melhor separação de nós embedidos e melhor desempenho de classificação.

Os autores concluem que, embora seu método supere redes de última geração específicas para tarefas, trabalhos futuros devem explorar esquemas de difusão implícita para abordar o "over-squashing", o uso de $p$-Laplacianos e a integração de mecanismos de atenção.