Resumo Técnico: Levantamento Diferenciável para Redes Neurais Topológicas

Declaração do Problema

As Redes Neurais Topológicas (TNNs) emergiram como uma classe poderosa de modelos capazes de aproveitar estruturas de ordem superior (ex: ciclos, cliques, simplexes) para aumentar o poder expressivo das tradicionais Redes Neurais em Grafos (GNNs). No entanto, um gargalo crítico existe no processo de "levantamento" (lifting): a transformação de grafos de entrada em domínios topológicos (como hipergrafos, complexos simpliciais ou complexos celulares).

Atualmente, este processo de levantamento é predominantemente não supervisionado e estático. Métodos como levantamento por ciclos, levantamento $k$-hop ou levantamento $k$-vizinho mais próximo ($k$-NN) dependem de heurísticas predefinidas baseadas na conectividade do grafo ou em características dos nós. Como demonstrado no artigo, a escolha ótima do domínio topológico e do procedimento de levantamento é altamente dependente dos dados e específica para cada tarefa. Levantamentos estáticos e não supervisionados frequentemente resultam em representações topológicas subótimas, limitando o desempenho downstream das TNNs. Embora o levantamento diferenciável tenha sido explorado anteriormente para complexos celulares (ex: DCM), a falta de um framework geral aplicável a vários domínios topológicos (incluindo hipergrafos e complexos simpliciais) era evidente.

Metodologia: $\partial$lift (DiffLift)

Os autores propõem o $\partial$lift, um framework geral e ponta a ponta (end-to-end) diferenciável para aprender levantamentos de grafos. Em vez de usar regras fixas, o $\partial$lift aprende a identificar e parametrizar distribuições sobre candidatos a células de ordem superior para inclusão na estrutura de saída.

Mecanismo Central

O framework opera através de um processo de amostragem hierárquico e iterativo:

1. Embeddings de Nós: Uma GNN arbitrária (ex: GIN, GPS) computa representações latentes ($z_v$) para cada nó no grafo de entrada.
2. Elicitação de Candidatos: Com base nesses embeddings, o modelo define um conjunto de células candidatas.
   • Para hipergrafos, os candidatos são formados pela seleção de $k_v$ vizinhos mais próximos de um nó $v$ no espaço de embedding, onde $k_v$ é amostrado adaptativamente de uma distribuição parametrizada por $z_v$.
   • Para complexos celulares, o processo é hierárquico. Para dimensão $D=1$, os candidatos a arestas são formados de forma semelhante às hiperarestas. Para $D \ge 2$, as células candidatas (ex: 2-células) são derivadas de ciclos (ou cliques) no complexo atual, respeitando as restrições hierárquicas do domínio alvo.
3. Aceitação/Rejeição: Para cada célula candidata $C$, uma rede neural (tipicamente um MLP ou DeepSet) processa o multiconjunto de embeddings de nós dentro de $C$ para gerar uma probabilidade de aceitação $\phi(z_C)$.
4. Amostragem Estocástica: Uma amostra de Bernoulli determina se a célula será incluída na estrutura levantada. Os gradientes são propagados através deste passo de amostragem discreta usando o estimador straight-through.
5. Iteração: O processo se repete para dimensões crescentes ($D \to D+1$) até que uma dimensão máxima $D_{max}$ seja atingida.

Levantamento de Características (Feature Lifting)

As características para as novas células de ordem superior formadas são computadas via uma projeção de soma escalonada das características dos nós constituintes, garantindo que a estrutura levantada seja compatível com as camadas padrão de passagem de mensagens de TNNs.

Principais Contribuições

1. Framework Diferenciável Geral: O $\partial$lift é um framework geral que permite o aprendizado de levantamentos de grafos ponta a ponta através de múltiplos domínios topológicos, incluindo hipergrafos, complexos simpliciais e complexos celulares, estendendo-se além de trabalhos anteriores limitados a domínios específicos.
2. Aprendizado de Estrutura Adaptativa: Ao contrário de métodos estáticos, o $\partial$lift aprende o tamanho e a composição das células de ordem superior (ex: tamanhos adaptativos de hiperarestas) com base em objetivos específicos da tarefa e representações de nós aprendidas.
3. Amostragem Hierárquica: O método introduz um procedimento de amostragem iterativo onde células de dimensão inferior informam a geração de células de dimensão superior, modelando naturalmente a natureza hierárquica dos objetos topológicos.
4. Integração: O framework foi projetado para ser integrado perfeitamente em pipelines de TNN existentes, atuando como uma camada de pré-processamento aprendível que alimenta arquiteturas de TNN prontas para uso.

Resultados Experimentais

Os autores avaliaram o $\partial$lift em 12 conjuntos de dados abrangendo tarefas de classificação de grafos (propriedades moleculares) e classificação de nós, utilizando quatro arquiteturas diferentes de TNN (CWN, CXN, CIN, UniGCNII, UniGIN).

• Classificação de Grafos: O $\partial$lift superou consistentemente os métodos de levantamento estático (ciclo, $k$-hop, $k$-NN, kernel) em 22 de 24 experimentos. Ele alcançou ganhos de desempenho de até 45% sobre os levantamentos estáticos. Por exemplo, no conjunto de dados ZINC, o $\partial$lift reduziu o Erro Médio Absoluto (MAE) de 0,46 para 0,17 ao utilizar o CWN.
• Classificação de Nós: O $\partial$lift alcançou um desempenho competitivo ou superior comparado aos levantamentos estáticos e à linha de base diferenciável DCM. Notavelmente, superou significativamente o DCM em conjuntos de dados heterofílicos (ex: Texas). No conjunto de dados Cora, enquanto o DCM alcançou 80,73%, o $\partial$lift combinado com o TopoTune atingiu 86,82%, embora o $\partial$lift com CWN (80,17%) tenha sido ligeiramente inferior ao DCM. No geral, o $\partial$lift demonstrou forte desempenho em diversos conjuntos de dados, frequentemente superando o DCM por uma margem ampla.
• Robustez: O método demonstrou robustez através de diferentes backbones de GNN (GIN vs. GPS), embora representações mais ricas (GPS) tenham gerado, em geral, melhores resultados.
• Eficiência: Embora o $\partial$lift incorra em um custo de tempo de execução modesto em comparação com métodos estáticos (devido à amostragem e computação de probabilidade), ele permanece computacionalmente viável. Para hipergrafos, o processo é massivamente paralelizável; para complexos celulares, o custo é dominado pela computação da base de ciclos, mas permanece gerenciável.

Significância e Alegações

O artigo afirma que o $\partial$lift aborda uma limitação fundamental no aprendizado profundo topológico: a dependência de procedimentos de levantamento não supervisionados e agnósticos à tarefa. Ao tornar o processo de levantamento aprendível e informado pela tarefa, os autores demonstram que a estrutura topológica dos dados pode ser otimizada especificamente para a tarefa de jusante (downstream).

Os autores destacam que sua abordagem leva a ganhos empíricos substanciais, sugerindo que o domínio topológico "ideal" não é uma propriedade fixa dos dados, mas sim uma função do objetivo de aprendizado. Além disso, eles postulam que levantamentos adaptativos podem mitigar problemas como o oversquashing (esmagamento excessivo de informação), ao aprender a introduzir células de ordem superior (ex: 2-células) que criam atalhos através de gargalos no grafo, melhorando assim o fluxo de informação entre nós distantes.

O trabalho conclui que, embora as implementações atuais sejam limitadas a complexos celulares de 2 dimensões devido a restrições de bibliotecas de TNN, o framework é generalizável para outros domínios (ex: nuvens de pontos) e representa um passo significativo em direção a um aprendizado topológico totalmente adaptativo.