Resumo Técnico: CondPSE

Problema

As Redes Neurais de Grafos de Passagem de Mensagem (MPNNs) são fundamentalmente limitadas pelo teste 1-Weisfeiler-Lehman (1-WL), sendo incapazes de distinguir certos grafos não isomórficos ou capturar estruturas topológicas específicas. Para resolver isso, as Codificações Posicionais e Estruturais (PSE) injetam sinais derivados da topologia nas características dos nós. Embora existam codificações manuais (ex: autovetores de Laplaciano, estatísticas de caminhada aleatória), codificadores de PSE aprendidos como o GPSE oferecem uma alternativa transferível ao pré-treinar um único codificador para reconstruir múltiplos alvos estruturais a partir de sondagens aleatórias de nós. No entanto, uma lacuna crítica permanece: não está claro se capacidades de discriminação estrutural fortes em nível de benchmark (ex: distinguir classes de isomorfismo de grafos) traduzem-se automaticamente em melhor desempenho em tarefas de predição de propriedades de grafos a jusante, particularmente na predição de propriedades moleculares.

Metodologia

Os autores propõem o CondPSE, um codificador estrutural aprendido projetado para gerar sinais posicionais e estruturais robustos através de um processo de dois estágios: filtragem polinomial seguida por modulação condicional.

1. Fase de Entrada e Extração

O CondPSE começa com sondas de nós Gaussianas padrão ($Z$) amostradas i.i.d. de uma distribuição normal padrão. Essas sondas servem como entradas aleatórias para operadores de grafos.

• Banco de Filtros de Grafos Polinomiais: Em vez de usar camadas de passagem de mensagem empilhadas (como no GPSE), o CondPSE aplica um banco de $K$ filtros de grafos polinomiais aprendíveis de grau $d$.
• Os filtros computam misturas de respostas de profundidade de propagação usando potências da matriz de adjacência ($A^i Z$).
• A saída de cada filtro é normalizada e projetada para a dimensão do modelo $D$, formando $K$ ramos iniciais de resposta estrutural. Este estágio captura informações estruturais do grafo através da propagação da adjacência em vez dos valores iniciais da sonda.

2. Fase de Condicionamento e Modulação

Os $K$ ramos de resposta estrutural são refinados através de $B$ blocos de condicionamento. Cada bloco emprega modulação do tipo FiLM (Modulação Linear por Característica) para escalar e deslocar adaptativamente os ramos com base em três sinais de condicionamento distintos:

• Condicionamento de Filtro Cruzado: Computa características de comparação par a par entre diferentes ramos de filtro para facilitar a troca de informações entre as respostas estruturais.
• Condicionamento Local: Aplica um ResGatedGCN compartilhado sobre cada ramo de filtro independentemente para agregar informações de vizinhança de arestas.
• Condicionamento Global: Computa estatísticas de todo o grafo (média, desvio padrão, máximo) para cada ramo e as transmite para os nós.
• Esses sinais são concatenados e mapeados via MLP para gerar vetores de escala ($\gamma$) e deslocamento ($\beta$), que modulam os estados ocultos dos ramos de filtro.

3. Treinamento e Integração

• Pré-treinamento: O codificador é pré-treinado para reconstruir alvos posicionais/estruturais de nível de nó (ex: ElectrostaticPE, LapPE, RWSE) e invariantes de nível de grafo (ex: Autovalores, contagem de Ciclos). Crucialmente, este pré-treinamento não utiliza rótulos de propriedades a jusante.
• Congelamento: Uma vez pré-treinado, o codificador CondPSE é congelado.
• Uso a Jusante: A matriz de codificação de nós resultante é passada através de um adaptador leve (projeção linear ou MLP) e concatenada com as características originais dos nós antes de ser alimentada em backbones de GNN (ex: GIN, GraphGPS, Transformers).

Principais Contribuições

1. Arquitetura: Introdução do CondPSE, um codificador estrutural que utiliza um estágio de extração por filtro polinomial seguido por modulação condicional (filtro cruzado, local e global) para refinar as respostas estruturais.
2. Insights de Ablação: Demonstração de que o banco de filtros polinomiais é o principal motor dos ganhos de desempenho na discriminação estrutural, enquanto os módulos de condicionamento fornecem refinamentos adicionais, embora menores.
3. Análise de Lacuna Empírica: Evidência de que uma superior discriminação estrutural em nível de benchmark (nos datasets CSL e EXP) não garante automaticamente um desempenho superior de transferência em predição de propriedades moleculares.

Resultados Experimentais

Discriminação Estrutural Sintética

O CondPSE foi avaliado nos benchmarks de isomorfismo de grafos CSL (Circular Skip Link) e EXP usando um backbone GIN.

• CSL: A acurácia melhorou de 42,9% (GPSE) para 97,3% (CondPSE).
• EXP: A acurácia melhorou de 68,3% (GPSE) para 99,9% (CondPSE).
• Ablações: A remoção do banco de filtros polinomiais causou a queda de desempenho mais significativa, confirmando seu papel como o mecanismo central de extração. A remoção dos módulos de condicionamento resultou em declínios menores, mas visíveis.

Predição de Propriedades Moleculares

O CondPSE foi avaliado em datasets moleculares (ZINC, MolHIV, MolPCBA, PCQM4Mv2) utilizando vários backbones.

• Backbone GraphGPS: O CondPSE teve desempenho comparável ao GPSE em todos os datasets, com pequenas variações (ex: ligeiramente melhor no MolPCBA, ligeiramente pior no ZINC e MolHIV).
• Varredura de Backbone ZINC: Quando testado em diferentes backbones (GCN, GatedGCN, GIN, GINE, Transformer), o desempenho relativo do CondPSE e do GPSE variou:
  • O CondPSE superou o GPSE nos backbones GCN, GatedGCN e Transformer.
  • O GPSE superou o CondPSE nos backbones GIN e GINE.
• Conclusão: Não há uma ordenação consistente entre os dois codificadores; a utilidade de um codificador estrutural específico depende fortemente da arquitetura a jusante.

Significância e Alegações

O artigo posiciona o CondPSE primariamente como uma ferramenta de diagnóstico para estudar o alinhamento entre a discriminação estrutural de nível de benchmark e a utilidade a jusante.

• Desacoplamento da Discriminação da Transferência: Os autores afirmam que capacidades fortes de discriminação estrutural (separar grafos não isomórficos) não se traduzem automaticamente em melhores predições de grafos a nível de grafo.
• Papel da Integração: Os resultados sugerem que o mecanismo de "integração a jusante" — como um backbone específico combina características brutas, passagem de mensagem e codificações estruturais — é um fator crítico. Diferentes arquiteturas podem favorecer diferentes representações estruturais.
• Descompasso de Alvo: Os autores hipotetizam que um descompasso entre os alvos de pré-treinamento (reconstrução de estatísticas estruturais genéricas) e os rótulos a jusante (propriedades moleculares) pode limitar a transferência, mesmo quando o codificador é altamente expressivo.
• Escopo Modesto: O artigo não afirma que o CondPSE seja um codificador universalmente superior. Em vez disso, destaca que a escolha do codificador estrutural deve ser vista como um hiperparâmetro arquitetural dependente do modelo a jusante, e não como uma solução única para todos os casos impulsionada apenas por pontuações de benchmark de isomorfismo.