Resumo Técnico: CTQWformer

Declaração do Problema

Redes Neurais em Grafos (GNNs) e arquiteturas baseadas em Transformer avançaram a aprendizagem em grafos, mas enfrentam limitações específicas. GNNs tradicionais frequentemente lutam com campos receptivos locais, super-suavização em redes profundas e incapacidade de capturar dependências de longo alcance. Por outro lado, embora os Transformers se destaquem na modelagem de dependências de longo alcance, frequentemente falham em capturar efetivamente simultaneamente dependências estruturais locais e globais. Além disso, métodos existentes podem carecer de um mecanismo fundamentado fisicamente para modelar a propagação de informação dinâmica inerente às estruturas de grafos. O artigo identifica a necessidade de um framework que possa simultaneamente aproveitar a atenção global, preservar informações estruturais locais e modelar padrões de evolução dinâmica.

Metodologia

Os autores propõem o CTQWformer, um framework híbrido de aprendizagem em grafos que integra Passeios Quânticos em Tempo Contínuo (CTQW) com GNNs. O modelo é projetado para capturar tanto vieses estruturais físicos estáticos quanto padrões de evolução temporal dinâmica do CTQW para aprendizagem de representação a nível de grafo. A arquitetura consiste em três componentes principais:

1. Codificador de Passeio Quântico (QWE)

Diferentemente dos modelos clássicos de CTQW que dependem de matrizes Laplacianas ou de adjacência fixas, o CTQWformer emprega um Hamiltoniano treinável ($H_\theta$).

• Construção: O Hamiltoniano funde a topologia do grafo e os atributos dos nós. Os pesos das arestas são aprendidos concatenando os atributos dos nós incidentes e passando-os por uma rede perceptron multicamadas (MLP) com ativações ReLU e Sigmoid para garantir pesos limitados.
• Dinâmica: O sistema evolui de acordo com a equação de Schrödinger ($i \frac{d}{dt}|\psi(t)\rangle = H|\psi(t)\rangle$). O modelo simula a evolução do CTQW partindo de estados de base ortonormais (estados iniciais de nó único) ao longo de um conjunto de passos de tempo discretos $T$.
• Saída: Este processo gera um tensor de evolução temporal $P \in \mathbb{R}^{T \times n \times n}$, codificando a distribuição de probabilidade do caminhante através do grafo em cada passo de tempo.

2. Módulo Quantum Walk-Graph Transformer (QWGT)

Este módulo aborda a necessidade de consciência estrutural global.

• Mecanismo: Incorpora as probabilidades de propagação no tempo final ($P^T$) da simulação CTQW como um viés estrutural estático no mecanismo de autoatenção de um Graph Transformer.
• Integração: A matriz de viés $B$ é derivada normalizando $P^T$ e aplicando uma transformação logarítmica ($B = \log(1 + P^T)$), que é adicionada à matriz de pontuação de atenção ($QK^T/\sqrt{d} + B$). Isso guia o mecanismo de atenção a respeitar a topologia subjacente do grafo e propriedades estruturais físicas além da mera similaridade de atributos.

3. Módulo Quantum Walk-Graph Recurrent (QWGR)

Este módulo captura a evolução temporal dinâmica do passeio quântico.

• Mecanismo: Processa a sequência temporal completa do tensor de evolução CTQW. Especificamente, extrai os elementos diagonais (probabilidades de auto-propagação por nó) das matrizes de probabilidade através dos passos de tempo.
• Arquitetura: Essas sequências são alimentadas em uma Unidade Recorrente com Portas Bidirecional (BiGRU) para modelar flutuações e dependências temporais nas direções forward e backward.
• Saída: As representações de nós resultantes são agregadas via pooling médio e uma rede feedforward para produzir uma incorporação a nível de grafo.

Fusão e Predição

Os módulos QWGT e QWGR são integrados em camadas unificadas. Suas saídas são concatenadas e passadas por uma rede de fusão feedforward. O modelo suporta empilhamento multicamadas, onde incorporações a nível de grafo são transmitidas de volta para representações a nível de nó para guiar camadas subsequentes. Finalmente, o pooling médio global agrega as incorporações finais de nós para classificação a nível de grafo.

Principais Contribuições

1. Hamiltoniano Treinável: O design de um Hamiltoniano parametrizado que integra tanto a estrutura do grafo quanto os atributos dos nós. Isso permite que as dinâmicas do CTQW capturem conexões adaptativamente baseadas nos atributos dos nós, tornando o modelo adequado para tarefas de classificação de grafos atribuídos.
2. Framework Híbrido (CTQWformer): A proposta do primeiro Transformer baseado em CTQW híbrido. Combina de forma única:
   • Viés Estático: Usando probabilidades finais do CTQW para guiar o mecanismo de atenção do Transformer.
   • Modelagem Dinâmica: Usando redes recorrentes bidirecionais para processar a evolução temporal do CTQW.
     Essa integração permite que o modelo capture tanto vieses estruturais físicos estáticos quanto padrões de evolução temporal dinâmica.
3. Desempenho: Experimentos extensivos demonstram que o framework supera kernels de grafos tradicionais e vários métodos baseados em GNN (incluindo Graphormer e GraphGPS) em vários conjuntos de dados de referência.

Resultados Experimentais

O modelo foi avaliado em seis conjuntos de dados de referência da coleção TU (MUTAG, PTC(MR), PROTEINS, DD, IMDB-B, IMDB-M), cobrindo bioinformática e redes sociais.

• Comparação com Kernels de Grafos: O CTQWformer superou consistentemente sete métodos de kernel de grafo, incluindo kernels clássicos de R-convolução e kernels baseados em teoria da informação baseados em CTQW (por exemplo, JTQK, QJSK). Alcançou o melhor desempenho em cinco dos seis conjuntos de dados.
• Comparação com GNNs: O modelo alcançou resultados competitivos ou superiores contra oito GNNs representativos (por exemplo, GIN, GCN, GraphSAGE) e três Transformers de Grafos de última geração (Graphormer, GraphGPS, GRIT).
• Estudos de Ablação: A remoção do módulo QWGR (modelagem temporal) resultou em uma queda significativa de desempenho (por exemplo, a precisão do MUTAG caiu de 92,54% para 74,97%), destacando a importância crítica de modelar a evolução dinâmica. A remoção do módulo QWGT (viés estrutural) causou uma diminuição menor, mas perceptível, indicando que ambos os componentes são valiosos.
• Sensibilidade a Hiperparâmetros: O estudo encontrou que passos de tempo moderados (por exemplo, $T=4$ para MUTAG) e profundidade de rede (por exemplo, $L=2$) produziram desempenho ótimo, sugerindo que tempo de evolução excessivo ou profundidade de rede podem levar à diluição de informação ou super-suavização.

Significado e Alegações

O artigo alega que o CTQWformer representa um avanço significativo ao integrar com sucesso dinâmicas quânticas em frameworks de aprendizagem profunda treináveis.

• Fundamentação Física: Fornece uma modelagem fundamentada fisicamente da estrutura do grafo através da equação de Schrödinger, capturando informações estruturais intrincadas via efeitos de interferência construtiva e destrutiva inerentes aos passeios quânticos.
• Modelagem Complementar: Ao fundir vieses estruturais estáticos com evolução temporal dinâmica, o modelo supera as limitações de modelos que dependem exclusivamente de agregação local ou atenção estática.
• Primeiro do Seu Tipo: Os autores afirmam que, até onde lhes é conhecido, este é o primeiro Transformer híbrido baseado em CTQW que integra viés estrutural derivado do CTQW com modelagem de evolução temporal para avançar a aprendizagem em grafos.

Os autores concluem que o trabalho demonstra o potencial das dinâmicas de passeio quântico para aprendizagem de representação em grafos e sugere que trabalhos futuros focarão em melhorar a eficiência computacional e estender o framework para tarefas mais amplas de aprendizagem em grafos.