DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs

Resumo Técnico: DuConTE

1. O Problema

Os Grafos Atribuídos a Texto (TAGs) integram informações semânticas de textos dos nós com a estrutura topológica do grafo, sendo cruciais para tarefas como classificação de documentos e extração de informações. No entanto, as abordagens existentes enfrentam três limitações principais:

1. Granularidade Limitada: A maioria dos métodos utiliza Modelos de Linguagem (LMs) para codificar textos apenas na granularidade de tokens de palavras, falhando em capturar interações semânticas na granularidade de nós (onde o conteúdo textual de diferentes nós é tratado como unidades holísticas que interagem através do grafo).
2. Desacoplamento Estrutural: Os métodos atuais frequentemente codificam o texto e a estrutura de forma desacoplada. Ou o LM ignora completamente a topologia do grafo, ou os sinais estruturais injetados são insuficientes para guiar o processo de codificação de forma eficaz.
3. Composição de Representações: Falta um mecanismo eficaz para compor representações de nós a partir de embeddings de tokens, sem considerar adequadamente o contexto do nó central versus o contexto dos vizinhos.

2. Metodologia: DuConTE

O DuConTE (Dual-Granularity Text Encoder with Topology-Constrained Attention) é um codificador de texto "plug-and-play" projetado para superar essas limitações. A arquitetura segue um pipeline de três estágios e utiliza dois LMs pré-treinados em cascata:

• Codificação Semântica de Dupla Granularidade:

  • Granularidade de Token de Palavra: Um primeiro LM ($M_L$) processa a sequência concatenada do texto do nó alvo e de seus vizinhos amostrados. Isso permite interações semânticas finas entre palavras dentro e entre nós conectados.
  • Granularidade de Nó: As representações dos nós geradas na primeira etapa são alimentadas em um segundo LM ($M_N$). Este encoder modela interações semânticas em nível de nó, tratando os nós como unidades inteiras que interagem conforme a estrutura do grafo.

• Mecanismo de Atenção Constrained por Topologia:

  • Para integrar a estrutura do grafo sem modificar a arquitetura central do Transformer, o DuConTE utiliza uma máscara de atenção personalizada.
  • Baseado na hipótese de homofilia (nós conectados tendem a ter características semânticas semelhantes), as máscaras restringem a atenção:
    • No encoder de tokens: A atenção é permitida apenas entre tokens do mesmo nó ou entre nós conectados.
    • No encoder de nós: A atenção é permitida apenas entre representações de nós que são o mesmo ou estão conectados no grafo.
  • Isso força o modelo a aprender correlações semânticas informadas pela estrutura do grafo.

• Compositor de Representação de Nós:

  • Um módulo projetado para agregar embeddings de tokens em representações de nós de alta qualidade.
  • Ele avalia a importância de cada token de palavra sob duas perspectivas distintas:
    1. Contexto do Nó Central: A relevância do token para o próprio nó.
    2. Contexto da Vizinhança: A relevância do token dada a informação dos nós vizinhos.
  • Essas importâncias são fundidas dinamicamente para criar uma representação ponderada, capturando informações semânticas mais relevantes do que uma simples média.

• Fusão e Treinamento:

  • A representação final do nó é uma fusão ponderada das representações de primeira etapa (granularidade de token) e segunda etapa (granularidade de nó).
  • O modelo é treinado em duas etapas: primeiro o encoder de tokens e o compositor são otimizados; em seguida, fixando a primeira etapa, o encoder de nós e o segundo estágio do compositor são treinados.

3. Principais Contribuições

1. Arquitetura de Dupla Granularidade: Propõe um codificador em cascata que modela explicitamente a semântica tanto no nível de palavras quanto no nível de nós, alinhando-se com a natureza multi-granular dos TAGs.
2. Mecanismo de Atenção Constrained por Topologia: Introduz uma estratégia de mascaramento específica para TAGs, fundamentada na análise de homofilia, que injeta informações estruturais no processo de codificação textual sem alterar a arquitetura do LM.
3. Compositor de Representação Assimétrico: Desenvolve um mecanismo que diferencia e pondera a importância dos tokens sob o contexto do nó central e do contexto da vizinhança, permitindo uma fusão mais precisa das informações.
4. Desempenho SOTA: Demonstra que a abordagem supera os métodos atuais na maioria dos benchmarks, oferecendo representações de nós de alta qualidade para tarefas downstream.

4. Resultados Experimentais

O DuConTE foi avaliado em cinco conjuntos de dados de referência (Cora, CiteSeer, WikiCS, ArXiv-2023 e OGBN-Products) para a tarefa de classificação de nós.

• Desempenho Geral: O modelo alcançou o estado da arte (SOTA) na maioria dos conjuntos de dados.
  • No Cora, obteve 95.24% de precisão (vs. 93.60% do segundo melhor, GraphBridge).
  • No ArXiv-2023, alcançou 90.31% (vs. 86.43% do segundo melhor).
  • No CiteSeer, atingiu 89.45%.
• Análise de Ablação: Estudos mostraram que remover a codificação de dupla granularidade, a restrição de topologia ou o compositor de contexto diferenciado resulta em queda significativa de desempenho, validando a eficácia de cada componente.
• Eficiência de Parâmetros: O DuConTE alcançou melhores resultados usando dois modelos RoBERTa-base (totalizando ~150M de parâmetros) em comparação com métodos que utilizam RoBERTa-large (340M+ parâmetros), demonstrando alta eficiência paramétrica.
• Tarefas Adicionais: O modelo também superou os baselines em tarefas de previsão de links, indicando sua versatilidade.

5. Significado e Impacto

O trabalho DuConTE é significativo porque:

• Ponte entre LMs e GNNs: Oferece uma solução elegante para integrar a profunda compreensão semântica dos LMs com a estrutura relacional dos grafos, superando o paradigma tradicional de codificação separada.
• Preservação de Arquitetura: Permite adaptar LMs pré-treinados para dados estruturados em grafos sem a necessidade de redesenhar a arquitetura do Transformer ou treinar modelos do zero, reduzindo custos computacionais.
• Interpretabilidade Semântica: Ao separar e ponderar o contexto do nó central e da vizinhança, o modelo oferece uma compreensão mais rica de como a estrutura do grafo influencia o significado textual dos nós.
• Aplicabilidade: Os resultados robustos em múltiplos domínios (ciência, redes sociais, e-commerce) sugerem que a abordagem é generalizável para diversas aplicações de aprendizado em grafos atribuídos a texto.

Em resumo, o DuConTE estabelece um novo padrão para a representação de grafos atribuídos a texto, demonstrando que a consideração explícita de múltiplas granularidades e a restrição topológica na atenção são fundamentais para extrair o máximo valor dessas estruturas de dados complexas.