Resumo Técnico: PromptGNN-SIM

Declaração do Problema

Grafos Atribuídos a Texto (TAGs) integram semântica textual rica com informações estruturais de grafos, servindo como um paradigma crítico para modelar dados relacionais complexos em domínios como citações acadêmicas, redes sociais e bases de conhecimento de produtos. No entanto, as abordagens de fusão existentes para TAGs sofrem de uma limitação fundamental: elas tipicamente tratam as modalidades textual e estrutural como entradas separadas dentro de um pipeline unidirecional raso. Esse fluxo de informação de via única impede a troca profunda e interativa entre as modalidades, levando a um desempenho subótimo. Especificamente, os métodos atuais enfrentam dificuldades em cenários caracterizados por conectividade esparsa, sinais estruturais ruidosos e mudanças de domínio (domain shifts). Além disso, a agregação de vizinhança tradicional geralmente depende apenas da adjacência estrutural, negligenciando a relevância semântica, o que enfraquece a resiliência do modelo em grafos dinâmicos ou corrompidos. Há uma falta de investigação sistemática sobre como as estratégias de fusão impactam a robustez, a generalização e a resistência do modelo a perturbações como esparsidade de dados e ruído adversarial.

Metodologia

Para enfrentar esses desafios, os autores propõem o PromptGNN-sim, um novo framework que permite a fusão profunda e bidirecional da estrutura do grafo e da semântica textual através da colaboração de Redes Neurais de Grafos (GNNs) e Grandes Modelos de Linguagem (LLMs). O framework consiste em três componentes principais:

1. Construção de Prompt Dinâmico

O framework introduz um mecanismo de prompting dinâmico consciente da estrutura para facilitar a fusão de modalidades em estágio inicial.

• Representação de Características: Os nós são representados tanto por embeddings semânticos (derivados de modelos de linguagem pré-treinados como o BERT via mean pooling) quanto por embeddings estruturais (codificados por uma Graph Attention Network, GAT).
• Seleção Adaptativa de Vizinhos: Uma GAT computa pesos de atenção para os vizinhos, enquanto a similaridade de cosseno semântica é calculada entre os embeddings dos nós. Um mecanismo de fusão adaptativa equilibra essas pistas com base no comprimento do texto do nó; textos mais curtos dependem mais de pistas estruturais, enquanto textos mais longos aproveitam o conteúdo semântico. Os $k$ vizinhos com os maiores pesos fundidos são selecionados.
• Geração de Prompt: O contexto estrutural selecionado e os resumos textuais são usados para gerar dinamicamente prompts para o LLM. Esses prompts incluem o texto do nó alvo, categorias de rótulos e palavras-chave representativas de vizinhos semanticamente similares. A estrutura do prompt adapta-se com base no grau do nó (por exemplo, priorizando o conteúdo intrínseco para nós de baixo grau versus sintetizar informações de vizinhos para nós de alto grau) e no comprimento do texto.

2. Fusão de Atenção Cross-Modal Bidirecional

Para capturar associações semânticas profundas, o framework emprega um módulo de atenção dupla:

• Atenção de Grafo Guiada por Texto: Utiliza embeddings de texto projetados como queries para agregar contexto das representações do grafo (keys e values), produzindo um vetor de texto consciente do grafo.
• Atenção de Texto Guiada por Grafo: Utiliza um vetor de grafo de mean-pooling como query para guiar a atenção sobre as características de texto, produzindo um vetor de grafo consciente do texto.
  Este mecanismo facilita a interação mútua, permitindo que o modelo capture sinais complementares e melhore as representações dos nós.

3. Aprendizado Contrastivo para Alinhamento

Um objetivo de aprendizado contrastivo é introduzido para alinhar os textos brutos dos nós com os resumos estruturados gerados pelo LLM.

• Visões (Views): Duas visões são criadas para cada nó: o texto bruto original ($t_{raw}$) e um resumo estruturado ($t_{sum}$) contendo a previsão e a justificativa (rationale) do LLM.
• Objetivo: Usando uma perda InfoNCE simétrica com filas de memória (memory queues), o modelo é treinado para maximizar a similaridade entre essas duas visões enquanto minimiza a similaridade com amostras negativas. Isso incentiva o aprendizado de características invariantes à visão e representações semânticas robustas.

Principais Contribuições

O artigo destaca quatro contribuições principais:

1. Mecanismo de Prompt Dinâmico: Um framework que integra adaptativamente textos de nós com informações de vizinhança filtradas seletivamente com base em similaridade semântica e atenção estrutural, permitindo uma fusão precoce eficaz para classificação de nós e predição de links.
2. Atenção Cross-Modal Bidirecional: Um módulo de atenção dupla projetado para facilitar a interação mútua entre as modalidades textual e estrutural, capturando efetivamente sinais complementares.
3. Aprendizado Contrastivo para Alinhamento Prompt-Texto: Um objetivo contrastivo de múltiplas visões que alinha textos brutos de nós com prompts gerados dinamicamente, incentivando representações semânticas robustas e invariantes à visão.
4. Avaliação Abrangente: Experimentos extensos demonstrando a forte generalização do framework entre domínios e sua robustez ao ruído estrutural e perturbações de entrada.

Resultados Experimentais

Os autores avaliaram o PromptGNN-sim em seis conjuntos de dados públicos: Cora, CiteSeer, PubMed, WikiCS, History e Photo.

• Classificação de Nós: O PromptGNN-sim (usando Llama3B) alcançou desempenho estado da arte ou competitivo em todos os datasets. Notavelmente, superou GNNs clássicas (GCN, GAT, GraphSAGE), LLMs puros (BERT, RoBERTa) e métodos recentes de fusão SOTA (ENGINE, ULTRATAG-S, PromptGFM). Por exemplo, no dataset WikiCS, alcançou 85,82% de acurácia, superando o melhor anterior de 84,66%.
• Predição de Links: O modelo alcançou a maior acurácia em todos os datasets avaliados para predição de links, com melhorias chegando a 9,89% sobre o baseline de GNN mais forte no dataset Cora.
• Transferibilidade: Em configurações de tarefas cruzadas (treino em Classificação de Nós, teste em Predição de Links), o modelo demonstrou transferibilidade robusta, mantendo altos escores de AUC e AP. Em cenários de poucos disparos (few-shot) de domínio cruzado, o modelo mostrou adaptabilidade significativa comparado aos baselines zero-shot.
• Robustez: Sob perturbações de grafo esparso (queda de arestas/nós e mascaramento de texto), o PromptGNN-sim superou consistentemente os baselines, mantendo alta acurácia onde o desempenho do GCN degradou significamente.
• Estudos de Ablação: A remoção de componentes chave (atenção cross-modal, aprendizado contrastivo) resultou em degradação substancial de desempenho, validando seu papel sinérgico. O estudo também confirmou que embeddings de TF-IDF superaram características baseadas em ID.

Significância e Alegações

O artigo afirma que o PromptGNN-sim introduz um framework eficaz para a colaboração profunda entre GNN e LLM, indo além da fusão rasa para permitir um aprendizado de grafo multimodal verdadeiramente interativo. Ao aproveitar a atenção cross-modal bidirecional e o alinhamento contrastivo, o framework aborda com sucesso as limitações dos métodos atuais no tratamento de conectividade esparsa e mudanças de domínio. Os autores afirmam que este trabalho estabelece uma base sólida para pesquisas futuras em aprendizado de grafo multimodal interativo, demonstrando que a integração profunda das modalidades estrutural e semântica leva a uma maior precisão, generalização e robustez em cenários reais de TAG. A análise teórica também apoia a alegação de que os prompts dinâmicos capturam sinais causais enquanto mitigam efeitos de confusão (confounding effects), melhorando assim a confiabilidade da classificação de nós.