🤖 machine learning

PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking

O PreGress é um novo framework que introduz objetivos de pré-treinamento nativos de ranking e módulos de prompting leves para permitir um ranking de nós eficiente, transferível e de alta qualidade em diversas tarefas sem exigir o retreinamento total do modelo.

Autores originais: Lujie Ban, Jiasheng shi, Yingli Zhou, Kaiwen Xue, Daiyin Wang, Xubin Li, Shuanghua Li, Chenhao Ma

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lujie Ban, Jiasheng shi, Yingli Zhou, Kaiwen Xue, Daiyin Wang, Xubin Li, Shuanghua Li, Chenhao Ma

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma cidade gigante e movimentada, onde cada pessoa está conectada a outras por fios invisíveis de amizade, negócios ou interesses compartilhados. No mundo da ciência de dados, essa cidade é chamada de "grafo", e as pessoas são os "nós". Às vezes, você precisa encontrar as pessoas mais importantes nessa cidade — talvez aquelas que podem espalhar um boato mais rápido, ou aquelas que conectam dois bairros distantes. Isso é chamado de "classificação de nós" (node ranking). É como tentar descobrir quais são os três cientistas mais citados em uma enorme biblioteca de artigos de pesquisa, ou quais produtos um cliente tem mais probabilidade de comprar em seguida.

Por muito tempo, descobrir essas classificações era como tentar contar cada grão de areia em uma praia para encontrar o maior deles. Era lento, caro e exigia que um humano fizesse a matemática para cada pergunta. Então, computadores inteligentes chamados "Redes Neurais de Grafos" (GNNs) surgiram. Eles são como estudantes super-rápidos que podem aprender a adivinhar as respostas estudando exemplos. Mas aqui está o problema: geralmente, se você quisesse ensinar um estudante a encontrar a pessoa "mais conectada", teria que ensiná-lo tudo de novo para encontrar a pessoa "mais influente". Era como ter um estudante que era ótimo em matemática, mas terrível em história, e você tinha que contratar um professor novo para cada nova disciplina.

Recentemente, cientistas começaram a tentar uma abordagem diferente chamada "pré-treinamento". Pense nisso como ensinar a um estudante um conjunto de habilidades gerais — como saber ler, como pensar logicamente e como entender o mundo — antes mesmo de ele ver qualquer questão de prova específica. A ideia é que, uma vez que eles tenham esse conhecimento geral, possam se adaptar rapidamente a qualquer novo assunto. Mas havia um problema: a maioria desses "estudantes" gerais era treinada para fazer coisas como adivinhar palavras que faltam em uma frase ou prever se duas pessoas são amigas. Eles não foram treinados para classificar coisas por importância. Assim, quando você pedia para eles classificarem nós, eles eram bons no básico, mas não eram tão bons no trabalho específico.

Foi aqui que uma nova equipe de pesquisadores, liderada por Lujie Ban e colegas, interveio com uma ideia fresca. Eles perguntaram: "E se construíssemos um estudante que fosse nascido para classificar coisas?" Eles criaram um novo sistema chamado PreGress. Em vez de ensinar um estudante geral e esperar que ele aprenda a classificar depois, eles treinaram o sistema especificamente no conceito de importância desde o início. Eles usaram um truque inteligente chamado "prompting", que é como dar ao estudante um par de óculos especiais ou um cartão de dicas para cada novo teste, em vez de reensinar toda a matéria.

Veja como o PreGress funciona no mundo real. Primeiro, o sistema olha para um grafo massivo (como uma rede social) e o divide em pequenos e gerenciáveis "vizinhanças" chamadas "redes ego" (ego networks). Imagine olhar para uma cidade não como um mapa gigante, mas focando no círculo imediato de amigos de uma pessoa de cada vez. Isso ajuda o sistema a entender detalhes locais sem se confundir com a cidade inteira de uma vez.

Em seguida, o sistema passa por uma fase de "pré-treinamento". Ele aprende duas coisas principais:

Previsão de Centralidade de Grau: Ele aprende a adivinhar quantos amigos uma pessoa tem apenas olhando para sua vizinhança. Esta é uma medida direta de importância que é fácil de calcular.
Reconstrução de Atributos: Ele tenta adivinhar detalhes ausentes sobre uma pessoa (como seus hobbies ou profissão) com base no que seus amigos estão fazendo. Isso o ajuda a entender a "personalidade" dos nós, não apenas suas conexões.

Ao aprender essas duas coisas juntas, o sistema constrói uma compreensão profunda do que torna um nó importante, tanto estruturalmente (quem eles conhecem) quanto por seus próprios traços.

Uma vez que esse cérebro "nativo de classificação" é construído, ele não precisa ser retreinado para cada novo trabalho. Em vez disso, os pesquisadores usam o ajuste de prompt (prompt tuning). Se o sistema precisar encontrar a pessoa "mais central", ele recebe uma dica simples e leve (um prompt) que diz para focar na contagem de conexões. Se precisar encontrar pessoas que atuam como pontes entre grupos, ele recebe uma dica diferente que foca na busca de caminhos. O cérebro central permanece congelado e inalterado; apenas as pequenas dicas de cartão são ajustadas. Isso é como ter um mestre chef que sabe cozinhar qualquer coisa. Você não precisa contratar um novo chef para cada prato; você apenas entrega ao mesmo chef um cartão de receita diferente.

Os pesquisadores testaram o PreGress em seis grafos públicos diferentes e dois conjuntos de dados de recomendação do mundo real (como Yelp e MovieLens). Eles descobriram que o PreGress não era apenas mais rápido que os métodos tradicionais, mas também mais preciso. Ele conseguia classificar nós melhor do que sistemas que precisavam ser retreinados do zero todas as vezes. Na verdade, em algumas tarefas, foi milhares de vezes mais rápido que os métodos de cálculo exato, mantendo a resposta correta.

Uma das descobertas mais empolgantes foi que essa abordagem funciona mesmo quando você tem muito poucos dados para ensinar o sistema. Em um teste de "poucos disparos" (few-shot), onde o sistema viu apenas 10 ou 20 exemplos do que classificar, o PreGress ainda teve um desempenho incrível, superando outros métodos que precisavam de centenas de exemplos. Isso sugere que o pré-treinamento realmente ensinou ao sistema uma compreensão fundamental de importância que ele pode aplicar em qualquer lugar.

O artigo também analisou o quão profundo o sistema poderia chegar. Normalmente, quando as redes neurais ficam muito profundas (com muitas camadas), elas começam a borrar tudo, tornando difícil distinguir um nó de outro — um problema chamado "suavização excessiva" (over-smoothing). O PreGress, no entanto, lidou lindamente com camadas profundas, mantendo sua capacidade de distinguir entre diferentes nós mesmo em redes muito complexas.

Em resumo, o PreGress é uma nova maneira de ensinar computadores a classificar coisas em uma rede. Em vez de treinar um novo modelo para cada pergunta, ele constrói um modelo inteligente e adaptável que aprende as regras de importância uma vez e depois usa pequenas dicas para resolver qualquer enigma de classificação. É mais rápido, mais barato e mais preciso do que os métodos antigos, prometendo tornar os mecanismos de busca, sistemas de recomendação e análises de rede muito mais inteligentes e eficientes. Os autores sugerem que este pode ser um grande passo à frente para tornar a IA baseada em grafos mais útil para todos, desde encontrar o melhor filme para assistir até entender como doenças se espalham por uma população.

Resumo Técnico: PreGress

Definição do Problema

O ranking de nós é uma tarefa fundamental na recuperação de informações em grafos, visando ordenar nós com base em sua importância relativa ou relevância para aplicações como análise de influência, recomendação e geração aumentada de recuperação baseada em grafos (RAG). Métodos tradicionais para computar medidas de ranking (ex: PageRank, Centralidade de Intermediação, Contagem de Subgrafos Locais) enfrentam um gargalo de escalabilidade: o cálculo exato é frequentemente computacionalmente proibitivo em grafos grandes, enquanto algoritmos aproximados podem gerar estimativas imprecisas.

Abordagens baseadas em aprendizado existentes que utilizam Redes Neurais de Grafos (GNNs) oferecem aproximações escaláveis, mas sofrem de duas limitações críticas:

Falta de Transferibilidade: Elas são tipicamente adaptadas para critérios de ranking específicos, exigindo a coleta de rótulos de verdade fundamental (ground-truth) caros e o retreinamento de um novo modelo para cada tarefa subsequente.
Desalinhamento no Pré-treinamento: Esforços recentes de pré-treinamento de grafos frequentemente empregam objetivos (ex: predição de ligação) que estão desalinhados com o ranking de nós, resultando em uma adaptabilidade suboptimal quando ajustados (fine-tuned) ou direcionados (prompted) para tarefas de ranking.

O desafio central abordado por este trabalho é como derivar meta-conhecimento unificado e transferível de sinais de grafos facilmente acessíveis para permitir que um único modelo se adapte a diversos critérios de ranking de nós sem a necessidade de anotação humana custosa ou retreinamento total.

Metodologia: Estrutura PreGress

Os autores propõem o PreGress, o primeiro framework de pré-treinamento e prompting nativo para ranking de nós em grafos. O framework opera em três estágios:

1. Extração de Rede Ego

Para mitigar o problema de over-smoothing comum em GNNs profundas (onde os embeddings dos nós tornam-se indistinguíveis), o PreGress não processa o grafo inteiro como uma única unidade. Em vez disso, ele extrai redes ego de $k$ -saltos para cada nó. Uma rede neural de subgrafo (SNN) processa esses subgrafos locais. Esta abordagem restringe o campo receptivo aos vizinhos locais, preservando representações de nós distinguíveis e capturando informações estruturais e de atributos essenciais.

2. Pré-treinamento Multitarefa

O PreGress emprega uma estratégia de pré-treinamento multitarefa projetada para se alinhar ao espaço de saída numérica contínua das tarefas de ranking. Os objetivos de pré-treinamento são:

Predição de Centralidade de Grau: Uma tarefa primária onde o modelo prevê o grau de cada nó. Isso fornece um sinal de verdade fundamental contínuo e facilmente obtível que captura a importância topológica. O modelo utiliza um mecanismo de autoatenção para agregar representações de nós para esta tarefa de regressão.
Reconstrução de Atributos: Uma tarefa auxiliar inspirada em BERT e Autoencoders de Máscara (MAE). O modelo reconstrói atributos de nós mascarados usando os atributos visíveis e a estrutura de grafo subjacente via um mecanismo de atenção cruzada (cross-attention). Isso garante que o modelo capture as relações intrínsecas entre as propriedades dos nós e a importância estrutural.

A perda de pré-treinamento combina Erro Quadrático Médio (MSE) para predição de grau, um regularizador de correspondência de distribuição de lista (divergência KL) para impor a consistência da ordem de ranking, e uma perda InfoNCE para reconstrução de atributos.

3. Ajuste de Prompt Específico para a Tarefa

Para adaptar o backbone pré-treinado congelado a diversas tarefas de ranking, o PreGress utiliza módulos de prompt leves e específicos para a tarefa, em vez de um ajuste fino (fine-tuning) total:

Para Predição de Centralidade: Um vetor aprendível é adicionado aos atributos dos nós do grafo subsequente.
Para Contagem de Subgrafos Locais: Uma GNN leve codifica o grafo de padrão (a estrutura do subgrafo a ser contado) em um vetor de prompt, que é então adicionado aos atributos do grafo subsequente. Um termo de regularização de Análise de Correlação Canônica Suave (Soft CCA) é usado para alinhar as representações do grafo de padrão e as redes ego.

Nesta etapa, apenas os módulos de prompt e uma cabeça de projeção unificada são atualizados, enquanto o backbone SNN pré-treinado permanece congelado.

Principais Contribuições

Framework Nativo de Ranking: Introdução do primeiro framework de pré-treinamento e prompting especificamente projetado para ranking de nós, distinguindo-se de métodos gerais de pré-treinamento de grafos.
Estratégia de Pré-treinamento Multitarefa: Uma estratégia inovadora que combina predição de centralidade de grau e reconstrução de atributos para capturar conjuntamente informações estruturais e de atributos, alinhando os objetivos de pré-treinamento com requisitos de ranking refinados.
Módulos de Prompt Específicos para a Tarefa: O design de mecanismos de prompt leves e heterogêneos que permitem que um único backbone congelado se adapte a diferentes critérios de ranking (ex: centralidade vs. contagem de subgrafos) sem retreinar o modelo principal.
Validação Empírica: Experimentos abrangentes demonstrando que o PreGress alcança um desempenho de ranking forte com sobrecarga computacional e parâmetros treináveis significativamente reduzidos em comparação ao fine-tuning e às linhas de base existentes.

Resultados Experimentais

Os autores avaliaram o PreGress em seis grafos públicos (ex: soc-brightkite, Flickr, YouTube) e dois benchmarks de recomendação do mundo real (Yelp2018, MovieLens-100K).

Desempenho de Ranking: O PreGress alcançou consistentemente resultados de estado da arte ou altamente competitivos na Predição de Centralidade de Intermediação e na Contagem de Subgrafos Locais, superando GNNs puras, métodos de fine-tuning (ex: SimGRACE, GraphMAE) e linhas de base de prompt-tuning existentes (ex: GraphPrompt, GPPT) na maioria dos conjuntos de dados.
Eficiência: O framework demonstrou ganhos significativos de eficiência. Em termos de parâmetros treináveis, o PreGress reduziu a sobrecarga de estado em aproximadamente 99,9% em comparação ao fine-tuning total em cenários de recomendação. Também alcançou latências de consulta ordens de magnitude mais rápidas do que algoritmos de computação exata, mantendo uma precisão superior em comparação com outras aproximações baseadas em aprendizado.
Robustez: O modelo mostrou forte generalização através de diferentes tamanhos e densidades de grafos. Estudos de ablação confirmaram a necessidade do backbone de subgrafo (SNN) para prevenir o over-smoothing e a importância do prompt tuning para a adaptação de tarefas.
Aprendizado de Poucos Disparos (Few-Shot Learning): O PreGress demonstrou desempenho superior em regimes de poucos dados (10-shot a 50-shot), indicando que as representações pré-treinadas capturam efetivamente sinais de ranking transferíveis.

Significância e Alegações

O artigo afirma que o PreGress aborda a lacuna crítica entre a necessidade de ranking de nós escalável e as limitações dos métodos atuais baseados em aprendizado. Ao mudar de "pré-treinamento e ajuste fino" para "pré-treinamento e prompting", o PreGress permite:

Eficiência de Rótulos: Eliminando a necessidade de rótulos de verdade fundamental caros e específicos para cada novo critério de ranking.
Escalabilidade: Fornecendo uma solução que escala para grandes grafos ao evitar o retreinamento total e utilizar a adaptação eficiente baseada em prompt.
Representação Unificada: Estabelecendo um backbone compartilhado e transferível que pode suportar tarefas de ranking heterogêneas, indo além da abordagem isolada de treinar modelos separados para cada métrica.

Os autores posicionam o PreGress como um passo em direção à unificação dos problemas de ranking de nós sob um framework compartilhado de pré-treinamento e prompting, oferecendo uma receita prática para implantar sistemas de ranking em ambientes de recursos limitados ou em rápida mudança.