🤖 machine learning

Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks

Este artigo apresenta o SIGIL, um framework totalmente indutivo que supera a heterogeneidade de entrada em modelos de fundação de grafos ao mapear grafos atribuídos arbitrários para um grafo de interação estrutural unificado, permitindo a transferência de representações de características aprendidas através de diversos grafos e unificando abordagens existentes de raciocínio em grafos de conhecimento.

Autores originais: Omer Yom Tov, Avigdor Gal

Publicado 2026-08-11

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Omer Yom Tov, Avigdor Gal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender o mundo. No mundo do texto, temos um dicionário massivo de palavras com as quais todos concordam; uma vez que o robô aprende o que significa "gato" ou "correr", ele pode ler um novo livro sobre gatos ou corrida sem precisar de uma nova lição. Mas no mundo dos grafos — redes de coisas conectadas como amigos em redes sociais, moléculas químicas ou redes de citações — não existe um dicionário universal. Cada grafo vem com seu próprio conjunto único de "características" (como os atributos específicos de uma pessoa ou de uma molécula) que podem ser completamente diferentes do anterior. Um modelo treinado para entender uma rede de cientistas pode ficar completamente confuso ao receber uma rede de compradores online porque as "palavras" (características) não coincidem. Isso torna incrivelmente difícil construir um "modelo de fundação" único que possa saltar de um tipo de rede para outro sem precisar ser retreinado do zero. A grande questão que os pesquisadores estão fazendo é: Podemos construir um tradutor universal para essas redes bagunçadas e diferentes que funcione em qualquer coisa, em qualquer lugar, sem precisar de um dicionário para cada novo trabalho?

Este artigo apresenta um novo framework inteligente chamado Sigil (que significa Structural Interaction Graphs for Inductive Learning - Grafos de Interação Estrutural para Aprendizado Indutivo) para resolver exatamente esse problema. Pense no Sigil como um mestre cuca a quem não importa os ingredientes específicos que você entrega a ele (sejam maçãs, cenouras ou frutas alienígenas). Em vez de tentar memorizar todos os possíveis ingredientes, o Sigil observa como os ingredientes interagem entre si. Ele pega uma rede bagunçada e complexa e a eleva a um novo nível simplificado chamado "Grafo de Interação Estrutural" (SIG). Nesta nova visão, os "nós" não são mais as pessoas ou as moléculas; eles são as próprias características (como "altura", "preço" ou "cor"). As conexões neste novo grafo mostram como essas características tendem a se alinhar ou colidir com base em como a rede original está conectada.

Ao executar um jogo especial de passagem de mensagens neste novo mapa de características, o Sigil aprende uma linguagem universal para as características. Ele traduz qualquer grafo, não importa quão estranho ou diferente sejam suas características, em um formato padrão de tamanho fixo que uma IA de jusante pode entender facilmente. O artigo mostra que isso não é apenas um novo truque; é uma teoria unificadora. Quando as características são códigos "one-hot" simples (como tipos de relacionamento discretos em um grafo de conhecimento), o Sigil recupera perfeitamente modelos existentes poderosos. Mas quando as características são números contínuos (como dados de sensores de valores reais), o Sigil vai onde esses modelos antigos não podiam chegar. Os autores testaram isso em uma grande variedade de tarefas, incluindo a previsão de links ausentes em redes e a classificação de nós. Eles descobriram que um único modelo Sigil, treinado em apenas um grafo (como a rede de citações Cora), poderia performar incrivelmente bem em grafos completamente inéditos com características diferentes, muitas vezes superando outros modelos "totalmente indutivos" que tentam generalizar. É como ensinar um aluno a ler um livro e, depois, fazer com que ele tire nota máxima em um teste sobre um livro escrito em uma língua completamente diferente, simplesmente porque ele aprendeu a gramática subjacente de como as ideias se conectam, em vez de memorizar as palavras.

Resumo Técnico: Passagem de Mensagem Neural em Grafos de Interação Estrutural para Redes Neurais de Grafos Totalmente Indutivas

1. Definição do Problema

O desenvolvimento de Modelos de Fundação de Grafos (GFMs) enfrenta um obstáculo central: a heterogeneidade de entrada. Ao contrário da linguagem natural, onde um vocabulário de tokens compartilhado permite que os modelos codifiquem qualquer texto, os grafos chegam com espaços de características de nós únicos que diferem em dimensionalidade, semântica de coordenadas e conjuntos de rótulos. Consequentemente, um modelo treinado em um grafo geralmente não consegue "ler" outro.

Abordagens existentes tratam partes desse desafio, mas falham em unificá-las:

GFMs de Classificação de Nós: Métodos como o GraphAny lidam com espaços de características e rótulos arbitrários, mas são projetados exclusivamente para classificação de nós, carecendo de mecanismos para predição de links ou raciocínio relacional.
Modelos de Fundação de Grafos de Conhecimento (KGFMs): Modelos como o ULTRA alcançam transferência zero-shot em grafos de conhecimento construindo um "grafo de relação" sobre tipos de relações discretas. No entanto, essa abordagem é fundamentalmente discreta; ela pressupõe um vocabulário finito de relações e carece de mecanismos para características de nós ou arestas contínuas.

O desafio central é projetar um modelo de grafo totalmente indutivo que generalize através de três eixos simultaneamente: estruturas de grafos não vistas, espaços de características não vistos (dimensionalidade e semântica arbitrárias) e espaços de rótulos não vistos.

2. Metodologia: O Framework Sigil

Os autores propõem o Sigil (Structural Interaction Graphs for Inductive Learning), um framework que mapeia qualquer grafo atribuído para um espaço de representação unificado de dimensão fixa. A inovação central é o Grafo de Interação Estrutural (SIG).

2.1 Construindo o Grafo de Interação Estrutural (SIG)

Dado um grafo de entrada $G=(V, E)$ com características de nó $X \in \mathbb{R}^{n \times d}$ , o Sigil "eleva" o grafo do domínio do nó para o domínio da dimensão de características.

Propagação de Múltiplas Ordens: As características são propagadas através de ordens de vizinhança crescentes $k$ (de $0 $a$ K$) usando propagação não parametrizada: $X^{(k)} = A^k X$ .
Operadores de Interação: Para cada ordem $k$ , um operador de interação $g$ (por exemplo, subtração ou multiplicação elemento a elemento) é aplicado às características de nós adjacentes para criar características de aresta.
Agregação de Papéis: Essas características de aresta são agregadas de volta aos nós, separadas por papel (cabeça/cauda para grafos direcionados), criando matrizes de resumo $\bar{X}^{(k)}_h$ e $\bar{X}^{(k)}_t$ . Essas matrizes caracterizam como os valores das características se instanciam através de vizinhanças locais.
Construção da Matriz de Gram: O alinhamento entre as dimensões de características é capturado pelo cálculo de matrizes de Gram (produtos internos) desses vetores de resumo: $\bar{A}^{(k)} = (\bar{X}^{(k)})^\top \bar{X}^{(k)}$ .
O SIG: As matrizes resultantes $\bar{A}^{(k)}$ $\overset{ˉ}{A}^{(k)}$ formam um Grafo de Interação Estrutural $G_{struct}$ $G_{s t r u c t}$ . Neste grafo:
- Nós são as dimensões de características de entrada $[d]$ .
- Arestas são ponderadas e tipadas, codificando como pares de características se alinham através de diferentes ordens de conectividade.
- Para grafos direcionados, a construção produz quatro fatias por ordem (cabeça-cabeça, cauda-cauda, cabeça-cauda, cauda-cabeça), capturando interações direcionais.

2.2 Aprendendo Representações via Passagem de Mensagem Relacional

Uma vez construído o SIG, uma Rede de Passagem de Mensagem Relacional (RMPNN) opera sobre ele:

Embedding: A RMPNN incorpora cada dimensão de característica $f \in [d]$ em um espaço oculto de tamanho fixo $d_h$ .
Transformação: As representações de características aprendidas $\Theta^{(T)} \in \mathbb{R}^{d \times d_h}$ são usadas para transformar as características originais de nós de qualquer grafo em uma representação unificada: $H = X \Theta^{(T)}$ .
Propriedade Indutiva: Como os parâmetros da RMPNN atuam apenas na largura oculta fixa $d_h$ e nunca na dimensão de entrada $d$ , um único modelo Sigil treinado pode processar grafos com dimensionalidades de características arbitrárias.

2.3 Tarefas de Jusante (Downstream)

Predição de Link: As representações de nós unificadas são alimentadas em GNNs expressivas de predição de link (ex: NBFNet) para realizar inferência zero-shot.
Classificação de Nós: As representações unificadas servem como entradas para um decodificador de jusante (ex: um MLP leve ou solução analítica de forma fechada) para prever rótulos.

3. Contribuições Principais e Propriedades Teóricas

3.1 Generalização Estrita de KGFMs

O artigo prova que o Sigil é uma generalização estrita dos KGFMs existentes (como o ULTRA).

Teorema 1: Quando as características de entrada são indicadores one-hot de relações discretas, a construção do SIG recupera exatamente o grafo de relação usado pelos KGFMs.
Extensão: Ao contrário dos KGFMs, o Sigil aceita características contínuas. As matrizes de Gram tornam-se matrizes de alinhamento de características contínuas em vez de contagens de coocorrência inteiras. Além disso, a propagação de múltiplas ordens do Sigil codifica interações de ordem superior entre características que os KGFMs (limitados a motivos de um único salto) perdem.

3.2 Simetria e Equivariância

O Sigil satisfaz as simetrias necessárias para a generalização totalmente indutiva:

Equivariância à Permutação de Nós: As representações de nós de saída são equivariantes a permutações dos nós de entrada.
Invariância à Permutação de Características: A representação unificada é invariante à ordenação ou identidade das dimensões de características de entrada. Isso permite que o modelo leia grafos com espaços de características que ele nunca viu.
Equivariância à Permutação de Rótulos: Quando pareado com um decodificador equivariante, o modelo respeita as permutações de rótulos.

4. Resultados Experimentais

Os autores avaliam o Sigil em três regimes, usando um único modelo pré-treinado no conjunto de dados Cora (para predição de link e classificação de nós) ou uma mistura de grafos de conhecimento (para raciocínio de KG).

4.1 Predição de Link (Características Contínuas)

Avaliado em 11 benchmarks (7 atribuídos, 4 não atribuídos).

Grafos Atribuídos: O Sigil-lp é o método totalmente indutivo mais forte em todos os datasets, superando as linhas de base como UniLP e TFMLinker. Notavelmente, supera significativamente o UniLP em datasets como CiteSeer e AmazonPhotos, demonstrando que aproveitar os espaços de características via SIG é superior a descartá-los.
Grafos Não Atribuídos: O Sigil-lp permanece competitivo, ocupando o segundo lugar entre os métodos totalmente indutivos e mostrando alta estabilidade.
Eficiência: O Sigil-lp completa a inferência em minutos, enquanto baselines de contexto (in-context) como o UniLP excedem orçamentos de 24 horas.

4.2 Raciocínio de Grafos de Conhecimento

Avaliado no benchmark ULTRA (configurações indutivas com entidades e relações não vistas).

Reprodução: O Sigil(0) (SIG de ordem 0) reproduz o desempenho do ULTRA dentro de uma pequena margem (ex: igualando o MRR exatamente nos grafos de pré-treino).
Expressividade: SIGs de ordem superior (Sigil(1), Sigil(2)) mostram desempenho variável dependendo do dataset, sugerindo que, embora as interações de ordem superior adicionem expressividade, elas não melhoram uniformemente o desempenho em todas as tarefas.

4.3 Classificação de Nós

Avaliado em 26 benchmarks com variadas dimensões de características e contagens de classes.

Desempenho: O Sigil-nc é competitivo, ocupando o primeiro ou segundo lugar em 10 de 26 datasets. Ele fica atrás de modelos especializados como RGVT e TAG (que são otimizados para tarefas específicas), mas supera o GraphAny e o TS-MEAN.
Análise: Os autores atribuem a lacuna de desempenho ao "custo da unificação": comprimir espaços de características arbitrários em uma dimensão fixa $d_h$ torna as coordenadas originais inacessíveis ao decodificador, exigindo mais supervisão. No entanto, os resultados confirmam que aprender em SIGs é uma abordagem válida para modelos de fundação de classificação de nós.

5. Significância e Alegações

O artigo afirma que o Sigil unifica vários regimes anteriormente separados no design de modelos de fundação de grafos:

Unificação: Ele preenche a lacuna entre os GFMs de classificação de nós (que lidam com características arbitrárias) e os KGFMs (que lidam com raciocínio relacional), fornecendo um único mecanismo para ambos.
Transferibilidade: Demonstra que um único modelo, treinado em um grafo, pode entregar um forte desempenho zero-shot em grafos com espaços de características e estruturas inteiramente diferentes.
Generalização: Ao formalizar o grafo de relação como uma instância discreta de um Grafo de Interação Estrutural, o trabalho fornece uma base teórica para estender o raciocínio relacional para espaços de entrada contínuos.

Os autores concluem que a transferibilidade, o raciocínio relacional e as tarefas ao nível de aresta podem surgir de um único mecanismo (construção do SIG e passagem de mensagem) em vez de exigir designs separados para diferentes tipos de grafos. Sugere-se como trabalho futuro o refinamento de arquiteturas para aprender em SIGs e o estudo de seu poder expressivo.