KGPFN: Unlocking the Potential of Knowledge Graph Foundation Model via In-Context Learning

Resumo Técnico do KGPFN: Desbloqueando o Potencial de um Modelo Fundamental de Grafos de Conhecimento via Aprendizado em Contexto

1. Definição do Problema

O artigo aborda uma limitação crítica nos atuais modelos fundamentais de Grafos de Conhecimento (KG): embora se destaquem na aprendizagem de padrões relacionais transferíveis (universalidade), negligenciam em grande parte o aprendizado em contexto (ICL), o segundo pilar dos modelos fundamentais. Os modelos fundamentais de KG existentes frequentemente superaplicam padrões amplos e reutilizáveis e falham em adaptar as previsões a instâncias específicas de grafos sem ajuste fino.

Os autores argumentam que a inferência eficaz em KG requer condicionamento em dois tipos distintos de contexto, que são inerentemente estruturados e heterogêneos:

• Contexto Local: A vizinhança específica da consulta onde a inferência ocorre. O mesmo sinal estrutural (por exemplo, um padrão de "triângulo") pode produzir conclusões diferentes dependendo do subgrafo circundante (por exemplo, local de nascimento versus nacionalidade).
• Contexto Global: Evidência em nível de relação acumulada através de muitas instâncias, descrevendo como uma relação específica tipicamente se comporta ao longo do grafo (por exemplo, relações co-ocorrentes, frequência de caminhos e restrições em entidades válidas).

Os métodos atuais lutam para unificar esses sinais complementares para habilitar adaptação zero-shot ou few-shot a grafos não vistos sem retreinamento.

2. Metodologia: KGPFN

Os autores propõem o KGPFN, um modelo fundamental de KG que aproveita o paradigma de Prior-Data Fitted Network (PFN) para realizar aprendizado em contexto em dados estruturados de KG. O framework opera sem ajuste fino em grafos-alvo, confiando, em vez disso, em pré-treinamento e adaptação no momento da inferência.

Componentes Principais:

1. Construção de Contexto:

   • Contexto Global: Para uma relação de consulta $r$, o modelo recupera um conjunto de triplos positivos e negativos (instâncias) do grafo. Essas instâncias, juntamente com suas vizinhanças locais, formam um conjunto de suporte que captura regularidades em nível de relação.
   • Contexto Local: Em vez de extrair subgrafos completos para cada candidato (o que é computacionalmente caro), o modelo constrói uma vizinhança $k$-hop centrada na cabeça ao redor da entidade de cabeça da consulta. Isso escala eficientemente para grandes conjuntos de candidatos.

2. Codificador de Grafo Contextual:

   • Representações de Relação: Um mecanismo de passagem de mensagens em um grafo de relações (onde os nós são tipos de relação e as arestas representam interações) gera incorporações de relação condicionadas à consulta. Isso captura invariâncias relacionais entre grafos.
   • Codificação Local: Uma NBFNet (Rede de Propagação de Crença Neural) de múltiplas camadas codifica o subgrafo centrado na cabeça, produzindo vetores de contexto local multi-escala que agregam evidências de até $k$ hops.
   • Pontuação Consciente da Cauda: O modelo combina a representação da cabeça, a incorporação da relação e a representação da cauda (da última camada da NBFNet) usando características de interação (TransE, DistMult e similaridade de Cosseno) para formar uma representação de pontuação consciente da cauda.
   • Fusão: Características heterogêneas (contexto local, características de relação e características de interação) são alinhadas em um espaço latente compartilhado por meio de adaptadores leves e concatenadas.

3. Arquitetura PFN (Aprendizado em Contexto):

   • As representações fundidas da consulta e do conjunto de contexto global rotulado são alimentadas em um módulo PFN.
   • Atenção a Características: Refina dimensões de características dentro de cada amostra (contexto local).
   • Atenção a Amostras: Agrega evidências através dos exemplos de contexto (contexto global). Isso permite que a consulta recupere evidências específicas da relação a partir do conjunto de suporte rotulado.
   • Mecanismo: O PFN aproxima a previsão posterior bayesiana. Trata o conjunto de contexto como evidência observada para induzir uma distribuição preditiva para a consulta, aprendendo efetivamente quando instanciar padrões reutilizáveis e quando anulá-los com base em evidências contextuais.

4. Objetivo de Treinamento:

   • O modelo é treinado em diversos KGs usando uma combinação de perda de Entropia Cruzada Binária (BCE) (para separar positivos de negativos) e perda de Entropia Cruzada Softmax (para impor a classificação de positivos acima de negativos amostrados).
   • Amostragem negativa é utilizada, com negativos difíceis ponderados por meio de um mecanismo de temperatura adaptativa.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

• Construção de Duplo Contexto para KGs: Os autores introduzem uma estratégia que constrói explicitamente tanto contextos locais (vizinhança específica da consulta) quanto globais (regularidades em nível de relação), abordando a lacuna nos modelos fundamentais existentes que focam principalmente em padrões transferíveis.
• Aprendizado em Contexto Baseado em PFN: O KGPFN é o primeiro a aplicar o paradigma de Prior-Data Fitted Network a dados estruturados de KG. Ao combinar atenção em nível de características e em nível de amostra, permite adaptação no momento da inferência a grafos não vistos sem atualizações de parâmetros.
• Desempenho de Estado da Arte: Experimentos extensivos demonstram que o KGPFN alcança desempenho superior em configurações indutivas e totalmente indutivas, superando baselines competitivas ajustadas finamente usando apenas aprendizado em contexto.

4. Resultados Experimentais

O modelo foi avaliado em 57 benchmarks de KG em três configurações: Transdutiva, Indutiva (entidades não vistas) e Totalmente Indutiva (entidades e relações não vistas).

• Desempenho: O KGPFN alcançou a melhor Média de Reciprocidade de Rank (MRR) e Hits@10 médias em todos os 57 conjuntos de dados.
• Capacidade Indutiva: Na configuração mais desafiadora, totalmente indutiva, a vantagem do KGPFN foi mais pronunciada, superando consistentemente modelos como ULTRA, TRIX e MOTIF, mesmo quando esses modelos foram ajustados finamente nos conjuntos de dados-alvo.
• Sensibilidade ao Contexto: A análise mostrou que aumentar o número de instâncias negativas no contexto global melhorou significativamente o desempenho, enquanto o número de instâncias positivas teve menos impacto. Além disso, o uso de contexto local multi-hop (3-hop) foi crucial, pois vizinhanças de 1-hop ou 2-hop levaram à degradação do desempenho.
• Visualização: Mapas de atenção confirmaram que o modelo concentra corretamente a atenção em instâncias de contexto positivas para candidatos de cauda corretos e dispersa a atenção sobre instâncias negativas para candidatos incorretos.

5. Significado e Alegações

O artigo afirma que o KGPFN demonstra o poder da adaptação baseada em contexto para inferência em grafos de conhecimento. Ao unificar regularidades relacionais globais com sinais estruturais locais via o paradigma PFN, o modelo alcança forte generalização para grafos previamente não vistos.

Os autores enfatizam que sua abordagem permite que o modelo aprenda expressividade funcional — não apenas invariâncias estruturais. Teoricamente, o mecanismo de atenção PFN compõe funções de pontuação específicas da relação sob demanda, alinhando evidências estruturais locais com estatísticas de padrões ponderadas por rótulos inferidas a partir do conjunto de suporte em contexto. Isso permite que o modelo se adapte a relações não vistas sem ajuste fino, marcando um passo significativo em direção a modelos fundamentais de KG verdadeiramente gerais.

O trabalho é apresentado como um pré-impresso, com código disponibilizado à comunidade. Os autores notam limitações quanto à verificação de leis de escala devido a restrições de recursos computacionais.