Resumo Técnico: Generalizando Modelos de Fundação de Grafos via Geração Aumentada por Recuperação Hiperbólica

1. Declaração do Problema

Os Modelos de Fundação de Grafos (GFMs) estabeleceram-se como um paradigma dominante para o aprendizado de representação de grafos, alcançando uma forte generalização em diversas tarefas por meio de pré-treinamento em larga escala. No entanto, seu desempenho é inerentemente limitado pela distribuição de seus dados de pré-treinamento. Ao enfrentar mudanças de distribuição durante a inferência, o conhecimento parametrizado dentro desses modelos frequentemente falha em generalizar, levando a um desempenho degradado e não confiável.

Para abordar isso, a Geração Aumentada por Recuperação (RAG) foi introduzida para permitir que os GFMs acessem conhecimento externo dinamicamente no momento da inferência sem necessidade de retreinamento. Os frameworks de RAG existentes para grafos, contudo, operam primariamente no espaço Euclidiano. Os autores identificam uma limitação geométrica fundamental nesta abordagem: o crescimento de volume polinomial do espaço Euclidiano é incompatível com o crescimento exponencial de bases de conhecimento externas estruturadas em árvore. Esse descompasso geomético leva a dois problemas críticos:

1. Perda de Granularidade Semântica: Espaços Euclidianos lutam para distinguir entre conceitos de granularidade grossa (globais) e fina (locais). Conceitos em diferentes profundidades hierárquicas são comprimidos em regiões próximas, fazendo com que o modelo os trate como igualmente informativos e borre os papéis semânticos.
2. Emergência de Hubness (Centralidade): Devido à capacidade representacional limitada, muitas entidades são forçadas para uma pequena região do espaço de incorporação (embedding). Isso resulta em "hubness", onde certas entidades aparecem frequentemente nos conjuntos de vizinhos mais próximos de diversas consultas, reduzindo a diversidade de recuperação e a especificidade da consulta.

2. Metodologia: Framework HyRAG

Os autores propõem o HyRAG (Hyperbolic Retrieval-Augmented Generation), um framework projetado para melhorar a generalização de GFMs aproveitando as propriedades geométricas do espaço hiperbólico. O HyRAG consiste em três módulos principais:

2.1 Indexação de Conhecimento Hiperbólico (HKI)

Este módulo constrói um espaço de representação consciente da hierarquia para a base de conhecimento externa.

• Projeção Hiperbólica: As características semânticas de entidades e relações são primeiro codificadas no espaço Euclidiano (ex: via SBERT) e então mapeadas para um modelo de bola de Poincaré ($B^d$) usando uma rede de mapeamento aprendível e o mapa exponencial.
• Otimização Consciente da Hierarquia: O modelo é treinado usando um objetivo conjunto para preservar tanto a semântica relacional quanto a implicação hierárquica.
  • Perda de Distância (Distance Loss): Garante que as representações condicionadas à relação sejam geometricamente consistentes com as entidades de cauda (tail entities). Para relações hierárquicas, emprega uma estratégia de rotação sob restrições de cone de implicação hiperbólica.
  • Perda de Ângulo (Angle Loss): Impõe que o cone de implicação de uma entidade de cauda esteja geometricamente contido no de sua entidade de cabeça (head entity), preservando a ordenação parcial.
  • Regularização: Uma penalidade é aplicada a incorporações cujas normas radiais excedem um limite para evitar o desvio em direção à fronteira da bola de Poincaré, garantindo uma representação hierárquica estável.

2.2 Recuperação de Multigranularidade (MR)

Para abordar a perda de granularidade semântica, o HyRAG recupera conhecimento em dois níveis distintos:

• Reformulação de Consulta: Um Modelo de Linguagem Grande (LLM) reformula o atributo textual do nó de consulta em uma consulta de granularidade grossa (resumindo o tema central) e uma consulta de granularidade fina (capturando detalhes específicos).
• Recuperação de Granularidade Grossa: Recupera os top-$k$ entidades baseando-se na distância hiperbólica. Para garantir diversidade e evitar redundância, o critério de Relevância Máxima Marginal (MMR) é aplicado para selecionar entidades vizinhas, equilibrando a relevância com a consulta e a dissimilaridade com os vizinhos já selecionados.
• Recuperação de Granularidade Fina: Recupera os top-$k$ entidades baseando-se na distância hiperbólica. A expansão de vizinhança aqui foca na especificidade. Candidatos são filtrados usando um score de violação angular derivado de cones de implicação hiperbólica, garantindo que os vizinhos selecionados sejam hipônimos (subconceitos) válidos da entidade recuperada.
• Construção de Grafo: Ambos os processos de recuperação geram conjuntos de grafos (grossos e finos), que são resumidos em representações compactas de nível de grafo via agregação de vizinhança guiada pela consulta.

2.3 Fusão de Caminho Duplo (DF)

Este módulo integra o conhecimento recuperado no GFM tanto em níveis de característica quanto estruturais:

• Fusão ao Nível de Característica: A representação inicial do nó de consulta é aumentada pela agregação das representações de conhecimento de granularidade grossa e fina. Pesos são computados com base na distância hiperbólica entre a consulta e as entidades centrais dos grafos recuperados.
• Fusão ao Nível de Estrutura: Para evitar a introdução direta de arestas heterogêneas no ego-grafo da consulta, dois grafos auxiliares (grafos de atributos de granularidade grossa e fina) são construídos. O codificador do GFM processa independentemente o ego-grafo e esses grafos auxiliares para produzir logits de predição.
• Injeção com Portão de Incerteza (Uncertainty-Gated Injection): As predições dos grafos auxiliares são fundidas em uma predição de conhecimento unificada, ponderadas pela inversa da entropia (confiança) de cada fonte. Esta predição unificada é então injetada na predição original do GFM, controlada por um portão (gate) baseado na entropia da predição original. Se a predição original for incerta (alta entropia), o modelo depende mais fortemente do conhecimento recuperado; se for confiante, preserva a predição original.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

1. Identificação de Limitações: Os autores identificam e analisam duas limitações inerentes aos paradigmas de RAG baseados em Euclides para grafos: a perda de granularidade semântica e a emergência de hubness devido ao descompasso geométrico.
2. Framework HyRAG: Eles propõem o HyRAG, o primeiro framework de RAG hiperbólico adaptado para modelos de fundação de grafos. Ele fornece um redesenho do pipeline de RAG consciente da geometria, abrangendo indexação de conhecimento, recuperação de multigranularidade e fusão de caminho duplo.
3. Validação Empírica: Experimentos extensos em múltiplos benchmarks de grafos demonstram que o HyRAG melhora consistentemente o desempenho de inferência zero-shot de GFMs sem exigir ajuste fino específico para a tarefa.

4. Resultados Experimentais

Os autores avaliaram o HyRAG utilizando o GraphCLIP como GFM de base através de sete conjuntos de dados abrangendo domínios acadêmicos, de e-commerce, Wikipedia e sociais (ex: Cora, CiteSeer, WikiCS, Instagram).

• Classificação de Nós: No cenário zero-shot, o HyRAG alcançou o melhor desempenho em todos os conjuntos de dados, gerando uma melhoria média de 2,02% sobre os métodos auto-supervisionados e modelos de fundação de grafos de última geração. Comparado especificamente ao método de RAG baseado em Euclides (RAGRAPH), o HyRAG mostrou uma melhoria média de 0,82%.
• Predição de Links: Experimentos na tarefa de predição de links usando o AnyGraph como backbone mostraram melhorias consistentes, com ganhos notáveis de 1,08% na Cora e 1,41% na CiteSeer.
• Estudos de Ablação:
  • Substituir a Indexação de Conhecimento Hiperbólica por um índice Euclidiano padrão resultou na maior queda de desempenho (declínio médio de 1,99%), validando a necessidade da geometria hiperbólica.
  • Remover qualquer um dos componentes de recuperação (grossa ou fina) levou a uma degradação significativa do desempenho, confirmando o valor sinérgico da recuperação de multigranularidade.
  • A fusão ao nível de característica foi identificada como o principal motor de generalização, enquanto a fusão ao nível de estrutura forneceu benefícios complementares.

5. Significância e Alegações

O artigo posiciona o HyRAG como uma solução para o gargalo de generalização dos GFMs causado por mudanças de distribuição. Ao alinhar as propriedades geométricas do espaço de recuperação (hiperbólico) com a natureza estrutural do conhecimento externo (hierarquias em árvore), o framework mitiga efetivamente a perda de granularidade semântica e o hubness. Os autores afirmam que o HyRAG permite que os GFMs aproveitem âncoras semânticas globais e nuances semânticas locais de forma eficaz, oferecendo uma direção promissora para a construção de modelos de fundação de grafos robustos e generalizáveis que não dependem de retreinamento extensivo para novos domínios.