Resumo Técnico: LG-Plug para Detecção de OOD em Grafos Atribuídos a Texto

Definição do Problema

O artigo aborda o desafio da detecção de Out-of-Distribution (OOD) em Grafos Atribuídos a Texto (TAGs). Os TAGs consistem em nós associados tanto à estrutura do grafo (arestas) quanto a descrições textuais. Embora as Redes Neurais de Grafos (GNNs) modelem efetivamente dados in-distribution (ID) ao aprenderem conjuntamente informações semânticas e estruturais, elas frequentemente falham em nós OOD — aqueles com padrões textuais ou configurações estruturais não vistos — produzindo previsões excessivamente confiantes, porém incorretas.

As soluções existentes enfrentam duas limitações primárias:

1. Métodos baseados em topologia: Dependem de vizinhos estruturais para detectar nós OOD, mas tipicamente tratam os textos dos nós como características superficiais (ex: bag-of-words), falhando em alavancar o conhecimento semântico profundo.
2. Métodos baseados em LLM: Abordagens recentes utilizam Grandes Modelos de Linguagem (LLMs) para sintetizar priors de pseudo OOD. No entanto, elas sofrem de um desequilíbrio entre confiabilidade e informatividade:
   • Métodos orientados à confiabilidade (prompting com rótulos ID) geram amostras OOD que são seguras em relação à sobreposição de ID, mas são frequentemente semânticamente irreais.
   • Métodos orientados à informatividade (amostragem de nós não rotulados) geram semânticas realistas, mas correm o risco de rotular incorretamente nós ID verdadeiros como OOD, introduzindo ruído.
   • Além disso, esses métodos frequentemente exigem arquiteturas especializadas de ponta a ponta, limitando sua compatibilidade com detectores de topologia estabelecidos.

Os autores propõem duas questões de pesquisa: Como gerar priors de OOD que sejam simultaneamente confiáveis e informativos? Como utilizar esses priors mantendo a compatibilidade com detectores baseados em topologia existentes?

Metodologia: LG-Plug

Os autores propõem o LG-Plug (LLM-Guided Plug-and-play), um framework projetado para aumentar detectores de OOD baseados em topologia existentes com priors semânticos derivados de LLM sem modificar suas arquiteturas subjacentes. O framework consiste em três estágios principais:

1. Alinhamento de Representação Topologia-Texto

Para obter embeddings de nós refinados que distingam nós ID e OOD, o LG-Plug alinha representações de grafo e texto:

• Encoders: Uma GCN de 2 camadas codifica a estrutura do grafo, enquanto um encoder baseado em Transformer processa os textos brutos dos nós.
• Objetivos de Alinhamento:
  • Alinhamento ao nível do nó: Utiliza uma perda contrastiva simétrica para alinhar o embedding do grafo ($Z$) e o embedding de texto ($H$) para cada nó.
  • Alinhamento ao nível da aresta: Minimiza a discrepância entre a matriz de similaridade topológica (derivada de $Z$) e a matriz de similaridade textual (derivada de $H$) para nós conectados.
• Objetivo: Este treinamento conjunto produz embeddings onde os nós ID e OOD são inicialmente separáveis com base em pistas semânticas e estruturais.

2. Exposição de OOD Baseada em Consenso com LLM

Em vez de consultar o LLM para nós individuais (o que é ruidoso e custoso), o LG-Plug gera a exposição de OOD ao nível de cluster:

• Clustering: Nós não rotulados são agrupados no espaço de embedding alinhado.
• Seleção de Representantes: Para cada cluster, um pequeno conjunto de nós mais próximos do centroide é selecionado para garantir coerência semântica.
• Prompting Iterativo & Codebook:
  • Um codebook de categorias leve é inicializado com classes ID conhecidas.
  • O LLM é consultado sequencialmente em lotes de nós representativos dentro de um cluster. O prompt solicita ao LLM que atribua um nó a uma categoria existente ou crie uma nova categoria OOD.
  • O codebook é atualizado dinamicamente com base nas atribuições do LLM.
• Filtragem por Consenso: O processo se repete até que um lote alcance consenso semântico (todos atribuídos à mesma categoria) ou um limite de tentativas seja atingido.
• Seleção de Exposição de OOD: As top-$K$ categorias do codebook são selecionadas. Se essas categorias contiverem nenhuma classe ID, os nós atribuídos a elas são adicionados ao conjunto de exposição de OOD ($V_{exp}$). Isso garante que os priors de OOD gerados sejam confiáveis (sem sobreposição de ID) e informativos (baseados no consenso do cluster).
• Eficiência: Ao usar amostragem de cluster e um codebook, o método reduz significativamente os custos de consulta ao LLM em comparação com o prompting de nível de nó exaustivo.

3. Regularização de Score

O conjunto de exposição de OOD gerado ($V_{exp}$) é usado como um termo de regularização para aprimorar detectores existentes:

• Uma perda baseada em margem ($L_{reg}$) é aplicada ao score de Oidade do detector.
• Ela impõe uma margem de separação: nós ID devem ter scores de OOD baixos, enquanto nós em $V_{exp}$ devem ter scores de OOD altos.
• Isso permite que o LG-Plug seja integrado perfeitamente como um "plug-in" em qualquer detector baseado em topologia (ex: GNNSafe, GRASP) sem mudanças arquiteturais.

Principais Contribuições

1. Insights: O artigo identifica o trade-off entre confiabilidade e informatividade na geração de OOD via LLM atual e a incompatibilidade desses métodos com abordagens baseadas em topologia.
2. Método Inovador (LG-Plug): Um framework plug-and-play que utiliza alinhamento topologia-texto e prompting de LLM baseado em consenso para gerar priors de OOD de alta qualidade.
3. Desempenho: O método alcança resultados de estado da arte ao melhorar detectores existentes mantendo a eficiência.

Resultados Experimentais

Os autores avaliaram o LG-Plug em seis benchmarks de TAG (Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv) usando FPR95 (Taxa de Falso Positivo em 95% de Taxa de Verdadeiro Positivo) e AUROC.

• Melhoria sobre Métodos Baseados em Topologia: Integrar o LG-Plug com baselines baseados em topologia (GNNSafe, GRASP) reduziu consistentemente o FPR95 em $\ge$ 7% em comparação com os baselines sozinhos.
• Comparação com Métodos Baseados em LLM: Detectores integrados com LG-Plug superaram métodos de OOD baseados em LLM isolados (LLMGuard, GLIP-OOD, GOE-LLM) em $\ge$ 5% na redução de FPR95.
• Estudos de Ablação: Remover o alinhamento de representação ou o mecanismo de filtragem intra-cluster resultou em quedas significativas de desempenho, confirmando a necessidade de ambos os componentes.
• Eficiência: O LG-Plug demonstrou eficiência superior, exigindo significativamente menos tokens de LLM e menos tempo (70s em Cora vs. 295s–5400s para os baselines) devido à sua estratégia de amostragem baseada em clusters.
• Análise Qualitativa: Visualizações de nuvem de palavras dos termos de exposição de OOD gerados mostraram que o LG-Plug capturou semânticas de OOD distintas e de alta frequência (ex: "evolucionário", "teórico") com sobreposição mínima com categorias ID, enquanto os baselines exibiram desvios semânticos ou ruído de ID.

Significância e Alegações

O artigo afirma que tanto a topologia quanto o texto importam para uma detecção de OOD eficaz em TAGs. Argumenta-se que, embora a topologia forneça contexto estrutural, a compreensão semântica profunda é crucial para distinguir nós OOD. O LG-Plug preenche a lacuna entre abordagens baseadas em topologia e baseadas em LLM ao:

• Utilizar LLMs para gerar priors de OOD confiáveis e informativos através de clustering baseado em consenso, evitando as armadilças da rotulação de nós individuais.
• Manter a compatibilidade com o ecossistema de detectores baseados em topologia, permitindo que eles se beneficiem da supervisão semântica sem o retreinamento de toda a arquitetura.
• Oferecer uma solução computacionalmente eficiente que desacopla os custos de consulta ao LLM do tamanho do grafo.

Os autores concluem que o LG-Plug representa um passo robusto para tornar as GNNs mais seguras para implantação no mundo real, onde mudanças de distribuição são comuns, particularmente em domínios críticos de segurança, como inteligência de ameaças e pesquisa biomédica.