Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs

Resumo Técnico: RALP – Aprendizado de Prompts de Cadeia de Pensamento para Grafos de Conhecimento

1. O Problema

Os modelos tradicionais de Embedding de Grafos de Conhecimento (KGE) representam entidades e relações como vetores contínuos densos. Embora eficazes para a previsão de links em cenários transdutivos (onde todas as entidades são vistas durante o treinamento), eles apresentam limitações críticas:

• Generalização Zero-Shot: Falham ao lidar com entidades, relações ou literais (valores numéricos, texto descritivo) que não foram vistos durante o treinamento.
• Raciocínio sobre Literais: Têm dificuldade em inferir ou prever valores literais (ex: PIB, população, idade) sem camadas de regressão adicionais ou binarização.
• Dependência de Gradientes: Requerem treinamento intensivo via descida de gradiente estocástica, o que limita a adaptabilidade dinâmica.

O artigo propõe reformular a previsão de links não como um problema de otimização de vetores, mas como um problema de aprendizado de prompts para Grandes Modelos de Linguagem (LLMs).

2. Metodologia: RALP

Os autores introduzem o RALP (Reasoning-Augmented Link Prediction), uma abordagem que substitui a função de pontuação parametrizada por vetores ($\phi_\Theta$) por uma função de pontuação parametrizada por strings ($\phi_{\beta \leq c}$), onde $\beta$ é um prompt de Cadeia de Pensamento (CoT).

Componentes Principais:

• Função de Pontuação Baseada em Strings: Em vez de calcular a similaridade entre vetores, o modelo usa um LLM para avaliar a plausibilidade de uma tripla $(h, r, t)$ com base em um prompt de texto.
• Otimização de Prompt (MIPRO): Para encontrar o prompt ideal sem acesso aos gradientes do LLM, o RALP utiliza o algoritmo MIPRO (Maximum Likelihood Prompt Optimization), que emprega Otimização Bayesiana.
  • O processo é iterativo: o algoritmo seleciona candidatos de prompts, avalia seu desempenho em um conjunto de validação (usando métricas como MRR ou perda de entropia cruzada) e atualiza a distribuição de probabilidade para explorar o espaço de busca de strings.
  • Requer apenas < 30 exemplos de treinamento para convergir para um prompt eficaz.
• Abordagens Propostas:
  1. RALP: Utiliza in-context learning com um prompt padrão e exemplos few-shot.
  2. RALP†: Utiliza o MIPRO para aprender um prompt otimizado especificamente para o grafo de conhecimento e a tarefa.
• Enriquecimento do Grafo (Algoritmo 1): O RALP pode ser usado para identificar triplas faltantes no grafo de treinamento. Ao consultar pares (sujeito, relação) existentes, o modelo prevê objetos com alta confiança que não estão no grafo, criando um conjunto de triplas "faltantes" para aumentar os dados de treinamento de modelos KGE tradicionais.

Casos de Uso Específicos:

• Previsão de Literais Numéricos: O modelo recupera contexto relevante (subconjuntos do grafo relacionados ao sujeito ou à relação) e usa o CoT para realizar raciocínio passo a passo (ex: dividir PIB total pela população), fornecendo uma previsão pontual e um intervalo de confiança.
• Raciocínio OWL: A tarefa é reformulada como a recuperação de instâncias para expressões de classe complexas (ex: $\exists hasChild.Female$), onde o LLM atua como um motor de inferência lógica.

3. Contribuições Chave

1. Mudança de Paradigma: Transição de funções de pontuação contínuas (vetoriais) para funções discretas baseadas em texto (prompts) para tarefas de KGE.
2. Generalização Unificada: Capacidade de prever entidades, relações e literais numéricos em um único framework, lidando nativamente com entidades não vistas (zero-shot).
3. Otimização sem Gradientes: Demonstração de que prompts de alta qualidade podem ser aprendidos via Otimização Bayesiana (MIPRO) com poucos exemplos, sem necessidade de fine-tuning do LLM.
4. Aumento de Dados: Um método para usar a capacidade preditiva do LLM para gerar dados sintéticos de alta qualidade que melhoram modelos KGE tradicionais.
5. Avaliação Abrangente: Testes em benchmarks transdutivos, previsão de literais numéricos e raciocínio sobre expressões lógicas complexas (OWL).

4. Resultados Experimentais

Os autores avaliaram o RALP em três cenários principais:

• Previsão de Links Transdutiva (Datasets Countries-S1, S2, S3):
  • O RALP† atingiu um MRR de 1.000 no dataset S1, superando todos os modelos KGE state-of-the-art (como DistMult, ComplEx, QuatE).
  • Ao ser usado como técnica de aumento de dados, o RALP melhorou significativamente o desempenho de modelos KGE existentes (ex: DistMult-RALP superou o DistMult puro em mais de 20% de MRR em alguns casos).
• Previsão de Literais Numéricos (Dataset LitWD1K):
  • O modelo alcançou alta precisão na previsão de valores (ex: PIB per capita, altura), com erros quadráticos médios (MSE) baixos.
  • Os intervalos de confiança gerados foram bem calibrados, com uma Taxa de Cobertura de Intervalo (ICR) > 75% para todas as propriedades testadas.
  • O raciocínio do CoT permitiu ao modelo explicar como chegou à conclusão (ex: usando dados de países vizinhos para estimar um valor).
• Recuperação de Instâncias OWL (Dataset Father):
  • O modelo alcançou > 88% de similaridade de Jaccard em tarefas de raciocínio com expressões de classe complexas.
  • Foi observado que o uso de sintaxe Manchester (mais legível por humanos) superou a sintaxe de Lógica de Descrição (DL) padrão, sugerindo que o alinhamento com a linguagem natural do LLM é crucial.

5. Significado e Conclusão

O trabalho demonstra que os LLMs, quando combinados com otimização automática de prompts, podem superar as limitações dos métodos baseados em embeddings para grafos de conhecimento dinâmicos e heterogêneos.

• Flexibilidade: A abordagem é agnóstica ao modelo e não requer re-treinamento massivo.
• Interpretabilidade: Ao contrário das "caixas pretas" vetoriais, o RALP fornece cadeias de pensamento explícitas que justificam as previsões.
• Futuro: O trabalho abre caminho para sistemas de IA que podem raciocinar sobre conhecimento estruturado e não estruturado simultaneamente, lidando com dados incompletos e literais complexos de forma nativa.

Limitações Notadas:

• Dependência de rótulos legíveis por humanos (IDs como QIDs reduzem a performance).
• Sensibilidade a outliers extremos no contexto numérico.
• Custos computacionais de inferência e limitações de tamanho de token para grafos muito grandes (requerendo estratégias de amostragem).

O código e os pipelines de treinamento/avaliação foram disponibilizados como open source, facilitando a reprodução e extensão da pesquisa.