From "Strings" to "Things" for Personal Knowledge Graphs: Evaluating LLM Triple Extraction for Recommendation Systems

Resumo Técnico: De "Strings" para "Things" para Grafos de Conhecimento Pessoais

Declaração do Problema
Os Grafos de Conhecimento Pessoais (PKGs) oferecem uma estrutura preservadora de privacidade para modelar preferências do usuário, mas a construção deles a partir de dados conversacionais não estruturados e descentralizados continua sendo um desafio significativo. Sistemas de recomendação tradicionais, que dependem de relações estruturadas usuário-item, frequentemente dependem de rastros de interação registrados centralmente, os quais são frequentemente indisponíveis devido a preocupações com privacidade ou restrições de infraestrutura. Embora os Grandes Modelos de Linguagem (LLMs) se destaquem na extração de conhecimento de domínio aberto, sua capacidade de construir PKGs diretamente de interações conversacionais — preenchendo a lacuna entre "strings" não estruturadas e "things" semânticas — é subexplorada. Além disso, abordagens existentes frequentemente enfrentam dificuldades com a ineficiência de processar o histórico conversacional bruto no dispositivo e com a dificuldade de fundir resumos não estruturados sem redundância.

Metodologia
Os autores propõem um pipeline reproduzível para extrair triplas estruturadas de preferências do usuário de diálogos em linguagem natural para construir PKGs. A metodologia envolve os seguintes componentes:

• Arquitetura do Pipeline: O sistema recebe como entrada diálogos de múltiplas voltas entre um usuário e um agente. Um LLM processa a conversa para extrair triplas (Usuário, Relação, Item). Essas triplas são normalizadas, alinhadas a identificadores de grafos de conhecimento externos (especificamente IRIs da Wikidata) e integradas a um PKG.
• Esquema Semântico: O pipeline utiliza uma Ontologia de Preferência de Filmes do Usuário explícita, fundamentada em RDF. Ela define dois tipos principais de entidade (pkg:User e pkg:Movie) e cinco propriedades de objeto (pkg:likes, pkg:dislikes, pkg:hasSeen, pkg:hasNotSeen, pkg:wasSuggested). As entidades são vinculadas a IRIs estáveis e dereferenciáveis para garantir interoperabilidade global.
• Dataset: A avaliação utiliza o dataset de Diálogos de Recomendação (ReDial), que contém mais de 11.000 conversas humano-humano sobre recomendações de filmes. O dataset fornece anotações de metadados estruturados (verdade fundamental/ground truth) descrevendo as preferências do usuário, permitindo uma comparação principista entre dados anotados por humanos e estruturas extraídas por LLM.
• Configuração Experimental: O estudo avalia LLMs de pesos abertos das famílias Qwen3 e Gemma-3 através de vários tamanhos de parâmetros (variando de 0.6B a 12B) e regimes de prompting (0-shot a 10-shot). As triplas extraídas são usadas para aumentar o dataset original, substituindo as anotações de verdade fundamental para criar um ambiente controlado para testar a utilidade downstream.
• Métricas de Avaliação:
  • Upstream: Métricas padrão de extração de informação (Precisão, Recall, F1-score) são calculadas comparando as triplas extraídas com as anotações de verdade fundamental.
  • Downstream: A utilidade dos PKGs extraídos é avaliada usando o sistema de recomendação FedTREK-LM. Os modelos são treinados em datasets aumentados com triplas extraídas por LLM e avaliados em um conjunto de teste separado para medir o desempenho de recomendação (F1-score) em relação aos modelos treinados nos dados originais de verdade fundamental.

Principais Contribuições

1. Desenvolvimento de Pipeline: Um pipeline de construção de PKG baseado em prompt que converte diálogos de recomendação conversacional em PKGs estruturados compatíveis com RDF usando um esquema semântico explícito com IRIs.
2. Avaliação Sistemática: A primeira avaliação em larga escala da extraibilidade de PKG conversacional, comparando LLMs de pesos abertos (variantes Qwen3 e Gemma-3) com as anotações estruturadas do dataset ReDial.
3. Análise de Utilidade Downstream: Uma análise demonstrando como a fidelidade da extração influencia o desempenho da recomendação, mostrando que os PKGs derivados de LLM podem servir como base para serviços personalizados descentralizados e preservadores de privacidade.

Resultos

• Desempenho de Extração: A família Gemma-3 Instruct geralmente superou os modelos Qwen3. O melhor modelo para extração foi o Gemma-12B Instruct. O desempenho geralmente escalou com o tamanho do modelo e com o número de shots até certo ponto, mas uma queda significativa no desempenho foi observada na configuração de 10-shot, sugerindo overfitting de padrões de prompt.
• Especificidade de Relação: A relação "liked" (gostou) gerou os maiores F1-scores em todos os modelos, pois o sentimento de preferência é frequentemente expresso explicitamente. A relação "seen" (viu) foi moderadamente bem-sucedida, enquanto "suggested" (sugerido) provou ser a mais difícil, exigindo memória conversacional de longo alcance.
• Impacto Downstream:
  • Houve uma resiliência notável no desempenho downstream em relação aos scores de extração upstream para modelos menores. Por exemplo, o modelo Qwen3-0.6B manteve mais de 75% de seu desempenho baseline de verdade fundamental em tarefas downstream, apesar de um baixo F1-score de extração upstream (0.3577).
  • Modelos maiores (ex: Qwen3-8B) experimentaram um "colapso" no desempenho downstream quando treinados em dados aumentados de suas próprias extrações. Isso foi atribuído à base contextual esparsa e fraca fornecida por sua má extração upstream (especificamente o baixo recall), que criou um gargalo em suas capacidades inerentes de raciocínio.
  • Observação de Escalonamento Inverso: Em uma avaliação cruzada de modelos usando o modelo downstream Qwen3-0.6B, as triplas extraídas pelo menor modelo (Gemma-1B) renderam o maior F1-score downstream (0.184), superando as extrações dos modelos maiores Gemma-4B e Gemma-12B. Os autores atribuem isso ao perfil mais equilibrado do modelo 1B, que captura um recall mais alto para relações críticas de "Liked" e melhor consistência no fluxo conversacional, fornecendo uma base mais rica para o aprendizado do que um grafo de alta precisão, porém esparso.

Significância e Alegações
O artigo afirma validar um pipeline reproduzível para construir PKGs diretamente de diálogos, oferecendo uma alternativa escalável às abordagens tradicionais que dependem de logs explícitos e centralizados. A significância central reside em demonstrar que:

1. A Construção Descentralizada é Viável: Sinais de preferência robustos podem ser extraídos usando LLMs leves de pesos abertos, tornando a construção de PKG on-device e preservadora de privacidade viável sem modelos massivos e computacionalmente caros.
2. Qualidade de Extração vs. Utilidade Downstream: Existe uma relação complexa entre a fidelidade da extração e a utilidade downstream. Extrações de alta precisão, mas baixo recall, de modelos maiores podem ser prejudiciais para tarefas downstream, enquanto extrações equilibradas e orientadas ao recall de modelos menores podem fornecer uma base mais eficaz para o aprendizado.
3. Fundação para IA Adaptativa: O trabalho fornece uma lente diagnóstica sobre as capacidades atuais dos LLMs em extrair conhecimento específico do usuário, um passo crítico para uma IA conversacional adaptativa e fundamentada em personalização estruturada. Ele destaca o potencial dos PKGs para suportar geração aumentada de recuperação (RAG) e adaptação dinâmica via edição de conhecimento, abordando desafios como o problema do "cold-start" em serviços personalizados.