Personalized Graph-Empowered Large Language Model for Proactive Information Access

Título: Modelo de Linguagem Grande (LLM) Potencializado por Grafos Personalizados para Acesso Proativo de Informações

1. Problema Abordado

O artigo aborda o desafio de ajudar os usuários a recordar experiências passadas e detalhes da vida que foram esquecidos ou mal lembrados. Com o acúmulo contínuo de "lifelogs" (registros de vida), os sistemas tradicionais de recuperação de memória enfrentam dificuldades:

• Escassez de Dados: A falta de grandes conjuntos de dados pessoais para treinamento de modelos de deep learning personalizados.
• Adaptabilidade: A dificuldade de modelos pré-treinados ou ajustados (fine-tuned) em se adaptar rapidamente a novos dados acumulados ao longo do tempo.
• Limitações de LLMs Puros: O uso direto de Grandes Modelos de Linguagem (LLMs) para tarefas de classificação de memória tende a gerar "alucinações" (inventar fatos) ou falhar na distinção precisa entre informações novas, consistentes ou esquecidas.

O objetivo é criar um sistema que detecte proativamente quando um usuário precisa de assistência para acessar informações pessoais (ex: lembrar um evento esquecido, corrigir uma inconsistência ou registrar um novo detalhe).

2. Metodologia: O Framework GER

Os autores propõem o Framework de Refinamento Potencializado por Grafos (Graph-Empowered Refinement - GER). Este framework integra LLMs com Grafos de Conhecimento Pessoais (Personal Knowledge Graphs - PKG) através de três módulos principais:

• Módulo Base (Predição Direta):

  • Utiliza um LLM para analisar a descrição do usuário (a "história alvo") e compará-la com a história de referência.
  • Estratégia de Binário: Em vez de classificar diretamente em 5 tipos de eventos, o modelo é instruído a prever se a informação é Relevante ou Irrelevante em relação à história de referência. Isso reduz a complexidade e melhora a precisão inicial.
  • Mapeamento: Consistente, Inconsistente e Não Esquecido são mapeados para "Relevante"; Adicional e Esquecido são mapeados para "Irrelevante".

• Módulo de Suporte (Predição com Suporte de Eventos):

  • O objetivo é identificar "eventos de suporte" na história de referência que corroboram ou contradizem a consulta do usuário.
  • Utiliza duas abordagens em conjunto (interseção):
    1. Classificador Baseado em Grafos: Extrai triplas (sujeito, predicado, objeto) do PKG e calcula similaridade coseno com a consulta.
    2. Classificador Baseado em LLM: Analisa a relação textual entre os eventos da referência e a consulta.
  • Apenas eventos identificados por ambos os classificadores são considerados "eventos de suporte" válidos, reduzindo ruídos.

• Módulo de Correção (Refinamento de Predição):

  • Refina a etiqueta final combinando as previsões do Módulo Base e do Módulo de Suporte.
  • Utiliza três estratégias de prompt:
    1. Consistência: Se ambos concordam, mantém a etiqueta.
    2. Reavaliação (Rethinking): Se o Módulo Base diz "Relevante" mas o Suporte diz "Irrelevente", o LLM é instruído a reconsiderar para evitar alucinações.
    3. Exploração: Se o Módulo Base diz "Irrelevente" mas o Suporte diz "Relevante", o LLM é guiado a explorar os eventos de suporte do grafo para encontrar detalhes perdidos.

• Mapeador de Etiquetas (Label Mapper):

  • Converte as etiquetas binárias finais (Relevante/Irrelevante) de volta para os 5 tipos de eventos originais (Consistente, Inconsistente, Adicional, Esquecido, Não Esquecido). Para distinguir entre Consistente e Inconsistente, um LLM adicional é ajustado (fine-tuned) para verificar contradições explícitas.

3. Contribuições Principais

1. Uso de LLMs para Detecção de Necessidade: Explora a aplicação de LLMs não apenas para gerar texto, mas para detectar ativamente a necessidade de acesso à informação pessoal.
2. Framework Híbrido (Texto + Estrutura): Propõe uma arquitetura que combina informações textuais (LLM) e estruturadas (Grafos de Conhecimento) para aumentar a confiabilidade e a precisão na detecção de eventos esquecidos ou inconsistentes.
3. Flexibilidade e Adaptabilidade: O framework permite a substituição de modelos base (ex: ChatGPT, Llama3, SEEN) e métodos de recuperação, permitindo melhorias contínuas sem necessidade de retreinamento massivo, adaptando-se rapidamente a novos lifelogs.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados NIR (contendo pares de histórias "antes" e "depois" de recontar eventos).

• Desempenho Geral: O framework GER superou ou foi comparável aos modelos state-of-the-art (como SEEN e LLMs puros) na detecção de eventos críticos para o serviço de memória: Esquecido (Forgotten), Inconsistente (Inconsistent) e Adicional (Additional).
• Métrica Chave: O GER alcançou um Recall de 0.8635 para eventos "Esquecidos" e 0.8338 para "Adicionais", superando o modelo SEEN (Large) e modelos LLM puros.
• Significância Estatística: O desempenho na detecção de eventos "Esquecidos" foi estatisticamente superior aos modelos de base (p < 0.05), demonstrando a eficácia do módulo de correção ao usar informações filtradas do grafo.
• Análise de Módulos:
  • O Módulo Base é o fator mais crítico para o desempenho geral.
  • O Módulo de Suporte é essencial para corrigir erros de alucinação do LLM, especialmente em casos onde informações foram esquecidas.
  • O Módulo de Correção melhora significativamente os resultados quando utiliza modelos com maior capacidade de raciocínio (ex: GPT-4o).

5. Significância e Conclusão

O trabalho demonstra que a integração de Grafos de Conhecimento Pessoais com LLMs é uma abordagem viável e superior para sistemas de acesso proativo à informação.

• Vantagem sobre Treinamento Tradicional: Diferente de modelos que exigem fine-tuning pesado, o GER é flexível e pode incorporar novos dados de vida do usuário instantaneamente, sem retreinamento.
• Redução de Alucinações: O uso do grafo como "âncora" de fatos reais mitiga a tendência dos LLMs de inventar detalhes.
• Aplicabilidade Prática: O sistema suporta cenários onde o usuário esquece eventos, confunde detalhes ou adiciona novas informações, oferecendo correções e lembretes precisos.

Como trabalho futuro, os autores planejam desenvolver um sistema end-to-end para uso diário e abordar questões de privacidade de dados ao construir e utilizar grafos de conhecimento pessoais.