Resumo Técnico: PersonalAI 2.0 (PAI-2)

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) possuem forte fluência generativa e compreensão contextual, mas enfrentam desafios fundamentais em domínios ricos em fatos, especificamente no que diz respeito à consistência do conhecimento, escalabilidade e fundamentação. Embora a integração de Grafos de Conhecimento (KGs) externos ofereça uma solução promissora para conectar raciocínio e factualidade, os frameworks existentes de Geração Aumentada por Recuperação de Grafos (GraphRAG) sofrem limitações significativas. Métodos tradicionais frequentemente dependem de ontologias estáticas, mecanismos de travessia ineficientes e recuperações em nível de nó que lutam com tarefas de raciocínio multi-hop. Esses sistemas carecem da adaptabilidade dinâmica necessária para modificar estratégias de busca com base em descobertas intermediárias, levando a uma precisão reduzida e a taxas aumentadas de alucinação em Perguntas e Respostas (QA) de domínio aberto.

Metodologia

O PersonalAI 2.0 (PAI-2) introduz um framework inovador que integra raciocínio impulsionado por LLMs com memória externa baseada em grafos para abordar essas limitações. O núcleo do PAI-2 é um pipeline de processamento de consultas dinâmico e multiestágio, projetado para otimizar a travessia de grafos e a resolução de consultas. Diferentemente de sistemas de recuperação estáticos, o PAI-2 emprega um mecanismo de busca iterativo e adaptativo guiado por entidades extraídas e consultas-pista geradas.

O pipeline de QA consiste em treze estágios, muitos dos quais podem ser executados em paralelo:

1. Pré-processamento da Pergunta: A consulta em linguagem natural do usuário é desruidada, aprimorada (corrigida gramaticalmente e reescrita com terminologia precisa) e decomposta em subperguntas independentes, se necessário.
2. Planejamento de Busca: Para cada subpergunta, um plano de busca inicial é gerado como uma sequência de etapas de busca em linguagem natural.
3. Extração e Correspondência de Entidades: Entidades nomeadas são extraídas da etapa de busca atual e correspondidas a vértices de objeto relevantes no grafo de memória usando uma combinação de modelos de recuperação densos e esparsos (por exemplo, BM25, modelos de torre dupla).
4. Geração de Consultas-Pista: Com base na combinação linear de vértices de objeto correspondidos e na etapa de busca, o sistema gera "consultas-pista" específicas para guiar a travessia.
5. Travessia e Filtragem de Grafos: O sistema realiza travessias independentes de grafos (usando algoritmos como BeamSearch e WaterCircles) começando a partir dos vértices correspondidos. Os triplets recuperados são filtrados por pontuações de relevância em relação à etapa de busca atual.
6. Refinamento Iterativo: As informações coletadas a partir das consultas-pista são resumidas. O sistema então avalia se conhecimento suficiente foi reunido para responder à subpergunta. Se não, o plano de busca é dinamicamente aprimorado (modificado) com base nas informações recém-descobertas, e o processo se repete. Este loop continua até que uma resposta seja gerada ou um limite máximo de exploração seja atingido.
7. Agregação de Respostas: Sub-respostas para todas as perguntas decompostas são agregadas em uma resposta final.

O próprio grafo de memória armazena conhecimento textual não estruturado como vértices estruturados (objeto, tese, episódico) e arestas, utilizando Neo4j para armazenamento de grafos e bancos de dados vetoriais (Qdrant, OpenSearch) para busca de similaridade semântica.

Contribuições Principais

Os autores apresentam cinco contribuições primárias:

1. Framework PAI-2: Um método GraphRAG que integra efetivamente memória externa baseada em grafos com raciocínio de LLMs para planejar a busca de informações e gerenciar a travessia de grafos dinamicamente.
2. Desempenho em Benchmarks: A avaliação em seis benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue e DiaASQ) mostra o PAI-2 alcançando desempenho superior em 4 de 6 conjuntos de dados em comparação com baselines (LightRAG, RAPTOR, HippoRAG 2), com um ganho médio de 4% pelo método LLM-as-a-Judge.
3. Aprimoramento do Plano de Busca: O artigo demonstra que permitir um mecanismo de aprimoramento do plano de busca aumenta a precisão das respostas em uma média de 18% em seis conjuntos de dados em comparação com uma versão desativada.
4. Eficácia da Travessia de Grafos: O uso de algoritmos avançados de travessia de grafos (BeamSearch, WaterCircles) produz uma melhoria média de 6% no desempenho em comparação com recuperadores de nivelamento padrão.
5. Estabilidade de Construção de Memória: O PAI-2 alcança um resultado State-of-the-Art (SOTA) no benchmark MINE-1 com uma pontuação de retenção de informações de 89% usando LLMs de 7-14B parâmetros. O algoritmo de construção de memória mostrou-se mais estável (menos erros de análise) do que métodos concorrentes como KGGen e Wikontic nesta faixa.

Resultados

Os experimentos foram conduzidos usando o Qwen2.5 7B como base LLM tanto para construção de memória quanto para geração de QA.

• Desempenho Comparativo: O PAI-2 superou o LightRAG, RAPTOR e HippoRAG 2 em TriviaQA, 2WikiMultihopQA e MuSiQue. Em HotpotQA e DiaASQ, alcançou resultados comparáveis ao HippoRAG 2 e ao PAI-1. Uma lacuna significativa (diferença de 11%) foi observada em Natural Questions, que os autores atribuem à formatação em letras minúsculas do benchmark e a requisitos de resposta ambíguos, fazendo com que o sistema retornasse "Sem Resposta" devido à incerteza.
• Estudos de Ablação:
  • Desativar o mecanismo de aprimoramento do plano de busca resultou em uma queda de 18% na precisão.
  • Aumentar o número de consultas-pista por etapa de busca de 1 para 8 melhorou a qualidade das respostas em uma média de 4%.
  • Excluir triplets episódicos do contexto mitigou o problema "Lost in the Middle" e melhorou a fundamentação.
• Eficiência: O PAI-2 requer aproximadamente o dobro da latência do PAI-1 (média de 1,51 minuto por pergunta versus 1,0 minuto) devido à sua natureza iterativa, com gargalos identificados como inferência de LLM, busca vetorial e travessia de grafos.

Significado

O artigo posiciona o PAI-2 como um passo fundamental em direção a agentes de IA personalizados de próxima geração que requerem representação e raciocínio de conhecimento escaláveis e conscientes do contexto. Ao avançar além da recuperação estática para um planejamento dinâmico e iterativo, o PAI-2 aborda as limitações críticas de alucinação e precisão em domínios ricos em fatos. Os autores afirmam que essa abordagem estabelece as bases para futuros LLMs aumentados com grafos de memória externa mais ricos e estruturados, permitindo que agentes entreguem respostas sutis com fundamentação factual confiável. O trabalho sublinha o potencial de combinar travessia de grafos estruturada com raciocínio de LLMs para criar sistemas de IA mais robustos e precisos.