A Storage-Retrieval Gap in Parametric Knowledge Graph Memory

Os modelos de linguagem de grande escala são ferramentas poderosas que podem responder perguntas e escrever textos, mas possuem uma limitação fundamental: eles só sabem o que aprenderam durante seu treinamento inicial. Se um modelo precisa saber um fato específico e atualizado — como o elenco de um novo filme ou as especificações de uma peça de maquinário industrial — ele geralmente precisa receber essa informação no momento em que é questionado. A forma padrão de fazer isso é chamada de geração aumentada por recuperação (retrieval-augmented generation). Nesse processo, o sistema encontra os fatos relevantes em um banco de dados, cola-os na conversa e pede ao modelo que os leia e forneça uma resposta. Embora isso funcione, possui dois pontos negativos. Primeiro, colar grandes quantidades de texto na conversa consome um espaço limitado chamado janela de contexto, o que torna as coisas mais lentas e custosas. Segundo, exige o envio dos dados brutos para o computador que executa o modelo, o que pode ser um risco de segurança se esses dados forem sensíveis ou proprietários.

Pesquisadores têm explorado uma ideia diferente: em vez de colar os fatos na conversa toda vez, poderíamos incorporar os fatos diretamente na memória do modelo? Imagine o modelo como uma biblioteca. O método padrão é entregar um livro ao bibliotecário toda vez que uma pergunta é feita. A nova abordagem questiona se podemos instalar permanentemente uma estante específica dentro da biblioteca para cada tópico, para que o bibliotecário possa puxar a prateleira certa e ler dela sem nunca ver o livro em si. Este artigo investiga se isso é possível para grafos de conhecimento, que são mapas estruturados de fatos sobre coisas como filmes, pessoas e seus relacionamentos. Os pesquisadores queriam saber se poderiam pegar um pequeno fragmento deste mapa, transformá-lo em um conjunto minúsculo de ajustes nas configurações internas do modelo e armazená-lo ali. Se bem-sucedido, o modelo poderia responder perguntas sobre um filme específico sem nunca ser mostrado os dados do filme, simplesmente por "vestir" o ajuste interno correto.

A equipe testou essa ideia usando um conjunto de dados de informações de filmes. Eles pegaram os detalhes de filmes individuais — como o diretor, o ano de lançamento e os atores — e converteram esses fatos em texto. Em seguida, usaram uma técnica chamada adaptação de baixo posto (low-rank adaptation) para treinar um conjunto minúsculo e especializado de pesos para cada filme. Pense nesses pesos como uma impressão digital única e microscópica que ajusta o comportamento do modelo apenas o suficiente para saber os detalhes daquele filme específico. Eles criaram um banco desses "fingerprints", um para cada um de 150 filmes diferentes. O teste crucial foi verificar se o modelo conseguia responder perguntas sobre um filme quando estava vestindo a impressão digital desse filme, mas sem que lhe fosse mostrado o texto do filme ou qualquer outra informação.

Os resultados mostraram que este método funciona para armazenar conhecimento. Quando o modelo recebeu a impressão digital correta de um filme, ele conseguiu responder perguntas sobre esse filme com alta precisão, mesmo sem ter visto os dados do filme durante o teste. De fato, para perguntas sobre fatos únicos, como o diretor ou o ano de lançamento, o desempenho do modelo saltou de quase zero para uma taxa de sucesso sólida. Isso provou que o modelo realmente aprendeu os fatos e os armazenou dentro de sua própria estrutura, em vez de apenas aprender a lê-los quando estavam presentes. O conhecimento era específico para o filme; se o modelo recebesse a impressão digital de um filme diferente, ele não conseguiria responder à pergunta e, se recebesse uma impressão digital aleatória e não treinada, seu desempenho era ainda pior do que antes. Isso confirmou que a informação estava verdadeiramente trancada dentro do ajuste específico para aquela entidade.

No entanto, o estudo também revelou um obstáculo significativo. Embora o conhecimento pudesse ser armazenado, ele não podia ser facilmente encontrado. Os pesquisadores tentaram descobrir qual impressão digital usar apenas olhando para a pergunta. Eles tentaram combinar a pergunta com o filme mais semelhante com base no significado do texto, e também tentaram combinar a pergunta com a impressão digital mais semelhante com base em sua forma matemática. Ambos os métodos falharam completamente. O sistema não teve um desempenho melhor do que o acaso. A razão é que o conhecimento é armazenado localmente e não é transferível. Mesmo que dois filmes sejam muito semelhantes — talvez tenham sido feitos pelo mesmo diretor ou pertençam ao mesmo gênero — suas impressões digitais são completamente diferentes. A impressão digital de um filme não contém a resposta para uma pergunta sobre o outro, mesmo que os filmes sejam vizinhos próximos no mundo do cinema. A distância matemática entre as impressões digitais reflete o quão semelhantes os filmes são, mas não diz qual impressão digital contém a resposta para uma pergunta específica.

Isso cria uma lacuna entre armazenamento e recuperação. Os pesquisadores provaram que você pode armazenar conhecimento nos pesos do modelo gratuitamente em termos de espaço de conversa, mas atualmente não há uma maneira de encontrar automaticamente a unidade de armazenamento correta sem já saber qual delas você precisa. Em um sistema do mundo real, você ainda precisaria de uma ferramenta separada para procurar o título correto do filme e selecionar a impressão digital adequada, mas uma vez feito isso, o modelo pode responder sem nunca ver os dados brutos novamente. Isso oferece uma vantagem potencial para privacidade e eficiência, pois os dados brutos nunca precisam ser enviados ao modelo durante a conversa. No entanto, a abordagem não é uma solução mágica para todos os problemas. Ela exige um custo único para criar as impressões digitais, e o espaço de armazenamento necessário para as impressões digitais é muito maior do que o texto que elas representam. É mais útil para conjuntos de dados estáveis que são consultados frequentemente, em vez de informações em constante mudança.

O estudo conclui que, embora possamos transformar com sucesso um grafo de conhecimento em uma memória paramétrica, o desafio de selecionar e combinar automaticamente as partes certas da memória para perguntas complexas permanece sem solução. Para perguntas simples sobre um único item, o método funciona bem, mas para perguntas que exigem a ligação de informações entre diferentes itens, o sistema ainda não consegue descobrir quais memórias combinar. Os pesquisadores sugerem que o próximo passo é desenvolver um mecanismo de aprendizado que possa decidir quais impressões digitais usar e como misturá-las, em vez de depender de uma simples similaridade. Até que isso seja resolvido, a promessa de um modelo que carrega sua própria biblioteca de fatos é apenas metade realizada: os livros estão nas prateleiras, mas o bibliotecário ainda precisa de um índice manual para encontrá-los.