A Parametric Memory Head for Continual Generative Retrieval

Resumo Técnico: Uma Cabeça de Memória Paramétrica para Recuperação Generativa Contínua

1. O Problema: O Dilema Estabilidade-Plasticidade no GenIR

A Recuperação de Informação Generativa (GenIR) transforma a busca em uma tarefa de geração autoregressiva, onde o modelo decodifica diretamente identificadores de documentos (docids) a partir de consultas. Diferente dos sistemas tradicionais de busca (que possuem índices modulares fáceis de atualizar), o conhecimento no GenIR está codificado nos próprios pesos do modelo.

O desafio central é a recuperação contínua em corpora dinâmicos. Quando novos documentos chegam, o modelo precisa ser adaptado. No entanto, os autores identificam um problema crítico:

• Esquecimento Catastrófico: Métodos de adaptação (como fine-tuning total ou LoRA) melhoram a recuperação de novos documentos (plasticidade), mas degradam severamente a performance em documentos já indexados anteriormente (estabilidade).
• Causa Raiz: O estudo demonstra que a degradação não é causada apenas pelo crescimento do espaço de busca (mais candidatos para escolher), mas sim pela interferência nos pesos que mapeiam consultas para docids antigos.

2. Metodologia: O Framework PAMT

Para resolver esse problema, os autores propõem o Post-Adaptation Memory Tuning (PAMT), um framework de duas etapas que separa o aprendizado de novos mapeamentos da estabilização do modelo.

Etapa 1: Adaptação do Backbone (Plasticidade)
O modelo base (ex: T5) é adaptado aos novos documentos de uma nova fatia (slice) do corpus usando métodos padrão (Full Fine-Tuning ou LoRA). Isso garante que o modelo aprenda os novos docids.

Etapa 2: Calibração via Cabeça de Memória Paramétrica (Estabilidade)
Após a adaptação, o backbone é congelado. É então adicionada uma Parametric Memory Head (PMH), implementada como uma Product-Key Memory (PKM).

• Funcionamento da PMH: Durante a decodificação, o estado oculto do decodificador consulta a PMH para gerar uma "correção residual" no espaço latente. Essa correção ajusta os scores dos próximos tokens, mas apenas entre os tokens que são válidos de acordo com uma estrutura de árvore (prefix-trie) para garantir que o docid gerado seja real.
• Atualização Esparsa (Sparse Updates): Para evitar interferir no que já foi aprendido, o PAMT não treina o modelo todo. Ele atualiza apenas um orçamento fixo de valores na tabela de memória da PMH.
• Seleção Inteligente de Memória: Os autores utilizam uma métrica de importância baseada em estatísticas de acesso: AF $\times$ IHF (Access Frequency $\times$ Inverse Historical Frequency). O sistema prioriza atualizar linhas de memória que são muito usadas na fatia atual, mas que raramente foram usadas em sessões passadas. Além disso, uma porcentagem das linhas mais usadas historicamente é "protegida" (congelada) para garantir a retenção de dados antigos.

3. Principais Contribuições

1. Caracterização Empírica: Uma análise detalhada do trade-off entre estabilidade e plasticidade, provando que o esquecimento no GenIR é estrutural e causado pela atualização de parâmetros.
2. Framework PAMT: Uma abordagem de "adaptar e depois estabilizar" que não exige o re-treinamento de dados antigos (o que seria caro e problemático para privacidade).
3. Inovação Arquitetural (PMH): Uma cabeça de memória modular que atua na interface de decodificação, permitindo calibrações de score sem alterar o backbone ou a lógica de roteamento do modelo.

4. Resultados Experimentais

Os experimentos foram realizados nos datasets MS MARCO e Natural Questions usando dois esquemas de identificadores: semânticos (SPQ) e baseados em palavras-chave (TU).

• Melhoria na Retenção: O PAMT reduziu drasticamente o esquecimento (medido pelo Signed Backward Transfer - BWT). Por exemplo, no MS MARCO, o uso de Full FT com identificadores TU viu o BWT melhorar de -38.43 para -15.37 após o PAMT.
• Preservação da Plasticidade: O método conseguiu manter a performance de recuperação nos novos documentos quase intacta, ao contrário de métodos de re-treinamento que muitas vezes sacrificam o novo para salvar o antigo.
• Eficiência de Parâmetros: O PAMT é extremamente eficiente, atualizando apenas uma fração mínima dos parâmetros da memória (ex: 6.25% a 17.95% da tabela de valores) por sessão.
• Superioridade sobre Baselines: O PAMT superou métodos de GenIR contínuo existentes (como DSI++, CLEVER e MixLoRA-DSI) em termos de equilíbrio entre performance média e retenção de dados legados.

5. Significância

Este trabalho é significativo porque oferece uma solução viável para tornar os modelos de Recuperação Generativa (GenIR) prontos para o mundo real, onde os dados mudam constantemente. Ao desacoplar a aprendizagem de novos conhecimentos da preservação de conhecimentos antigos através de uma camada de memória esparsa, o PAMT permite que sistemas de busca baseados em LLMs evoluam de forma contínua, eficiente e estável, sem os custos proibitivos de re-treinamento total.