Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

Resumo Técnico: Fatos Sem Donos

Declaração do Problema
O artigo investiga as limitações da memória conversacional "interna", onde um modelo de linguagem (LM) consolida o histórico de conversa de um usuário diretamente em seus pesos via ajuste fino (fine-tuning), em oposição à memória "externa", que depende da recuperação de dados de um arquivo. Embora a memória interna prometa resiliência contra falhas de recuperação e integração fluida com o conhecimento prévio, ela carrega riscos como alucinação e falhas de aprendizado direcional. A questão de pesquisa específica é: Quando uma conversa de comprimento real é consolidada nos pesos de um modelo, que informação é armazenada e o que é perdido? Especificamente, o modelo aprende quem disse um fato, ou apenas o que foi dito?

Metodologia
O estudo utiliza três conversas de comprimento real, de duas pessoas, do benchmark LoCoMo (conv-42, conv-43, conv-48), contendo 629–681 turnos cada. Estas conversas incluem uma categoria adversária específica (Categoria 5) conhecida como perguntas de "pessoa trocada" (swapped-person), onde uma pergunta questiona sobre o Falante A a respeito de um fato que apenas o Falante B mencionou. O comportamento correto para o modelo é abster-se, pois o fato não pertence ao Falante A.

• Modelo & Consolidação: O modelo base é o Qwen3-4B. O autor emprega um adaptador LoRA (Low-Rank Adaptation) (Rank 16) treinado em perguntas autogeradas. O modelo base lê janelas de conversa e escreve perguntas de resposta curta. Crucialmente, 15% das perguntas sobre um falante são "armadilhas" onde o nome é trocado, e a resposta alvo é "Não mencionado".
• Receita de Treinamento (D1): O adaptador é treinado nessas perguntas geradas por três épocas. Para evitar o esquecimento catastrófico do conhecimento geral, um termo de divergência KL vincula o adaptador ao modelo base em textos âncora (SQuAD e requisições de chat).
• Avaliação: O modelo é testado nas perguntas originais do benchmark LoCoMo (que ele nunca viu durante o treinamento) em quatro braços: Modelo base sem arquivo (B0), Modelo consolidado sem arquivo (D), Base com arquivo (B0S) e Consolidado com arquivo (DS).
• Variantes de Intervenção: Sete variantes pré-registradas (D2–D6) foram testadas para corrigir erros de atribuição usando apenas pesos ou sinais do modelo (ex: perguntas inversas, exemplos de "eu não sei" com falantes trocados e limiares de confiança).
• Verificação de Proveniência (D7): Uma verificação livre de modelo contra o arquivo bruto foi implementada. Ela compara os turnos recuperados para a resposta contra o falante nomeado na pergunta. Se a resposta se alinhar mais fortemente com os turnos do outro falante, o modelo é forçado a se abster.
• Rigor: Todos os experimentos foram pré-registrados. Os rótulos foram gerados por um LLM (Claude) seguindo regras fixas, com tratamento rigoroso de casos limítrofes.

Principais Resultados

1. A Consolidação Funciona para Fatos, Não para Donos:

   • Sem um arquivo, o modelo base (B0) abstém-se em quase 100% das perguntas (0,00 de precisão).
   • O modelo consolidado (D) recupera fatos com sucesso, alcançando 28–39% de precisão em perguntas padrão (Categorias 1–4) através das três conversas.
   • O conhecimento geral (TriviaQA) permaneceu estável, não mostrando danos detectáveis pela consolidação.

2. A Falha de Atribuição:

   • O modo de falha dominante é a atribuição. Em perguntas de "pessoa trocada", o modelo consolidado abstém-se apenas 9–33% das vezes.
   • Em vez de se abster, o modelo frequentemente responde com confiança com o fato, embora este pertença ao falante errado. Em aproximadamente 30% desses erros, a resposta do modelo coincide com um turno de primeira pessoa do outro falante.
   • O modelo aprende a associação tópico-resposta, mas trata o nome do falante como uma pista fraca.

3. Ineficácia de Correções Baseadas Apenas em Pesos:

   • Variantes que tentaram ensinar o modelo a se abster (D2–D6) usando perguntas inversas, exemplos de "eu não sei" ou limiares de confiança falharam em replicar em conversas não vistas.
   • Esses métodos criaram uma linha de compromisso (trade-off): aumentar a abstenção em perguntas de pessoa trocada custava uma alta perda de precisão geral (perdendo 0,09–0,17 de precisão para cada 0,40 de aumento na abstenção).
   • Os exemplos de "eu não sei" ensinaram ao modelo a forma da armadilha, em vez dos limites reais do conhecimento. Os escores de confiança do modelo eram indistinguíveis entre atribuições corretas e incorretas (AUROC ~0,54–0,56 nos dados não vistos).

4. Eficiência de Verificações de Arquivo:

   • A verificação de proveniência livre de modelo (D7) contra o arquivo bruto superou significativamente os métodos baseados apenas em pesos.
   • Ela elevou a abstenção em perguntas de pessoa trocada de ~0,17 para 0,45–0,47, custando apenas 0,005–0,042 em precisão.
   • Este custo é de um quinto a metade do custo incorrido pelas variantes de peso na mesma taxa de abstenção.
   • Nota sobre Pré-registro: Em uma de duas execuções, a perda de precisão (7,0%) excedeu ligeiramente o limite pré-registrado de 5%, levando o autor a relatar a verificação como "não adotada" sob suas próprias regras estritas, apesar do ganho significativo de eficiência.

Significância e Alegações
O artigo conclui que consolidar uma conversa nos pesos de um modelo armazena "o que foi dito", mas não "quem disse".

• Papéis Complementares: O autor argumenta que a memória paramétrica (pesos) e os arquivos externos são complementares. Os pesos são eficazes para manter o conhecimento, enquanto o arquivo é essencial para manter a proveniência (propriedade dos fatos).
• Limitações dos Remédios Atuais: As técnicas atuais para forçar modelos a se absterem (via manipulação de dados de treinamento ou limiares de confiança) são ineficientes porque o modelo é tecnicamente "correto" sobre o fato, tornando difícil para os sinais internos detectarem o erro de atribuição.
• Recomendação Prática: Para assistentes pessoais, confiar apenas na consolidação de pesos é insuficiente para uma atribuição precisa. O arquivo deve ser mantido, não necessariamente para toda recuperação, mas como uma fonte para verificações de proveniência para verificar a propriedade do falante.

O estudo enfatiza que, embora a memória interna seja um mecanismo viável para a retenção de conhecimento, ela carece atualmente da capacidade inerente de vincular fatos aos seus respectivos falantes sem verificação externa.