Resumo Técnico: Usuário como Engrama

1. Declaração do Problema

O artigo identifica uma falha arquitetônica fundamental nos métodos atuais para personalizar Grandes Modelos de Linguagem (LLMs) com memória específica do usuário. A memória pessoal consiste em dois componentes distintos: conteúdo (fatos específicos sobre um usuário, ex: "Meu cardiologista é o Dr. Vasquez") e habilidade de raciocínio (a capacidade de sintetizar esses fatos em respostas).

As abordagens atuais confundem estes dois:

• Métodos não paramétricos (Aprendizado em Contexto, RAG) mantêm os fatos fora dos pesos. Embora evitem contaminar o modelo, incorrem em altos custos de tokens de contexto e dependem da precisência da recuperação, que degrada conforme a base de conhecimento cresce.
• Métodos paramétricos (Adaptadores LoRA por usuário) escrevem fatos diretamente nos pesos do modelo. No entanto, como as edições LoRA são globais (afetando as matrizes Q/K/V/O em todo o modelo), elas sofrem de contaminação arquitetônica. Escrever os fatos de um usuário como um delta LoRA curva a função do modelo globalmente, degradando o desempenho em textos não relacionados a esse usuário e, frequentemente, prejudicando a capacidade do modelo de raciocinar indiretamente sobre os fatos armazenados.

O desafio central é internalizar os fatos do usuário nos pesos do modelo sem contaminar o texto não relacionado ou sacrificar as capacidades de raciocínio compartilhadas do modelo base.

2. Metodologia: Usuário como Engrama

Os autores propõem o Usuário como Engrama, uma arquitetura em camadas que separa o armazenamento de conteúdo da habilidade de raciocínio, espelhando os sistemas de aprendizagem complementares do cérebro (hipocampo para traços episódicos, neocórtex para habilidades compartilhadas).

A. A Tabela de Memória de Engrama (Camada de Conteúdo)

Em vez de editar pesos globais, o método utiliza um Modelo de Engrama (uma arquitetura esparsa introduzida por Cheng et al., 2026) que inclui uma tabela de memória endereçável por conteúdo ao lado das camadas padrão do transformer.

• Mecanismo: Em camadas específicas, o modelo faz o hash do sufixo N-gram dos tokens recentes em endereços determinísticos em uma grande tabela de embeddings ($E$).
• Edições Cirúrgicas: O fato de um usuário é escrito não como um delta de peso, mas como uma sobreposição de linha local nesta tabela de memória.
  • Endereçamento: A frase de gatilho (ex: "Meu cardiologista é") faz o hash para um conjunto específico de linhas ($R_f$).
  • Escrita: O sistema escreve um vetor de valor nestas linhas específicas. Três estratégias são usadas:
    1. UNEMBED_P: Solução de forma fechada (rápida, <1ms).
    2. OPT: Passos de gradiente por fato.
    3. Joint OPT: Otimiza todas as linhas para um usuário simultaneamente para evitar interferência (padrão para >30 fatos).
• Localidade: A edição é transparente como uma "caixa de vidro" (glass box). Ela só é ativada quando o N-gram de gatilho específico está presente. Para todo o outro texto, a tabela de memória permanece inalterada e o fluxo residual não é afetado nem em um bit sequer.

B. Adaptador de Raciocínio Compartilhado (Camada de Habilidade)

A habilidade de raciocínio é desacoplada dos fatos do usuário.

• Um único LoRA compartilhado é treinado em uma população de usuários retidos (held-out).
• Este adaptador aprende o patrono de raciocínio sobre fatos (ex: "Dados os fatos X, Y e Z, responda à pergunta Q") sem memorizar o conteúdo específico do usuário.
• Na inferência, o sistema carrega o LoRA compartilhado e troca as sobreposições de linha do Engrama do usuário específico.

C. Composição e Servimento

• Composição Aditiva: Como os fatos de diferentes usuários fazem o hash para endereços disjuntos na tabela de memória, suas sobreposições são aditivas e sem perdas. Múltiplos usuários podem compartilhar uma única instância de modelo sem um combinador.
• EngramServer: Um sistema de servimento leve (50 linhas de código) que gerencia mapas de sobreposição por usuário na memória CPU (DRAM), trocando-os para a memória GPU (HBM) para a passagem direta (forward pass) e restaurando-os imediatamente depois. Isso acarreta latência desprezível (0.03ms a 2ms).

3. Resultados Principais

A. Eliminação da Contaminação

• Texto Não Relacionado: Escrever um fato como um LoRA por usuário aumenta os bits por byte (bpb) de validação em textos não relacionados em ~1.78 (um aumento de >33.000× no erro em comparação com o baseline). Em contraste, escrever o mesmo fato como uma linha de Engrama resulta em uma mudança de apenas +0.00005 bpb, efetivamente zero.
• Preservação do Raciocínio: Em bases ajustadas por instrução, LoRAs por usuário frequentemente degradam o raciocínio indireto (85% dos usuários mostram pior desempenho em bases fracas). O design em camadas do Engrama mantém as capacidades de raciocínio da base, com zero usuários performando pior que a base intocada.

B. Recall e Desempenho de Raciocínio

• Recall Direto: O design em camadas (Engrama + LoRA Compartilhado) atinge um recall direto quase perfeito (100%), igualando o LoRA por usuário.
• Raciocínio Indireto: O design em camadas supera significativamente o LoRA por usuário em perguntas indiretas (raciocinar sobre fatos). Em uma semente canônica, ele atinge 44% de recall indireto comparado a 6% para o LoRA por usuário (uma melhoria de 5.6× a 7.4×).
• Comparação com Recuperação (RAG):
  • Em consultas de gatilho exato, o RAG performa bem, mas paga um custo de tokens de contexto.
  • Em consultas parafraseadas, o desempenho do RAG cai significativamente devido às limitações do codificador, enquanto a inserção de multi-gatilho do Engram mantém alto recall (96.9% vs 75% para RAG).
  • Escalabilidade: Conforme a base de conhecimento (KB) cresce, o recall do RAG degrada devido à confusão do pool de candidatos. A precisão do design em camadas permanece invariante ao tamanho da KB. O artigo identifica um ponto de cruzamento em ~100 fatos: além disso, o design em camadas em um modelo menor supera o RAG em um modelo 2.5× maior.

C. Eficiência

• Armazenamento: A tabela de Engrama de um usuário é de ~88 KB para 100 fatos. Um LoRA por usuário é de ~14.2 MB. Isso representa uma redução de ~161× no armazenamento por usuário.
• Latência: A aplicação da sobreposição é sub-milissegundo, permitindo alto rendimento (232 req/s em uma única GPU) que escala de forma plana com o número de usuários.

4. Limitações

O artigo nota explicitamente as seguintes restrições:

• Raciocínio de Múltiplos Saltos (Multi-hop): O mecanismo de Engrama é baseado em gatilhos de superfície. Ele combina palavras, mas não as compõe. Se uma pergunta requer encadear dois fatos ("Meu médico é Patel; Patel trabalha na Globex; onde meu médico trabalha?"), o recall colapsa, a menos que a cadeia específica seja explicitamente armazenada ou a consulta corresponda exatamente ao gatilho do segundo fato.
• Densidade Dentro do Usuário: Embora o Joint OPT mitigue a interferência, o recall degrada conforme o número de fatos simultâneos por usuário aumenta (caindo para ~35% com 1.000 fatos) devido à interferência de passagem direta entre linhas coativas.
• Requisito de Pré-treinamento: O método requer um modelo base pré-treinado com Engrama. Os autores treinaram quatro modelos Mini-Engram (de 178M a 1.22B de parâmetros) para demonstrar a viabilidade, mas observam que a implantação em produção depende da disponibilidade de tais pesos.

5. Significância e Alegações

O artigo afirma que o Usuário como Engrama resolve o conflito "conteúdo vs. habilidade" na personalização através da separação arquitetônica, em vez do compartilhamento de parâmetros.

• Inovação Arquitetônica: É o primeiro método a alcançar edições paramétricas locais com custo de contexto zero. Ele ocupa um quadrante único no espaço de design: edições locais que não contaminam o resto do modelo.
• Escalabilidade: Permite servir milhões de usuários em uma única instância de modelo com composição aditiva e sem perdas, evitando a explosão de armazenamento dos LoRAs por usuário e a degradação de recuperação do RAG.
• Analogia Biológica: O trabalho valida uma implementação computacional da teoria dos Sistemas de Aprendizagem Complementares, demonstrando que separar traços episódicos esparsos e rápidos (linhas de Engrama) de habilidades distribuídas e lentas (LoRA Compartilhado) evita a interferência catastrófica e preserva as capacidades de raciocínio.

Os autores concluem que o "problema" na personalização não é exclusivo de adaptadores, mas inerente a qualquer método que force um único conjunto de pesos a agir tanto como memória quanto como mente. Ao dar a cada usuário um traço privado e pequeno ao lado de uma habilidade compartilhada, a personalização deixa de lutar contra o modelo no qual opera.