Memoir: Should a Model Write to Its Memory While It Thinks?

Resumo Técnico: Memoir – Um Modelo Deve Escrever em Sua Memória Enquanto Pensa?

Definição do Problema
Os modelos de linguagem atuais normalmente mantêm os parâmetros treinados fixos durante uma passagem direta (forward pass), dependendo de recuperação externa ou contextos longos para expandir sua memória efetiva sem alterar seu estado de peso interno. Embora o treinamento em tempo de teste e a recorrência adaptativa permitam que os modelos atualizem estados ocultos ou dediquem mais computação a entradas difíceis, um risco técnico específico permanece não abordado: a estabilidade de um processo latente recorrente que simultaneamente lê e escreve em sua própria memória rápida.

A questão central investigada é se um modelo deve ter permissão para reescrever seu nível de memória rápida durante cada iteração de ponderação (recorrente). Os autores hipotetizam um modo de falha específico: se a memória for reescrita enquanto o latente está sendo refinado, um cabeçalho de energia pode parecer melhorar simplesmente porque a memória mudou para concordar com o latente atual, em vez de porque a representação latente em si tornou-se mais coerente. Essa escrita "acoplada" cria um operador não estacionário durante o loop de computação, potencialmente corrompendo o sinal de aprendizado.

Metodologia
O artigo introduz o Memoir, um framework que integra quatro níveis de pesos, recorrência latente de profundidade variável e um objetivo de energia de latente futuro.

1. Interface de Memória de Quatro Níveis:

   • $W_0$ (Rápida): Matriz por amostra, gravável em cada passagem direta.
   • $W_1$ (Episódica): Matriz por amostra, atualizada via um portão (gate) aprendido por segmento.
   • $W_2$ (Lenta): Parâmetros treináveis compartilhados, atualizados raramente (consolidação).
   • $W_3$ (Congelada): Parâmetros compartilhados, nunca atualizados.
     A interface define explicitamente a propriedade e os limites de escrita, distinguindo entre estados plásticos por amostra e estados compartilhados lentos/congelados.

2. Ponderação de Profundidade Variável:
   O modelo emprega um processo latente recorrente onde um bloco compartilhado lê os latentes atuais e os níveis disponíveis para propor um novo estado ($h^{(\ell+1)}$). Um cabeçalho de interrupção (halting head) determina quando parar de iterar.

   • Braço Acoplado (Braço A): Durante as iterações ativas de ponderação, o modelo lê o nível rápido ($W_0$) e imediatamente escreve nele usando uma atualização de regra delta baseada no latente atual.
   • Braço de Somente Leitura (Braço B): O modelo lê o nível rápido durante a ponderação, mas não escreve nele até que o limite da passagem direta seja alcançado. O operador permanece estacionário durante o loop.

3. Objetivos:

   • Predição de Latente Futuro: O modelo prevê um latente alvo $z_{t+\Delta}$ a partir da representação atual, treinado contra um professor de Média Móvel Exponencial (EMA) com parada de gradiente (stop-gradient).
   • Objetivo de Energia: Um cabeçalho de energia pontua pares de representações. A margem é definida como $m = E[E(\text{corrompido})] - E[E(\text{coerente})]$. Uma margem positiva indica que pares coerentes recebem menor energia.

4. Design Experimental:
   O estudo utiliza uma tarefa de recall associativo procedural com interferência de chave (64 valores, 16 distratores, interferência 0.85).

   • Controle: Ambos os braços possuem contagens de parâmetros idênticas (81.738 total, 76.362 treináveis), contagens de multiplicação-acumulação (multiply-accumulate) correspondentes, dados, otimizador e sementes.
   • Orçamentos: Um teste primário em 240 passos (12 sementes) e um controle mais longo de 960 passos (8 sementes).
   • Implementação: O sistema inclui uma ablação arquitetural correspondente onde a única diferença é a presença de escritas dentro do loop.

Principais Resultados

1. Penalidade de Velocidade de Aprendizado: No orçamento fixo de 240 passos, o braço de somente leitura (Braço B) superou significamente o braço acoplado (Braço A).

   • Recall de Somente Leitura: 0.6557 (95% CI: [0.5953, 0.7160])
   • Recall Acoplado: 0.5203 (95% CI: [0.4522, 0.5883])
   • Diferença: 0.1354. Um teste t pareado em 12 sementes resultou em $t=3.23$ (df=11), com um intervalo de confiança de 95% para a diferença de [0.0431, 0.2277], excluindo o zero. O braço de somente leitura venceu em 10 de 12 sementes.

2. Comportamento de Convergência: Em 960 passos, ambos os braços atingiram o teto da tarefa de 1.0000, e a lacuna de desempenho desapareceu. Isso indica que a arquitetura acoplada não possui uma capacidade atingível inferior nesta tarefa específica, mas sofre de uma penalidade de velocidade de aprendizado sob o orçamento medido.

3. Estabilidade da Margem de Energia: O modo de falha previsto — onde a reescrita da memória corrompe o sinal de energia ao fazer a memória concordar com o latente atual — não ocorreu. A margem de energia cresceu de quase zero para 0.0231 durante o treinamento, demonstrando que as escritas acopladas não desestabilizaram o objetivo de energia nesta configuração.

4. Melhorias de Engenharia: A reestruturação do kernel reduziu o tempo de passagem direta da regra delta de 0.907 ms para 0.351 ms (uma aceleração de 2.59×) em uma GPU NVIDIA GeForce RTX 5090 Laptop, com a largura de banda efetiva aumentando de 18.6 GB/s para 48.0 GB/s.

Significância e Alegações
O artigo apresenta cinco contribuições específicas e verificáveis:

1. Especificação de Interface: Uma interface de memória de quatro níveis com propriedade, tempo de vida e limites de escrita explícitos.
2. Definição de Processo: Um processo de ponderação de profundidade variável vertical onde a política de escrita do nível rápido é alternável sem alterar o restante do modelo.
3. Ablação Rigorosa: Uma ablação correspondente de 12 sementes em 240 passos e um controle de 8 sementes em 960 passos, isolando o efeito das escritas dentro do loop.
4. Validação de Resultado Negativo: Confirmação de que a colapso previsto da margem de energia não ocorreu, refutando a hipótese específica de que a ponderação gravável corrompe inerentemente o sinal de energia nesta configuração.
5. Transparência de Implementação: Código completo disponível (5.920 linhas em memoir/, 2.061 linhas de testes) com medições de tempo e memória ao nível do dispositivo.

Limitações e Alegações Modestas
Os autores afirmam explicitamente que os resultados não provam que a arquitetura acoplada possui menor capacidade última, pois ambos os braços atingiram o teto na tarefa saturada. A lacuna observada é uma penalidade de velocidade de aprendizado, não uma penalidade de capacidade. Além disso, o experimento não separa o tempo das escritas do seu volume; o braço acoplado realiza aproximadamente sete vezes mais escritas por episódio do que o braço de somente leitura. O estudo não testa linguagem natural, aprendizado contínuo de longo horizonte, resistência ao esquecimento catastrófico ou regras de atualização aprendidas. A margem de energia é relatada como um diagnóstico específico da tarefa, não um verificador geral para alucinação.

Em conclusão, o Memoir fornece uma interface concreta para testar a memória gravável durante a inferência. O principal achado é que, sob as restrições específicas desta tarefa de recall procedural e orçamento de treinamento, permitir que o modelo reescreva sua memória rápida enquanto pondera retarda o aprendizado em comparação com uma abordagem de somente leitura, embora não impeça a convergência eventual.