Does Engram Do Memory Retrieval in Autoregressive Image Generation?

Resumo Técnico: O Engram Realiza Recuperação de Memória na Geração Autoregressiva de Imagens?

Declaração do Problema
O módulo Engram, uma memória associativa indexada por hash, de complexidade $O(1)$, injetada em camadas de Transformer, foi recentemente proposto para Grandes Modelos de Linguagem (LLMs) a fim de fornecer um atalho endereçado por conteúdo para padrões recorrentes de tokens locais. A hipótese predominante é que ele recupera correções de conteúdo específicas com base na forma superficial do contexto recente. Este artigo investiga se esse mecanismo se transfere eficazmente para a geração autoregressiva (AR) de imagens. Especificamente, pergunta-se: (Q1) A injeção do Engram em um gerador AR condicional por classe melhora a qualidade da amostra (FID) em contagens de parâmetros correspondidas, comparado a uma linha de base AR pura? (Q2) Se o desempenho mudar, o motor é uma recuperação genuinamente endereçada por conteúdo da tabela de memória, ou é um efeito de caminho lateral arquitetural (por exemplo, portões, fluxos residuais ou regularização)?

Metodologia
Os autores adaptam o módulo Engram de linguagem 1D para visão 2D e o integram em um forte gerador AR condicional por classe treinado no ImageNet 256×256.

• Adaptação Arquitetural: O módulo utiliza hashing de n-gramas espaciais 2D sobre uma grade causal, fusão com portão e inferência incremental compatível com cache KV. Diferentemente da versão de PNL, a adaptação para visão emprega vizinhos espaciais (por exemplo, esquerda, topo, diagonal) para definir contextos de n-gramas.
• Pré-requisito de Tokenização: Antes da adaptação, os autores verificaram se os tokens visuais possuíam estruturas recorrentes de n-gramas locais. Usando análise de Jaccard estratificada por DINO, constataram que o tokenizador AliTok exibe padrões locais de patches consistentes correlacionados com similaridade semântica, ao passo que o MaskGIT-VQ não o faz. Consequentemente, o AliTok foi selecionado para todos os experimentos.
• Design Experimental:
  • Varredura de Parâmetros: Uma varredura controlada da razão entre parâmetros do backbone e parâmetros totais ($\rho \in [0.17, 0.90]$) foi conduzida, trocando a largura do backbone pela capacidade da tabela de memória.
  • Análise de Fixação de Portão: O mecanismo de portão aprendido foi substituído por valores constantes ($g \in \{0.00, 0.10, \dots, 1.00\}$) para determinar o uso ótimo do caminho de memória.
  • Sonda de Doador: As entradas de hash foram trocadas por tokens de exemplares correspondentes (mesma classe), adversários (classe diferente) ou aleatórios para testar se o modelo recupera conteúdo semanticamente relevante.
  • Controle de Ruído Congelado: Um modelo foi treinado do zero com toda a tabela de memória congelada para ruído $N(0, 1)$, isolando a contribuição arquitetural do conteúdo aprendido.

Principais Resultados
As descobertas empíricas desafiam a hipótese de "recuperação endereçada por conteúdo" para geração autoregressiva de imagens:

1. Sem Ganho de Qualidade em Parâmetros Correspondidos: Em todas as razões backbone-memória, cada variante aumentada com Engram alcançou uma Distância Fréchet Inception (FID) pior do que a linha de base AR pura (2,02). Embora o módulo economize FLOPs do backbone ao descarregar a reconstrução de padrões locais, ele não melhora inerentemente a qualidade da amostra. Adicionar bancos de n-gramas 2D (1×3, 3×1, 2×2) produziu melhorias negligenciáveis (<0,01 FID) sobre a variante 1D.
2. Necessidade do Caminho vs. Mistura Excessiva de Conteúdo: Desativar completamente o caminho do Engram ($g=0$) causou falha catastrófica na geração (o FID-10K saltou de 4,89 para 115). No entanto, constatou-se que o portão aprendido estava "misturando excessivamente"; um pequeno portão constante ($g=0,10$ ou $0,25$) igualou ou superou o portão aprendido, enquanto portões mais altos degradaram a qualidade. Isso sugere que o modelo se beneficia do caminho sendo pouco utilizado, o que é inconsistente com um mecanismo que depende fortemente da recuperação de conteúdo específico.
3. O Endereço de Hash Não Seleciona Conteúdo: Na sonda de doador, trocar as entradas de hash por exemplares correspondentes, adversários ou aleatórios da mesma classe produziu distribuições de próximo-token estatisticamente indistinguíveis. Por outro lado, colapsar os buckets de hash ou aleatorizar a tabela degradou o desempenho em duas a três ordens de magnitude. Isso indica que o modelo depende da diversidade e da estrutura aprendida da tabela, e não da correspondência semântica entre a consulta e a entrada recuperada.
4. Dominância Arquitetural: Treinar um modelo do zero com a tabela de memória congelada para ruído $N(0, 1)$ resultou em apenas um aumento marginal no FID ($\Delta FID = 0,10$) comparado a uma tabela totalmente aprendida, enquanto na verdade aumentou a Pontuação Inception (de 259 para 285). Isso confirma que a maior parte do benefício vem do caminho lateral com portão e hash (parâmetros adicionais e um fluxo residual paralelo) e não dos conteúdos específicos da tabela de memória.

Significado e Alegações
O artigo conclui que, no contexto da geração autoregressiva de imagens, o módulo Engram funciona primariamente como um caminho lateral arquitetural com portão e não como um recuperador endereçado por conteúdo.

• Mecanismo: O módulo atua como um fluxo residual indexado por hash, onde a tabela aprendida contribui apenas com um refinamento distribucional menor. A utilidade primária é a adição arquitetural de um fluxo paralelo e mecanismo de portão, que serve como regularizador ou prior sobre estatísticas locais de tokens de imagem.
• Implicação para Visão: A interpretação "endereçada por conteúdo" que motivou o design original do Engram não se sustenta para fluxos de tokens visuais produzidos por tokenizadores atuais. Os ganhos observados (ou a falta deles) são dominados pelo próprio caminho, e não pela recuperação de padrões semânticos recorrentes.
• Escopo: Os autores observam que seu estudo é limitado a geradores AR densos em escalas moderadas e não explora regimes extremos de baixos dados, classes de cauda longa ou resoluções mais altas, onde a recuperação genuína de memória poderia desempenhar um papel maior.

Em resumo, o Engram na geração autoregressiva de imagens é melhor descrito como um prior arquitetural necessário, mas fracamente endereçado por conteúdo, onde a tabela de memória aprendida oferece apenas um pequeno refinamento sobre os benefícios estruturais do caminho lateral.