Does Engram Do Memory Retrieval in Autoregressive Image Generation?

Resumen Técnico: ¿Realiza Engram la Recuperación de Memoria en la Generación de Imágenes Autoregresiva?

Enunciado del Problema
El módulo Engram, una memoria asociativa indexada por hash y de complejidad $O(1)$ inyectada en las capas de Transformer, fue propuesto recientemente para Modelos de Lenguaje Grande (LLM) con el fin de proporcionar un atajo direccionado por contenido para patrones recurrentes de tokens locales. La hipótesis predominante es que recupera correcciones de contenido específicas basándose en la forma superficial del contexto reciente. Este artículo investiga si este mecanismo se transfiere eficazmente a la generación de imágenes autoregresiva (AR). Específicamente, plantea: (P1) ¿Inyectar Engram en un generador AR condicional por clase mejora la calidad de la muestra (FID) con conteos de parámetros equivalentes en comparación con una línea base AR pura? (P2) Si el rendimiento cambia, ¿el impulsor es una recuperación genuina de contenido direccionado desde la tabla de memoria, o es un efecto de vía arquitectónica secundaria (por ejemplo, conmutación, flujos residuales o regularización)?

Metodología
Los autores adaptan el módulo Engram del lenguaje unidimensional a la visión bidimensional e lo integran en un potente generador AR condicional por clase entrenado en ImageNet 256×256.

• Adaptación Arquitectónica: El módulo utiliza hashing de n-gramas espaciales 2D sobre una red causal, fusión con conmutación (gated fusion) e inferencia incremental compatible con la caché KV. A diferencia de la versión de PLN, la adaptación de visión emplea vecinos espaciales (por ejemplo, izquierda, arriba, diagonal) para definir contextos de n-gramas.
• Prerrequisito de Tokenización: Antes de la adaptación, los autores verificaron que los tokens visuales poseen estructuras recurrentes de n-gramas locales. Mediante un análisis de Jaccard estratificado por DINO, encontraron que el tokenizador AliTok exhibe patrones de parches locales consistentes correlacionados con la similitud semántica, mientras que MaskGIT-VQ no. En consecuencia, AliTok fue seleccionado para todos los experimentos.
• Diseño Experimental:
  • Recorrido de Parámetros: Se realizó un recorrido controlado de la relación entre parámetros del núcleo y parámetros totales ($\rho \in [0.17, 0.90]$), intercambiando el ancho del núcleo por la capacidad de la tabla de memoria.
  • Análisis de Fijación de Conmutador (Gate-Clamp): El mecanismo de conmutación aprendido fue reemplazado por valores constantes ($g \in \{0.00, 0.10, \dots, 1.00\}$) para determinar el uso óptimo de la vía de memoria.
  • Sonda de Donante: Las entradas del hash fueron intercambiadas por tokens de ejemplos coincidentes (misma clase), adversarios (diferente clase) o aleatorios para probar si el modelo recupera contenido semánticamente relevante.
  • Control de Ruido Congelado: Se entrenó un modelo desde cero con toda la tabla de memoria congelada en ruido $N(0, 1)$, aislando la contribución arquitectónica del contenido aprendido.

Resultados Clave
Los hallazgos empíricos desafían la hipótesis de "recuperación direccionada por contenido" para la generación de imágenes autoregresiva:

1. Sin Ganancia de Calidad con Parámetros Equivalentes: En todas las relaciones entre núcleo y memoria, cada variante aumentada con Engram logró un peor Fréchet Inception Distance (FID) que la línea base AR pura (2.02). Aunque el módulo ahorra FLOPs del núcleo al descargar la reconstrucción de patrones locales, no mejora inherentemente la calidad de la muestra. Añadir bancos de n-gramas 2D (1×3, 3×1, 2×2) produjo mejoras insignificantes (<0.01 FID) sobre la variante 1D.
2. Necesidad de la Vía vs. Mezcla Excesiva de Contenido: Desactivar la vía Engram por completo ($g=0$) causó un fallo catastrófico en la generación (el FID-10K saltó de 4.89 a 115). Sin embargo, se encontró que la conmutación aprendida estaba "mezclando en exceso"; una conmutación constante mínima ($g=0.10$ o $0.25$) igualó o superó a la conmutación aprendida, mientras que conmutaciones más altas degradaron la calidad. Esto sugiere que el modelo se beneficia de que la vía sea apenas utilizada, lo cual es inconsistente con un mecanismo que depende pesadamente de recuperar contenido específico.
3. La Dirección Hash No Selecciona Contenido: En la sonda de donante, intercambiar las entradas del hash con ejemplos coincidentes, adversarios o aleatorios de la misma clase produjo distribuciones de siguiente token estadísticamente indistinguibles. Por el contrario, colapsar los cubos del hash o aleatorizar la tabla degradó el rendimiento en dos o tres órdenes de magnitud. Esto indica que el modelo depende de la diversidad y la estructura aprendida de la tabla, y no de la coincidencia semántica entre la consulta y la entrada recuperada.
4. Dominancia Arquitectónica: Entrenar un modelo desde cero con la tabla de memoria congelada en ruido $N(0, 1)$ resultó en un aumento marginal del FID ($\Delta FID = 0.10$) en comparación con una tabla totalmente aprendida, mientras que en realidad aumentó la Inception Score (de 259 a 285). Esto confirma que la mayor parte del beneficio proviene de la vía lateral con conmutación y hash (parámetros adicionales y un flujo residual paralelo) en lugar de los contenidos específicos de la tabla de memoria.

Significado y Afirmaciones
El artículo concluye que, en el contexto de la generación de imágenes autoregresiva, el módulo Engram funciona principalmente como una vía lateral arquitectónica con conmutación en lugar de un recuperador direccionado por contenido.

• Mecanismo: El módulo actúa como un flujo residual indexado por hash donde la tabla aprendida contribuye solo con un refinamiento distribucional menor. La utilidad principal es la adición arquitectónica de un flujo paralelo y un mecanismo de conmutación, que sirve como regularizador o prior sobre las estadísticas de tokens de imagen locales.
• Implicación para la Visión: La interpretación "direccionada por contenido" que motivó el diseño original de Engram no se sostiene para las corrientes de tokens visuales producidas por los tokenizadores actuales. Las ganancias observadas (o la falta de las mismas) están dominadas por la propia vía, y no por la recuperación de patrones semánticos recurrentes.
• Alcance: Los autores señalan que su estudio se limita a generadores AR densos a escalas moderadas y no explora regímenes extremos de pocos datos, clases de cola larga o resoluciones más altas donde la recuperación genuina de memoria podría desempeñar un papel más importante.

En resumen, el Engram en la generación de imágenes autoregresiva se describe mejor como un prior arquitectónico necesario pero débilmente direccionado por contenido, donde la tabla de memoria aprendida ofrece solo un pequeño refinamiento sobre los beneficios estructurales de la vía lateral.