Resumen Técnico: Memoria Estructurada para Modelos de Lenguaje en el Borde mediante la Inyección de Estado de SSM en O(1)

1. Declaración del Problema

El despliegue práctico de la Generación Aumentada por Recuperación (RAG) en dispositivos de borde (edge) está actualmente limitado por dos restricciones estructurales de la arquitectura dominante de Transformer:

1. Costo de Prefill Lineal: El RAG en contexto requiere la re-ingestión de los tokens de contexto recuperados token por token durante la fase de prefill. Esto impone un costo de latencia y energía proporcional a la longitud del contexto ($O(L_{context})$), lo cual es prohibitivo en hardware de borde con ancho de banda limitado.
2. Cachés KV con Entrelazamiento Posicional: Los cachés de Clave-Valor (KV) de los Transformers incorporan codificaciones posicionales (rotatorias o absolutas), lo que los hace no reutilizables a través de diferentes contextos o posiciones. Además, el tamaño del caché crece linealmente con la longitud del contexto, creando un cuello de botella de almacenamiento que escala pobremente con el tamaño del corpus.

Los Modelos de Espacio de Estados (SSMs) ofrecen una alternativa teórica al comprimir el contexto previo en un estado oculto recurrente de tamaño fijo y agnóstico a la posición. Sin embargo, las implementaciones actuales de RAG siguen dependiendo de la ingestión token por token, fallando en aprovechar las propiedades algebraicas únicas de los SSMs que podrían eliminar por completo el costo de prefill.

2. Metodología

El artículo introduce PRECOG (Inyección de Contexto Pre-computado) y SMC (Consolidación de Memoria Estructurada), dos mecanismos que explotan la invarianza de traslación temporal de los SSMs para evitar la ingestión de contexto.

PRECOG: Inyección de Contexto Pre-computado

PRECOG redefine el RAG pre-computando los estados ocultos de los documentos recuperados fuera de línea (offline) e inyectándolos directamente en el momento de la consulta.

• Indexación Offline: Los corpus de documentos se particionan en fragmentos (chunks). Un modelo de lenguaje SSM procesa cada fragmento para capturar el estado oculto final ($\bar{h}^{(i)}$) para cada capa. Estos estados de tamaño fijo (192 KB para el modelo de 1.2B de parámetros) se almacenan en almacenamiento flash, emparejados con claves de codificador de oraciones ligeras para la recuperación.
• Inyección en Tiempo de Consulta: Al recibir una consulta, el sistema recupera los $k$ fragmentos coincidentes más relevantes mediante sus claves. En lugar de re-ingerir el texto, el sistema carga los estados ocultos pre-computados correspondientes y los inyecta como el estado recurrente inicial ($\bar{h}_{init}$) del modelo. El modelo entonces procesa solo los tokens de la consulta.
• Garantía Teórica (Teorema 1): El artículo demuestra que para cualquier estado inicial $h_0$, contexto $c$ y consulta $q$, la trayectoria de estado $S(h_0, c \oplus q)$ es algebraicamente idéntica a $S(S(h_0, c), q)$. Debido a que las actualizaciones de los SSM dependen solo del estado actual y del token (no de la posición absoluta), la inyección de un estado pre-computado es matemáticamente equivalente a haber procesado secuencialmente los tokens del contexto. Esto garantiza que PRECOG iguala exactamente la calidad de respuesta de un RAG en contexto (modulo el ruido de cuantización).

SMC: Consolidación de Memoria Estructurada

SMC extiende el mecanismo de inyección de estado a la memoria persistente en el dispositivo para acumular preferencias del usuario, historial de interacción y registros (logs).

• Clustering Jerárquico: Los fragmentos de interacción se dirigen a clusters de dominios cognitivos (ej. Emocional, Temporal, Espacial, Factual) y posteriormente a sub-clusters basados en patrones de recuerdo (episódico vs. semántico).
• Dial de Fidelidad-Almacenamiento: Un parámetro $K$ controla la retención de estados por fragmento:
  • $K=N_c$: Memoria episódica sin pérdidas (todos los estados retenidos).
  • $K=1$: Memoria semántica (solo se retiene el estado final, idéntico a los fragmentos de PRECOG).
• Inicialización de Sesión en O(1): Al inicio de una sesión, el sistema identifica el dominio dominante e inyecta el estado semántico consolidado correspondiente directamente en el SSM. Esto inicializa el modelo con un historial de interacciones sin re-ingerir ningún token, manteniendo una latencia de $O(1)$ independientemente de la longitud del historial acumulado.

3. Contribuciones Clave

1. Refactorización Algorítmica de RAG: El artículo demuestra que el costo de la ingestión de contexto puede reducirse de $O(L_{context})$ a $O(1)$ mediante la inyección de estados ocultos de SSM pre-computados, un mecanismo estructuralmente imposible para los Transformers debido al entrelazamiento posicional.
2. Prueba de Equivalencia Exacta: El Teorema 1 proporciona una garantía formal de que PRECOG produce trayectorias de estado idénticas a un RAG en contexto, asegurando que la aceleración no se produzca a costa de la calidad de la respuesta.
3. Substrato de Memoria Unificado: El mismo primitivo de inyección de estado unifica la recuperación de corpus estáticos (PRECOG) y la memoria persistente dinámica (SMC), permitiendo que los modelos de borde fusionen el conocimiento recuperado y el historial del usuario en un solo paso de consulta.
4. Viabilidad de Despliegue en el Borde: Al instanciar estos métodos en TENNs-LLM (un modelo de SSM con compuerta de 1.2B de parámetros y un estado oculto total de 192 KB), los autores demuestran que la recuperación a nivel de estado es práctica en hardware de borde neuromórfico, donde la pequeña huella del estado se ajusta a las restricciones de memoria en chip.

4. Resultados

El sistema fue evaluado en el conjunto de desarrollo SQuAD v1.1 utilizando un backbone TENNs-LLM de 1.2B de parámetros.

• Calidad: PRECOG (inyección top-1) logró un Exact Match (EM) de 58.0 y un F1 de 73.4, igualando la línea base de RAG en contexto (EM 58.2, F1 73.6) dentro de los límites del ruido de cuantización FP16. Esto valida empíricamente la equivalencia teórica.
• Latencia: En hardware de borde (procesador neuromórfico simulado), PRECOG reduce la latencia de prefill de ~27 segundos (requeridos para la ingestión en contexto de un fragmento de 512 tokens) a <6 ms para la sobrecarga de recuperación e inyección. El Tiempo al Primer Token (TTFT) total, incluyendo la ingestión de los tokens de la consulta, es de aproximadamente 585 ms. La aceleración de ~4,500× citada en el artículo se refiere específicamente a la eliminación de la fase de ingestión de contexto de ~27 s, no a la latencia total de la consulta.
• Eficiencia de Almacenamiento: Para un fragmento de 512 tokens, el estado de PRECOG requiere 192 KB, mientras que un caché KV comparable de Transformer requiere ~16 MB (una reducción de 85×). Para un corpus de 10,000 fragmentos, PRECOG requiere 1.9 GB de almacenamiento frente a los 160 GB de un enfoque hipotético de caché KV, lo que hace que este último sea inviable en dispositivos de consumo.
• Ablaciones:
  • Profundidad de Inyección: La inyección de solo las 12 capas inferiores (96 KB) preservó el 99% de la puntuación F1 de capa completa, lo que sugiere la posibilidad de una mayor optimización de almacenamiento.
  • Longitud del Fragmento: El rendimiento iguala al de RAG en contexto para fragmentos de hasta ~600 tokens (el horizonte de memoria efectivo del modelo). Más allá de esto, PRECOG se degrada gradualmente a medida que el SSM olvida naturalmente los tokens distantes, imitando el comportamiento de RAG en contexto con el mismo backbone.

5. Significado y Reivindicaciones

El artículo afirma que PRECOG y SMC representan un cambio fundamental en cómo se maneja la recuperación y la memoria para los modelos de lenguaje en el borde. El significado radica en:

• Exclusividad Arquitectónica: El mecanismo depende de la invarianza de traslación temporal de los SSM, lo que lo hace "arquitectónicamente imposible" para los cachés KV de los Transformers.
• Viabilidad en el Borde: Resuelve el "cuello de botella del prefill" que actualmente impide el RAG interactivo en dispositivos con ancho de banda limitado, permitiendo una transición de la inferencia dependiente de la nube hacia la interacción en el dispositivo de baja latencia.
• Principio de Diseño: Los autores postulan que, a medida que los SSM cierren la brecha de calidad con los Transformers, sus propiedades estructurales (estados de tamaño fijo y agnósticos a la posición) permitirán una nueva clase de algoritmos de recuperación, caché y extensión de memoria inaccesibles para las arquitecturas basadas en atención.

El artículo se mantiene modesto respecto a las limitaciones, reconociendo que PRECOG hereda el horizonte de memoria finito del SSM (no puede recuperar información que el backbone olvidaría) y que la heurística de composición top-$k$ (para la recuperación de múltiples fragmentos) es una aproximación sin la garantía de exactitud de la inyección top-1. Además, las cifras de despliegue neuromórfico se basan en mediciones de FPGA y simulaciones de potencia de 12 nm, a la espera de la verificación de un diseño físico (tape-out).