Resumo Técnico: Memória Estruturada para Modelos de Linguagem de Borda via Injeção de Estado SSM em O(1)

1. Declaração do Problema

A implantação prática de Geração Aumentada por Recuperação (RAG) em dispositivos de borda (edge) é atualmente restringida por duas limitações estruturais da arquitetura Transformer dominante:

1. Custo de Prefill Linear: O RAG in-context exige a reingestão de tokens de contexto recuperados token por token durante a fase de prefill. Isso impõe um custo de latência e energia proporcional ao comprimento do contexto ($O(L_{context})$), o que é proibitivo em hardware de borda com largura de banda limitada.
2. Caches KV com Entrelaçamento Posicional: Os caches Key-Value (KV) de Transformers incorporam codificações posicionais (rotativas ou absolutas), tornando-os não reutilizáveis entre diferentes contextos ou posições. Além disso, o tamanho do cache cresce linearmente com o comprimento do contexto, criando um gargalo de armazenamento que escala mal com o tamanho do corpus.

Modelos de Espaço de Estados (SSMs) oferecem uma alternativa teórica ao comprimir o contexto prévio em um estado oculto recorrente de tamanho fixo e agnóstico à posição. No entanto, as implementações de RAG existentes ainda dependem da ingestão token por token, falhando em aproveitar as propriedades algébricas únicas dos SSMs que poderiam eliminar totalmente o custo de prefill.

2. Metodologia

O artigo introduz o PRECOG (Pre-Computed Context Injection) e o SMC (Structured Memory Consolidation), dois mecanismos que exploram a invariância de translação temporal dos SSMs para contornar a ingestão de contexto.

PRECOG: Injeção de Contexto Pré-Computado

O PRECOG reformula o RAG ao pré-computar os estados ocultos de documentos recuperados offline e injetá-los diretamente no momento da consulta.

• Indexação Offline: Os corpora de documentos são particionados em blocos (chunks). Um modelo de linguagem SSM processa cada bloco para capturar o estado oculto final ($\bar{h}^{(i)}$) para cada camada. Esses estados de tamanho fixo (192 KB para o modelo de 1.2B de parâmetros) são armazenados em armazenamento flash, pareados com chaves de codificador de sentenças leves para recuperação.
• Injeção no Momento da Consulta: Ao receber uma consulta, o sistema recupera os top-$k$ blocos correspondentes via suas chaves. Em vez de reingerir o texto, o sistema carrega os estados ocultos pré-computados correspondentes e os injeta como o estado recorrente inicial ($\bar{h}_{init}$) do modelo. O modelo então processa apenas os tokens da consulta.
• Garantia Teórica (Teorema 1): O artigo prova que para qualquer estado inicial $h_0$, contexto $c$ e consulta $q$, a trajetória de estado $S(h_0, c \oplus q)$ é algebricamente idêntica a $S(S(h_0, c), q)$. Como as atualizações de SSM dependem apenas do estado atual e do token (não da posição absoluta), injetar um estado pré-computado é matematicamente equivalente a ter processado os tokens de contexto sequencialmente. Isso garante que o PRECOG iguale exatamente a qualidade de resposta do RAG in-context (modulo ruído de quantização).

SMC: Consolidação de Memória Estruturada

O SMC estende o mecanismo de injeção de estado para memória persistente no dispositivo, visando acumular preferências do usuário, histórico de interação e logs.

• Agrupamento Hierárquico: Blocos de interação são roteados para clusters de domínios cognitivos (ex: Emocional, Temporal, Espacial, Factual) e, posteriormente, para sub-clusters baseados em padrões de recall (episódico vs. semântico).
• Dial de Fidelidade-Armazenamento: Um parâmetro $K$ controla a retenção de estados por bloco:
  • $K=N_c$: Memória episódica sem perdas (todos os estados retidos).
  • $K=1$: Memória semântica (apenas o estado final retido, idêntico aos blocos do PRECOG).
• Inicialização de Sessão O(1): No início de uma sessão, o sistema identifica o domínio dominante e injeta o estado semântico consolidado correspondente diretamente no SSM. Isso inicializa o modelo com um histórico de interações sem reingerir nenhum token, mantendo a latência $O(1)$ independentemente do comprimento do histórico acumulado.

3. Principais Contribuições

1. Refatoração Algorítmica do RAG: O artigo demonstra que o custo de ingestão de contexto pode ser reduzido de $O(L_{context})$ para $O(1)$ injetando estados ocultos de SSM pré-computados, um mecanismo estruturalmente impossível para Transformers devido ao entrelaçamento posicional.
2. Prova de Equivalência Exata: O Teorema 1 fornece uma garantia formal de que o PRECOG produz trajetórias de estado idênticas ao RAG in-context, garantindo que o ganho de velocidade não venha às custas da qualidade da resposta.
3. Substrato de Memória Unificado: O mesmo primitivo de injeção de estado unifica a recuperação de corpus estático (PRECOG) e a memória persistente dinâmica (SMC), permitindo que modelos de borda fundam conhecimento recuperado e histórico do usuário em um único passo de consulta.
4. Viabilidade de Implantação em Borda: Ao instanciar esses métodos no TENNs-LLM (um modelo de SSM com portão de 1.2B de parâmetros e um estado oculto total de 192 KB), os autores demonstram que a recuperação de nível de estado é prática em hardware de borda neuromórfico, onde o pequeno footprint do estado cabe dentro das restrições de memória on-chip.

4. Resultados

O sistema foi avaliado no conjunto de desenvolvimento SQuAD v1.1 utilizando um backbone TENNs-LLM de 1.2B de parâmetros.

• Qualidade: O PRECOG (injeção top-1) alcançou um Exact Match (EM) de 58.0 e F1 de 73.4, igualando o baseline de RAG in-context (EM 58.2, F1 73.6) dentro dos limites do ruído de quantização FP16. Isso valida empiricamente a equivalência teórica.
• Latência: Em hardware de borda (processador neuromórfico simulado), o PRECOG reduz o prefill de latência de ~27 segundos (necessários para a ingestão in-context de um bloco de 512 tokens) para <6 ms para o overhead de recuperação e injeção propriamente dito. O Tempo para o Primeiro Token (TTFT) total, incluindo a ingestão dos tokens da consulta, é de aproximadamente 585 ms. O aumento de velocidade de ~4.500× citado no artigo refere-se especificamente à eliminação da fase de ~27 s de ingestão de contexto, não à latência total da consulta.
• Eficiência de Armazenamento: Para um bloco de 512 tokens, o estado PRECOG requer 192 KB, enquanto um cache KV comparável de Transformer requer ~16 MB (uma redução de 85×). Para um corpus de 10.000 blocos, o PRECOG requer 1.9 GB de armazenamento contra 160 GB para uma abordagem hipotética de cache KV, tornando esta última inviável em dispositivos de consumo.
• Ablações:
  • Profundidade de Injeção: A injeção apenas das 12 camadas inferiores (96 KB) preservou 99% do score F1 de tempo integral, sugerindo potencial para maior otimização de armazenamento.
  • Comprimento do Bloco: O desempenho iguala o RAG in-context para blocos de até ~600 tokens (o horizonte de memória efetiva do modelo). Além disso, o PRECOG degrada graciosamente conforme o SSM naturalmente esquece tokens distantes, espelhando o comportamento do RAG in-context com o mesmo backbone.

5. Significância e Alegações

O artigo afirma que o PRECOG e o SMC representam uma mudança fundamental na forma como a recuperação e a memória são tratadas para modelos de linguagem de borda. A significância reside em:

• Exclusividade Arquitetural: O mecanismo depende da invariância de translação temporal dos SSMs, tornando-o "arquiteturalmente impossível" para caches KV de Transformers.
• Viabilidade de Borda: Resolve o "gargalo de prefill" que atualmente impede o RAG interativo em dispositivos com largura de banda limitada, permitindo uma mudança da inferência dependente da nuvem para a interação de baixa latência no próprio dispositivo.
• Princípio de Design: Os autores postulam que, à medida que os SSMs fecham a lacuna de qualidade com os Transformers, suas propriedades estruturais (estados de tamanho fixo e agnósticos à posição) permitirão uma nova classe de algoritmos de recuperação, cache e extensão de memória que são inacessíveis às arquiteturas baseadas em atenção.

O artigo permanece modesto quanto às limitações, reconhecendo que o PRECOG herda o horizonte de memória finito do SSM (não pode recuperar informações que o backbone esqueceria) e que a heurística de composição top-$k$ (para recuperação de múltiplos blocos) é uma aproximação sem a garantia de exatidão da injeção top-1. Adicionalmente, os números de implantação neuromórfica baseiam-se em medições de FPGA e simulações de potência de 12 nm, aguardando verificação de tape-out físico.