Resumo Técnico: Raven - Modelagem de Sequência com Alta Recuperação e Roteamento de Memória Esparsa

1. Declaração do Problema

Modelos de sequência de tempo linear, como os Modelos de Espaço de Estados (SSMs) e Transformers lineares, enfrentam um compromisso fundamental na forma como gerenciam a memória para a recuperação de contextos longos. As arquitetias existentes geralmente caem em dois extremos, ambos sofrendo de limitações específicas na recuperação de tokens passados específicos:

• Atualizações de Estado Densas (SSMs): Modelos como Mamba-2, GLA e GDN mantêm um estado de tamanho fixo que é atualizado densamente a cada passo. Cada slot de memória é atualizado para cada novo token, baseando-se em mecanismos de decaimento aprendidos para esquecer. Embora isso permita a persistência indefinida em princípio, as atualizações densas causam interferência, tornando difícil preservar tokens individuais específicos sem que eles sejam sobrescritos ou diluídos por informações subsequentes.
• Escritas Esparsas Baseadas em Posição (Sliding-Window Attention - SWA): A SWA escreve esparsamente ao armazenar representações explícitas de tokens, mas as restringe a uma janela recente fixa. Ela utiliza uma estratégia FIFO (First-In-First-Out) onde tokens antigos são expulsados rigidamente com base na posição. Embora isso permita uma recuperação confiável dentro da janela, a recuperação cai para quase zero assim que o token relevante é expulso, independentemente de sua importância.

O problema central é que os modelos existentes confundem onde a informação é escrita com quanto tempo ela persiste. Os SSMs escrevem em todos os lugares e dependem do decaimento para esquecer; a SWA escreve em lugar nenhum (exceto na janela atual) e depende da posição para esquecer. Nenhum dos dois combina efetivamente a escrita esparsa dependente de conteúdo com um decaimento explícito e controlável.

2. Metodologia: Routing Slot Memories (RSMs)

Os autores propõem as Routing Slot Memories (RSMs), um framework unificado que desacopla a localização das escritas da duração da persistência. As RSMs mantêm um conjunto fixo de $M$ slots de memória e, em cada passo de tempo $t$, utilizam um roteador para determinar qual subconjunto de slots recebe novas informações e aplica o decaimento.

2.1 O Framework RSM

A recorrência geral para uma RSM é definida como:
$$S_t = (1 - r_t) \odot S_{t-1} + r_t \odot (D_t S_{t-1} A_t + U_t)$$
Onde:

• $S_t \in \mathbb{R}^{M \times d}$ é o estado de memória com $M$ slots independentes.
• $r_t \in \mathbb{R}^M$ é o vetor de roteamento que determina a intensidade de escrita para cada slot.
• $D_t$ e $A_t$ controlam o decaimento e a mistura de características.
• $U_t$ é o conteúdo de escrita derivado da entrada $x_t$.

O framework posiciona os modelos existentes em um espectro:

• SSMs: Usam um roteador denso ($r_t = \mathbf{1}_M$), atualizando todos os slots com decaimento gradual.
• SWA: Usa um roteador dependente do tempo e one-hot ($r_t = e_t$), atualizando exatamente um slot com expulsão rígida (sem decaimento).
• GSA/ABC: Usam roteadores dependentes da entrada, mas tipicamente atualizam todos os slots (escritas densas), limitando sua capacidade de isolar memórias.

2.2 A Arquitetura Raven

Raven é uma instanciação específica de RSMs projetada para ocupar o "meio termo", combinando roteamento esparso dependente da entrada com decaimento explícito.

• Estrutura de Estado Duplo: Assim como a SWA, o Raven mantém estados de Chave ($S^k_t$) e Valor ($S^v_t$) separados.
• Roteamento Esparso e Dependente da Entrada: Em vez de uma janela fixa ou atualização densa, o Raven usa um roteador $g_t$ derivado da entrada $x_t$. Ele emprega uma estratégia de seleção Top-K (adaptada do roteamento de DeepSeek MoE) para selecionar um pequeno subconjunto de $K$ slots para atualizar.
  • Os scores são computados via uma função sigmoide: $m_t = \sigma(W x_t)$.
  • Apenas as $K$ entradas superiores são mantidas; as outras são definidas como zero.
  • O roteador é normalizado para garantir que os slots selecionados recebam a intensidade de escrita apropriada.
• Decaimento Seletivo: O decaimento é aplicado apenas aos slots selecionados. A recorrência é:
  $$S^k_t = \exp(a_t r_t) \odot S^k_{t-1} + (1 - \exp(a_t r_t)) \odot k^\top_t$$
  Aqui, $a_t$ é um decaimento escalar dependente da entrada (semelhante ao Mamba-2). Se um slot não é selecionado ($r_t[i] \approx 0$), o termo $\exp(a_t r_t[i]) \approx 1$, o que significa que o slot está congelado e retém seu conteúdo perfeitamente até ser selecionado novamente.
• Design de Bloco Simplificado: Ao contrário de muitos modelos lineares (ex: Mamba, GLA), o Raven omite convoluções de curto alcance. Ele depende exclusivamente dos mecanismos de roteamento e decaimento para integração de contexto local e de longo alcance, resultando em uma estrutura de bloco mais simples.

3. Principais Contribuições

1. Routing Slot Memories (RSMs): Um framework formal que unifica SSMs e SWA, separando explicitamente o "local de escrita" (roteamento) do "mecanismo de esquecimento" (decaimento).
2. O Modelo Raven: Um modelo de sequência de tempo linear que implementa RSMs ao usar roteamento esparso dependente da entrada para atualizar um subconjunto de slots de memória enquanto aplica decaimento apenas aos slots atualizados.
3. Mecanismo para Recuperação de Longo Alcance: Ao rotear tokens críticos para recuperação (ex: passkeys) para slots dedicados e congelá-los, o Raven evita a interferência destrutiva comum em SSMs densos e a expulsão rígida da SWA.
4. Generalização de Comprimento: O modelo alcança um desempenho forte em contextos de até 16$\times$ seu comprimento de treinamento sem currículo de comprimento explícito ou técnicas de interpolação posicional (como RoPE), pois os comprimentos efetivos variáveis através dos slots expõem o modelo naturalmente a diversas dinâmicas temporais.

4. Resultados Experimentais

Os autores avaliaram o Raven em benchmarks de recuperação intensiva e tarefas de modelagem de linguagem geral, comparando-o com fortes baselines, incluindo Mamba-2, GLA, GDN, SWA e variantes de Transformer (FoX).

• Needle-in-a-Haystack (NIAH):
  • Escala de 400M: O Raven manteve precisão quase perfeita ($\ge 99\%$) até 16K tokens e permaneceu forte ($>91\%$) em 32K tokens (16$\times$ o comprimento de treinamento). Em contraste, o Mamba-2 e o GDN degradaram significativamente além de 8K.
  • Escala de 800M: O Raven alcançou 91,0% de precisão no NIAH-1 em 64K tokens, superando significativamente o próximo melhor baseline (GDN com 45,2%).
• Tarefas de Recuperação do Mundo Real:
  • No SWDE (extração web), FDA (extração de documentos) e SQuAD, o Raven superou consistentemente os baselines lineares. Por exemplo, no FDA, foi o único modelo linear a exceder 22% de precisão, melhorando cerca de 8 pontos sobre o melhor baseline de SSM.
• Modelagem de Linguagem:
  • O Raven igualou ou superou o desempenho de SSMs densos (Mamba-2, GLA) em benchmarks padrão de zero-shot (Lambada, PIQA, HellaSwag, etc.), demonstrando que o roteamento esparso não compromete as capacidades gerais de modelagem de linguagem.
• Arquiteturas Híbridas:
  • Quando integrado em modelos híbridos (pareado com camadas de atenção total), o Raven superou significamente os híbridos que usam Mamba-2, GDN ou SWA-RoPE em tarefas de recuperação de contexto longo, particularmente na faixa de 16K–64K.

5. Significância e Alegações

O artigo afirma que o Raven aborda uma lacuna arquitetural fundamental na modelagem de sequência linear. Ao separar explicitamente onde a informação é escrita de quanto tempo ela persiste, o Raven alcança um nível de recuperação de longo alcance anteriormente inalcançável por modelos lineares sem recorrer à atenção quadrática ou configurações híbridas complexas.

As principais alegações incluem:

• Superioridade sobre a SWA: O Raven substitui a expulsão baseada em posição pelo roteamento dependente de conteúdo e decaimento seletivo, permitindo a recuperação perfeita em tarefas onde a S

• Superioridade sobre SSMs Densos: O Raven evita a interferência de atualizações de estado densas ao escrever seletivamente, permitindo que tokens específicos persistam indefinidamente em slots dedicados.

• Simplicidade: O modelo alcança esses ganhos sem convoluções de curto alcance, simplificando a arquitetura em comparação com modelos lineares anteriores.

• Especialização Emergente: A análise mostra que o Raven aprende naturalmente a alocar slots de memória específicos para tokens críticos de recuperação (ex: senhas) enquanto usa outros slots para conteúdo geral, criando uma alocação de memória estruturada e consciente do conteúdo sem supervisão explícita.

Os autores concluem que o framework RSM sugere que o roteamento e o esquecimento são eixos de design ortogonais que devem ser tratados como escolhas de design de primeira classe, em vez de subprodutos de mecanismos de decaimento.