Resumo Técnico: CARVE (Content-Aware Recurrent with Value Efficiency)

1. Definição do Problema

Modelos de sequência recorrentes baseados na família da regra delta (ex: GDN-2) comprimem o contexto passado em uma matriz de estado de tamanho fixo $S_t \in \mathbb{R}^{d_v \times d_k}$. Embora o estado da arte, GDN-2, empregue portões matriciais completos elemento a elemento para apagar e escrever, os autores identificam três defeitos estruturais intrínsecos que limitam sua eficiência e capacidade:

1. Gating Cego ao Conteúdo (Memory-Blind Gating): Tanto o portão de apagamento ($B_t$) quanto o de escrita ($W_t$) são computados exclusivamente a partir do token de entrada $x_t$. O modelo não consegue observar o estado atual $S_{t-1}$ antes de decidir o que esquecer, tornando impossível realizar um esquecimento seletivo dependente do conteúdo (ex: proteger associações de alto valor enquanto limpa ruídos obsoletos).
2. Gargalo de Largura de Banda do Portão de Escrita: A projeção do portão de escrita no GDN-2 mapeia a entrada para uma matriz completa de $d_v \times d_k$. Isso acarreta uma contagem de parâmetros e pegada de memória equivalente à própria projeção de valor, embora os autores argumentem que essa seletividade por valor oferece um retorno expressivo negligenciável para a tarefa central de recuperação associativa.
3. Destruição do Paralelismo de Chunk: O treinamento eficiente de modelos de regra delta depende do resolvedor de chunk triangular na forma WY, que agrupa tokens em um único sistema linear. No entanto, o portão de apagamento do GDN-2 atua tanto nos eixos de valor quanto de chave. Esse acoplamento força o sistema intra-chunk a se decompor em $d_v$ resoluções independentes (uma por linha de valor), colapsando o rendimento de treinamento de um paralelo $O(\log T)$ para custos de recorrência serial.

2. Metodologia: A Arquitetura CARVE

O CARVE resolve esses três problemas simultaneamente através de uma única restrição arquitetural: restringir todo o gating apenas ao eixo da chave (key axis). Esta restrição é provada como a condição necessária e suficiente para que o resolvedor de chunk na forma WY permaneça válido.

2.1 Apagamento Sensível ao Conteúdo via Reuso de Saída

Para permitir um gating consciente da memória sem o custo proibitivo de ler a matriz de estado $S_{t-1}$ da Memória de Alta Largura de Banda (HBM), o CARVE introduz um novo mecanismo de leitura:

• Mecanismo: O tensor de saída recorrente $o_t = S_{t-1}q_t$ já é computado e escrito na HBM pelo kernel. O CARVE reutiliza este tensor para computar a média do chunk $m_c = \frac{1}{L}\sum o_t$.
• Gating: Esta média do chunk serve como um sinal de conteúdo passado através de uma projeção de baixo rank inicializada com zero $U_b$ para modular o portão de apagamento: $b_{c,t} = \sigma(b_{x,t} + U_b m_c)$.
• Eficiência: Isso adiciona zero tráfego adicional de HBM. O sinal está um chunk "atrasado", mas a análise teórica mostra que a perturbação resultante no portão decai como $O(1/\sqrt{L})$, medindo empiricamente um desvio plano de 0,18% para comprimentos de chunk de até $L=128$.

2.2 Portão de Escrita de Valor Escalar

O CARVE substitui a projeção do portão de escrita de $d_v$ dimensões por um único escalar $w_{h,t}$ por cabeça de atenção, transmitido uniformemente por todos os canais de valor.

• Impacto: Isso reduz os parâmetros do portão de escrita por um fator de $d_v$ (ex: de 589.842 para 9.216 por camada em $H=12, d_v=768$).
• Garantia Teórica: Os autores provam (Teorema 15) que um escalar é suficiente para a recuperação associativa de slot único, tornando esta redução sem perdas para a tarefa principal.

2.3 Decaimento e Fusão no Eixo da Chave

A arquitetura emprega um portão de decaimento exponencial estritamente no eixo da chave. A ativação de decaimento é fundida diretamente dentro do kernel Triton ("gate-in-kernel"), eliminando a necessidade de armazenar um tensor de ativação de sequência completa, economizando memória e melhorando o rendimento.

3. Principais Contribuições e Garantias Teóricas

O artigo fornece seis resultados teóricos formais que sustentam o design:

1. Fronteira de Chunkability (Teorema 11): Prova que o apagamento exclusivo no eixo da chave é a condição necessária e suficiente para que o resolvedor de chunk triangular na forma WY funcione sem decomposição.
2. Hierarquia de Subsumção (Teorema 1): Estabelece que o CARVE generaliza estritamente arquiteturas de chave cega à memória, redes com portão escalar e a regra delta original.
3. Incomparabilidade (Proposição 2): Demonstra que o CARVE e o GDN-2 operam em subespaços estruturalmente diferentes; nenhum contém o outro, mas o CARVE oferece capacidades condicionadas à memória superiores.
4. Estabilidade de Lyapunov (Teorema 4): Mostra que o gating biaxial do CARVE (decaimento + apagamento) fornece uma razão de contração estritamente mais apertada que o GDN-2, garantindo que as normas dos estados permaneçam limitadas.
5. Fluxo de Gradiente (Teorema 5): Limita as normas dos gradientes, mostrando que o CARVE não introduz novas patologias de desaparecimento de gradiente.
6. Separação de Expressividade (Teorema 7): Prova que o CARVE pode resolver a tarefa de "Sobrescrita de Chave Seletiva" (SKO) com $O(d_v + d_k)$ parâmetros, enquanto qualquer portão cego à memória falha, independentemente da largura.

4. Resultados Empíricos

Avaliado na escala de 1,3B de parâmetros em 100B de tokens do FineWeb-Edu usando GPUs NVIDIA H100 (média sobre três sementes):

• Modelagem de Linguagem: No WikiText, o CARVE alcança uma perplexidade de 15,72 comparado aos 15,90 do GDN-2 (uma redução de $-0,18$, um efeito de 4,5$\sigma$). A variante híbrida (CARVE + Sliding Window Attention) atinge 15,41 vs. 15,62.
• Benchmarks de Raciocínio: O CARVE lidera todas as baselines recorrentes com uma média de +0,63 pontos percentuais em nove tarefas comuns de raciocínio de senso comum.
• Recuperação In-Context (RULER): Define o estado da arte em cada comprimento de contexto Single-Needle (S-NIAH) e Multi-Key Needle (MK-NIAH), superando o Mamba-3 e o GDN-2.
• Recuperação no Mundo Real: Lidera todos os seis benchmarks de recuperação do mundo real (SWDE, SQuAD, FDA, etc.) tanto em configurações recorrentes quanto híbridas.
• Eficiência de Hardware:
  • Throughput: 93,36K tokens/seg, dentro de 0,4% do baseline GDN-2 (diferença estatisticamente insignificante).
  • Memória: O uso de pico de memória é 13% menor (6,54 GB vs. 7,50 GB).
  • Parâmetros: Os parâmetros do mixer são 19% menores devido ao portão de escrita escalar.

5. Significância e Alegações

O artigo afirma que o CARVE é a primeira arquitetura na família delta com portões que simultaneamente alcança:

1. Gating sensível ao conteúdo (observando a memória antes de esquecer) com custo de memória adicional zero.
2. Treinamento de chunk em paralelo total na forma WY (preservando o alto rendimento).
3. Redução da contagem de parâmetros (via portões de escrita escalares).

Os autores enfatizam que essas melhorias não são aproximações, mas fundamentadas em provas formais e medições de hardware. O design resolve a "tensão tripla" entre gating mais rico, menor largura de banda e treinamento paralelo que anteriormente restringia modelos como o GDN-2. O artigo conclui que a capacidade de "olhar para sua própria memória antes de decidir o que esquecer" é alcançável a custo zero através do reuso de tensores de saída, melhorando fundamentalmente a eficiência e a capacidade dos modelos de linguagem recorrentes.

Limitações Reconhecidas: O sinal de conteúdo depende da média do chunk anterior; portanto, sequências menores que dois chunks não recebem sinal de conteúdo. A avaliação é atualmente limitada ao pré-treinamento, e o comportamento em regimes de ajuste fino (fine-tuning) ou seguimento de instruções permanece uma questão aberta.