Resumo Técnico: Semidirect Fourier Delta Attention (SFDA)

Declaração do Problema

Mecanismos de atenção linear visam substituir a complexidade quadrática e o crescimento do cache KV da atenção softmax por um estado recorrente de tamanho fixo. No entanto, a memória de estado fixo frequentemente tem dificuldade com cópia exata, rastreamento preciso de estado algorítmico e recuperação de contexto longo. A Kimi Delta Attention (KDA) representa uma abordagem recente e forte nessa direção, utilizando um estado de memória valorado por matriz atualizado via um decaimento diagonal e uma correção de posto-um (rank-one). Embora a KDA alcance eficiência prática através de uma representação estilo WY baseada em blocos (chunks), seu decaimento diagonal puramente real limita sua capacidade de realizar memória cíclica limitada ou rastrear estados oscilatórios. A questão central abordada neste trabalho é se a dinâmica de fase/controle algébrica pode ser adicionada à memória recorrente do tipo KDA sem destruir o kernel estruturado de bloco necessário para a eficiência.

Metodologia

O artigo introduz a Semidirect Fourier Delta Attention (SFDA), uma camada de regra delta com controle de fase que contém estritamente a KDA como um caso especial.

Arquitetura Central

A SFDA substitui o decaimento diagonal real da KDA por um operador de controle Fourier de rotação em bloco. Em coordenadas complexas, a atualização recorrente é definida como:
$$S_t = (I - \beta_t k_t k_t^*) \Lambda_t S_{t-1} + \beta_t k_t v_t^*$$
onde $\Lambda_t = \text{diag}(\alpha_t \odot e^{i\theta_t})$.

• Controle de Fase: $\Lambda_t$ introduz uma fase de Fourier aprendível $\theta_t$ ao lado do decaimento $\alpha_t$.
• Correção Delta: O termo de atualização de posto-um $\beta_t k_t v_t^*$ permanece, preservando a estrutura de regra delta.
• Implementação Real: Em coordenadas reais, o diagonal complexo $\Lambda_t$ é implementado como uma soma direta de blocos de rotação-decaimento $2 \times 2$, evitando a necessidade de FFTs e mantendo a compatibilidade de hardware.

O Teorema de Chunk-WY Construtivo

A principal contribuição técnica é um teorema de chunk-WY construtivo da esquerda para a direita. Para uma sequência de transições $A_t = \Lambda_t - u_t r_t^*$ (onde $u_t = \beta_t k_t$ e $r_t = \Lambda_t^* k_t$), o produto $P_t = A_t A_{t-1} \cdots A_1$ pode ser explicitamente atualizado como:
$$P_t = \Gamma_t - Y_t M_t W_t^*$$
onde:

• $\Gamma_t$ é o produto das matrizes de fase-decaimento.
• $Y_t, W_t$ são matrizes de tamanho $d \times t$ (limitadas pelo tamanho do bloco $C$).
• $M_t$ é uma matriz triangular de tamanho $t \times t$.

Crucialmente, o posto da correção cresce apenas dentro de um bloco fixo de tamanho $C$. Isso transforma o fechamento sob composição em uma recursão local por bloco implementável, fornecendo um resumo de escrita afim exato e limites de custo formais.

Expressividade de Estado Finito

O artigo distingue entre o template afim de escrita amarrada generalizado (usado para provas de expressividade teórica) e a família SFDA compatível com kernel (usada para implementação).

• Template Generalizado: Os autores provam que todo autômato finito determinístico (DFA) pode ser exatamente realizado por um sistema afim de escrita amarrada via levantamento one-hot, mesmo com a restrição de acoplamento erase-write (ao definir o coeficiente de escrita como zero).
• Realização Compacta: Para a família SFDA real compatível com kernel ($\Lambda_t - u_t r_t^*$), o artigo caracteriza a expressividade compacta para famílias estruturadas específicas:
  • SFDA de fase apenas: Realiza exatamente contadores cíclicos de produto e filtros oscilatórios.
  • Com Reflexões: Realiza memória de orientação de fase diedral.
  • Com Correção Delta: Realiza memórias de registro/reset.
  • Com Permutações Parciais: Realiza pilhas (stacks) limitadas.

Principais Contribuições

1. Definição de SFDA Amarrada (Tied): Uma arquitetura formal que generaliza a KDA ao inserir uma matriz de controle de rotação em bloco, recuperando a KDA quando as fases são zero.
2. Teorema de Chunk-WY Construtivo: Uma prova de que a fase-decaimento mais correções de posto-um admite uma recursão explícita da esquerda para a direita para produtos de blocos, mantendo o posto limitado pelo tamanho do bloco $C$.
3. Transferência de Bloco Afim Exata: Um teorema mostrando como computar o resumo de escrita do bloco $B_{\text{chunk}}$ via uma recorrência de estado inicial zero, permitindo atualizações de estado de fronteira exatas.
4. Caracterização de Expressividade Compacta: Provas de que a SFDA realiza compactamente contadores cíclicos, memória diedral, registros e pilhas limitadas sob controles estruturados específicos, observando que autômatos finitos arbitrários requerem levantamento one-hot no template generalizado.
5. Realizabilidade de Estado Finito: Uma prova de que a restrição de escrita amarrada não é uma obstrução de expressividade para DFAs quando usando o template generalizado.
6. Roteamento Restrito à Órbita: Um teorema caracterizando quando uma direção de escrita amarrada pode ser roteada para uma direção desacoplada usando apenas a família de controle estruturado do modelo (ex: rotações em bloco).

Resultados

O artigo valida suas alegações algébricas e mecanismos através de verificações numéricas e experimentos de brinquedo (toy experiments), evitando explicitamente alegações de superioridade em modelos de linguagem de grande escala neste estágio.

• Verificação Numérica: A recursão construtiva de chunk-WY, a transferência de bloco afim e a redução à KDA foram verificadas contra o ground truth de força bruta, mostrando resíduos na precisão numérica (ex: $10^{-10}$ a $10^{-15}$).
• Experimentos de Memória Cíclica:
  • Contador Construído: Em uma tarefa de contador mod-5 sem treinamento, a SFDA rastreou o estado exatamente do comprimento 27 ao 213, enquanto uma linha de base de decaimento diagonal real colapsou para o nível do acaso.
  • Contador Aprendido: Um modelo mínimo de SFDA treinado no comprimento 48 extrapolou com sucesso para comprimentos de até 768 (aprox. 4x o comprimento de treinamento) em uma tarefa de contador mod-5, enquanto a linha de base KDA sem fase permaneceu próxima ao acaso.
  • Contador de Reset: A SFDA extrapolou essencialmente de forma perfeita para 8x o comprimento de treinamento em uma tarefa de contador de reset, enquanto a KDA estagnou em torno de 0,68 de precisão.

Significância e Alegações

O artigo posiciona a SFDA como um framework teórico e orientado a sistemas para memória delta controlada por fase.

• Significância Teórica: Resolve a tensão entre computação de atalho paralelo e rastreamento de estado recorrente ao provar que dinâmicas de fase podem ser integradas ao framework de regra delta sem sacrificar o invariante de kernel estruturado. Estabelece que a restrição de "escrita amarrada" (tied-write) não impede a realização exata de estado finito, embora a realização compacta de baixa dimensão dependa da família de controle específica.
• Alvo de Sistemas: Os autores afirmam que o alvo empírico imediato não é superar a KDA em tarefas de brinquedo, mas testar se a camada linear mais forte da SFDA pode suportar uma razão linear-para-global de atenção maior (ex: 7:1 ou 15:1) comparado ao híbrido típico de 3:1 da KDA, mantendo ou excedendo o desempenho sob igual computação.
• Modéstia das Alegações: O artigo explicitamente evita afirmar:
  • Uma representação exata de posto fixo global para toda a sequência (o posto cresce dentro dos blocos).
  • Que a SFDA supera a KDA em modelagem de linguagem de grande escala ou velocidade de kernel fundido (estas são reservadas para trabalhos futuros de sistemas).
  • Que todo autômato finito admite uma representação pequena e compacta na família estrita de fase mais posto-um (apenas famílias estruturadas específicas foram provadas como compactamente representáveis).

O trabalho serve como uma fundação formal para uma nova classe de camadas de atenção linear que combinam a eficiência das atualizações de regra delta com as capacidades de rastreamento de estado das dinâmicas de fase de Fourier.