Resumo Técnico: Compressão de Triplo-Latente Genérica com Recuperação Associativa Controlada por Portas (Gated)

Declaração do Problema

A modelagem de sequências padrão depende da autoatenção total para capturar interações de tokens de ordem superior, o que incorre em custos computacionais quadráticos e exige kernels altamente otimizados. Enquanto alternativas recorrentes e de tempo linear (ex: RetNet, Mamba, RWKV) oferecem eficiência através de estados comprimidos, elas frequentemente sacrificam o poder expressivo, particularmente na modelagem de dependências complexas de ordem superior além das interações de pares.

Este artigo investiga uma questão específica: Pode uma compressão latente genérica comprimir efetivamente interações de tipo triplo-latente para melhorar o desempenho em benchmarks padrão de modelagem de linguagem sem depender de enumeração explícita de tripletos de tokens ou de parsing específico de tarefas? Os autores visam determinar se a compressão latente por si só pode recuperar os benefícios das interações de ordem superior e se a recuperação exata (recuperação associativa) pode ser integrada em tal estrutura comprimida.

Metodologia

1. Arquitetura de Triplo-Latente Genérica

A contribuição central é uma família de modelos recorrentes e não tipados que mantêm um estado de token contínuo ao lado de um caminho de memória de pares comprimido. Diferente dos modelos latentes tipados, estas arquiteturas recebem apenas IDs de tokens brutos e não utilizam cabeças simbólicas específicas para tarefas.

• Atualização de Estado: Um estado contínuo $s_t$ é atualizado via um portão de retenção aprendido $\lambda_t$:
  $$s_t = \lambda_t \odot s_{t-1} + (1 - \lambda_t) \odot a_t$$
• Memória de Pares Comprimida: Uma memória de pares densa $P_t$ armazena interações entre o estado anterior e um vetor de escrita atual $b_t$:
  $$P_t = \gamma_t \odot P_{t-1} + (1 - \gamma_t) \odot (s_{t-1} \otimes b_t)$$
  onde $P_t \in \mathbb{R}^{H \times S \times S}$.
• Leitura (Readout): O modelo sonda a memória comprimida com uma consulta à esquerda $q^\ell_t$ e compõe o resultado com uma consulta à direita $q^r_t$ para formar um recurso de ordem superior antes da compressão:
  $$o_t = W_o \text{vec}((P_t q^\ell_t) \odot q^r_t)$$

2. Variantes de Arquitetura

O estudo avalia três variantes específicas contra um baseline Transformer padrão:

• Triplo-Latente (Triple-Latent): Utiliza memória de pares densa $P_t$.
• Triplo-Slot (Triple-Slot): Substitui a memória densa por slots aprendidos que armazenam fatores de baixo rank à esquerda e à direita.
• Triplo-Híbrido (Triple-Hybrid): Mantém a memória de pares densa e adiciona um caminho convolucional local antes da pilha recorrente.

3. Baseline de Compatibilidade (Transformer+Triple)

Para isolar o benefício das interações triplas da substituição da atenção, um baseline de compatibilidade é introduzido. Este modelo mantém uma pilha Transformer padrão, mas adiciona uma única camada de triplo-latente na saída como uma cabeça residual de ordem superior aditiva, preservando as buscas de chave-valor da autoatenção padrão.

4. Recuperação Associativa Híbrida Controlada por Portas (Gated)

Reconhecendo que modelos puramente latentes falham na recuperação exata, os autores propõem um híbrido focado em recall. Este design mantém a pilha triplo-latente para compressão, mas adiciona um caminho de memória chave-valor explícito para recuperação:

• Escrita de Memória: Pares chave-valor $(k_{t-1}, v_t)$ são escritos usando projeções aprendidas.
• Recuperação: Consultas são geradas a partir da representação do token anterior ($q_t = W_q e_{t-1}$) para computar pontuações de similaridade top-k contra chaves armazenadas.
• Fusão Tardia Controlada por Portas (Gated Late Fusion): O vetor recuperado é fundido na camada de saída via um portão de leitura aprendido e fusão de logits, garantindo que o caminho de compressão recorrente com perda (lossy) permaneça intocado pelas escritas de recuperação.

Configuração Experimental

A avaliação utiliza um stack de benchmarks "deliberadamente simples":

1. WikiText-2 em nível de Byte: Modelagem de linguagem autorregressiva em bytes UTF-8 brutos (vocabulário de 259 tokens).
2. Benchmark Tokenizado MiniMind: Um benchmark de pré-treinamento usando um tokenizador e corpus específicos, seguindo um protocolo estrito de 120 passos com três sementes (seeds).
3. Recuperação Associativa (Associative Recall): Um teste de estresse sintético envolvendo pares chave-valor, preenchimentos aleatórios (fillers) e uma consulta final.
4. Perfilamento de Throughput: Medições em Apple MPS através de vários comprimentos de sequência.

Resultados Principais

Desempenho de Modelagem de Linguagem

• Configuração de Largura Correspondente (Matched-Width): Todas as três variantes de triplo-latente superaram o baseline Transformer no WikiText-2 em nível de byte. O Triple-Hybrid alcançou 4.766 bits-por-byte (BPB) comparado aos 5.124 do Transformer.
• Configuração de Parâmetros Correspondentes (Parameter-Matched): Mesmo com menos parâmetros, o Triple-Hybrid manteve uma vantagem (5.067 BPB vs. 5.124 BPB). Uma varredura direcionada encontrou uma configuração (d=64, dim do estado=8) que atingiu 4.806 BPB médio através de três sementes, superando significativamente os 5.143 do Transformer.
• Benchmark MiniMind: Todos os modelos com adição de triplo melhoraram a perda média de token sobre o Transformer. O Gated Hybrid foi o modelo mais forte (6.766 de perda), seguido pelo Triple-Hybrid (7.035) e o baseline de compatibilidade transformer_plus_triple (7.239).

Recuperação Associativa (Associative Recall)

• Falha do Modelo Puramente Latente: A família base de triplo-latente falhou em melhorar a recuperação associativa, performando próximo ao nível do acaso (~13.4%) comparado aos 25.4% do Transformer.
• Sucesso do Gated Hybrid: O híbrido controlado por portas focado em recall melhorou significamente o desempenho, atingindo 41.9% de recall médio através de três sementes (vs. 25.0% para o Transformer e 11.6% para o Triple-Hybrid puro). A melhor semente alcançou 100.0% de precisão.
• Instabilidade: O alto desempenho de recall foi altamente sensível à semente e não monotônico em relação à largura. Uma tentativa subsequente de retreinamento usando warmup e escalonamento de currículo falhou em reproduzir o modo de alto recall, colapsando de volta para uma média de ~12.7% de recall.

Desempenho de Sistemas

• Throughput: Nenhum dos modelos obteve uma vitória em throughput de tempo de execução (wall-clock). Devido à atual implementação de referência em loop Python (falta de kernels fundidos), o Triple-Hybrid foi ~32.7x mais lento que o Transformer no comprimento de sequência 64, e o Gated Hybrid foi ~106.5x mais lento.
• Estimativa de Computação: Estimativas analíticas de FLOPs sugerem que o Triple-Hybrid utiliza ~0.80x dos FLOPs de forward dominantes do Transformer, indicando que a lacuna de desempenho é um artefato de implementação, não uma limitação arquitetural.

Significância e Alegações

O artigo posiciona estes resultados como evidência para duas conclusões distintas:

1. A Compressão Latente é Eficaz para Modelagem Genérica: A família base de triplo-latente demonstra que a compressão latente genérica pode capturar com sucesso interações de tokens de ordem superior, melhorando o desempenho de modelagem de linguagem tanto em benchmarks de nível de byte quanto tokenizados, sem exigir enumeração de tripletos explícita ou parsing específico de tarefas. Os ganhos persistem mesmo sob correspondência aproximada de parâmetros.

2. Separação de Compressão e Recuperação: A recuperação exata beneficia-se de um caminho de memória separado e controlado por portas, em vez de ser forçada em um único estado comprimido. Embora os modelos puramente latentes falhem na recuperação, a adição de um caminho de chave-valor separado com fusão tardia controlada por portas permite que a arquitetura supere o Transformer na tarefa de recuperação associativa.

Limitações e Ressalvas:

• Os resultados baseiam-se em experimentos de pequena escala (Apple MPS) e horizontes de treinamento curtos.
• O alto desempenho de recall é atualmente instável entre sementes e larguras.
• Os resultados de throughput refletem uma implementação de pesquisa em Python; os autores observam que um sistema de produção exigiria scans recorrentes fundidos, busca associativa on-device e caminhos de backward compilados para realizar o perfil aritmético favorável.

Os autores concluem que, embora isto ainda não seja um substituto prático para a atenção padrão devido à maturidade da implementação e problemas de estabilidade, fornece evidência significativa de que a compressão latente e a recuperação exata podem coexistir em uma única arquitetura genérica quando roteadas através de caminhos separados.