💬 NLP

BCMT: Blockwise Causal Memory Transformer

O BCMT (Blockwise Causal Memory Transformer) introduz uma arquitetura inovadora que desacopla as interações locais de tokens da propagação de contexto global por meio de uma memória causal exponencial de resumos de blocos, alcançando um desempenho comparável ao de Transformers densos para modelagem de contexto longo, enquanto melhora significativamente o rendimento de treinamento e reduz o consumo de memória.

Autores originais: Rachid Arezki

Publicado 2026-08-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rachid Arezki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando contar uma história para um amigo, mas a história tem um milhão de palavras. No mundo da inteligência artificial, computadores que escrevem histórias (chamados de modelos de linguagem) geralmente usam uma ferramenta chamada "Transformer" para entender o enredo. Pense em um Transformer como um bibliotecário superorganizado que, para entender a frase atual, olha para cada uma das palavras que vieram antes dela em todo o livro. Isso funciona incrivelmente bem para contos curtos, mas conforme o livro fica mais longo, o bibliotecário fica sobrecarregado. Se o livro tem 1.000 palavras, o bibliotecário tem que fazer 1.000 conexões. Se o livro tem 10.000 palavras, ele tem que fazer 100.000 conexões. É como tentar apertar a mão de todos em um estádio ao mesmo tempo; o esforço cresce tão rápido que o computador fica sem memória e tempo, tornando impossível ler livros muito longos.

Cientistas têm tentado resolver esse "problema do livro longo" há anos. Alguns tentaram fazer o bibliotecário olhar apenas para as últimas páginas (o que faz perder a visão geral), enquanto outros tentaram construir um banco de memória especial onde o bibliotecário anota o que aconteceu no passado. Mas essas soluções costumam ser complicadas ou tornam o computador lento de diferentes maneiras. A grande questão é: Podemos construir um computador que entenda histórias longas tão bem quanto o "super-bibliotecário", mas sem a enorme dor de cabeça de verificar cada palavra contra todas as outras?

É aqui que entra uma nova ideia chamada BCMT (Blockwise Causal Memory Transformer), proposta pelo pesquisador Rachid Arezki. Em vez de forçar o computador a olhar para o livro inteiro de uma vez, o BCMT divide a história em pedaços pequenos e gerenciáveis, ou "blocos". Imagine que você está lendo um romance, mas em vez de tentar lembrar de cada palavra da página 1 até a 500, você lê um capítulo, escreve um resumo rápido e inteligente do que aconteceu e, então, coloca esse resumo no seu bolso. Você então lê o próximo capítulo, escreve outro resumo e o adiciona ao seu bolso.

Aqui está a parte inteligente: o BCMT não simplesmente esquece os capítulos antigos. Ele usa um sistema de "memória exponencial" especial. Pense nisso como um eco que vai sumindo. O resumo mais recente que você escreveu está alto e claro em sua mente, mas os resumos dos capítulos anteriores ainda estão lá, apenas ficando cada vez mais silenciosos à medida que você volta no tempo. Isso permite que o computador se lembre do fluxo geral da história sem precisar manter cada detalhe do passado em sua memória ativa.

O artigo testa essa ideia em uma tarefa de linguagem padrão usando um conjunto de dados chamado WikiText-103. Os pesquisadores descobriram que o BCMT funciona quase tão bem quanto o método tradicional do "super-bibliotecário" ao prever a próxima palavra em uma frase, mesmo quando o contexto chega a 1.024 tokens de comprimento. No entanto, a verdadeira magia está na velocidade e eficiência. Como o BCMT não precisa verificar cada palavra contra todas as outras, ele treina muito mais rápido. Em um computador com uma placa de vídeo padrão, o novo método pôde processar cerca de 204.200 tokens por segundo, comparado a apenas 119.900 tokens por segundo do método antigo — um salto enorme. Também utilizou significativamente menos memória de computador (cerca de 10,48 GB em vez de 14,37 GB).

Os pesquisadores também realizaram um teste específico para garantir que a velocidade não era apenas porque eles dividiram a história em partes menores. Eles criaram uma versão do modelo que dividia a história em blocos, mas não utilizava o especial bolso de memória. Essa versão teve um desempenho inferior. Isso sugere que o sistema de memória de "eco que desaparece" é o verdadeiro herói, não apenas o ato de fatiar o texto.

Em suma, o BCMT sugere uma nova maneira de construir IAs que lidam com histórias longas. Ele separa o trabalho de entender a vizinhança imediata (o bloco de texto atual) do trabalho de lembrar o histórico (o bolso de memória). Embora não se lembre de cada detalamente do passado distante com precisão perfeita — já que os resumos mais antigos ficam mais silenciosos — ele oferece uma maneira muito eficiente de manter a visão geral em mente. O autor conclui que essa abordagem é uma alternativa promissora para tornar a IA mais rápida e capaz de ler textos longos, embora observe que, para tarefas que exigem a recordação perfeita de detalhes antigos, o antigo método de "verificar tudo" ainda pode ser necessário.

Resumo Técnico: BCMT (Blockwise Causal Memory Transformer)

Declaração do Problema

As arquiteturas Transformer estabeleceram-se como o paradigma dominante para modelagem de linguagem autorregressiva devido ao poder expressivo da atenção densa. No entanto, este mecanismo exibe uma complexidade computacional quadrática ( $O(T^2)$ ) em relação ao comprimento da sequência $T$ . Esta limitação restringe severamente a aplicabilidade dos Transformers padrão em configurações de contexto longo. Embora várias alternativas tenham sido propostas — incluindo atenção esparsa, aproximações de atenção e arquiteturas de memória recorrente — muitas ou modificam a estrutura de atenção fundamental, ou introduzem dinâmicas recorrentes complexas, ou falham em manter a compatibilidade com implementações padrão de autoatenção densa.

Metodologia

O autor propõe o BCMT (Blockwise Causal Memory Transformer), uma arquitetura projetada para desacoplar a modelagem de interações locais de tokens da propagação de contexto global. O princípio central envolve o particionamento da sequência de entrada em blocos contíguos e não sobrepostos, processando-os através de dois mecanismos complementares:

Autoatenção Causal Densa Local:
Dentro de cada bloco de tamanho $L$ , os tokens interagem via autoatenção causal densa padrão. Isso preserva dependências de alta resolução e granulação fina entre tokens vizinhos. O custo computacional para esta etapa é $O(L^2)$ por bloco, resultando em uma complexidade total de $O(TL)$ para a sequência, que é linear em relação ao comprimento total da sequência quando $L$ é fixo.
Memória Causal Exponencial:
Para propagar dependências de longo alcance entre blocos sem a necessidade de atenção global explícita, o BCMT introduz um mecanismo de memória adaptativo:
- Resumos de Blocos Adaptativos: Após a atenção local, cada bloco é resumido em um único vetor contextual. Diferente de uma simples média, o BCMT aprende um peso adaptativo (via projeção linear e softmax) para agregar as representações dos tokens dentro do bloco.
- Agregação Exponencial: Esses resumos de blocos são agregados ao longo da sequência usando uma memória causal exponencial normalizada. Para o bloco $i$ , o vetor de memória $M^{(i)}$ é computado como uma soma ponderada de todos os resumos de blocos precedentes $S^{(j)}$ (onde $j \le i$ ), ponderados por um fator de decaimento exponencial $\alpha$ (fixado em 0,8).
- Injeção Causal: A memória resultante é projetada e deslocada em um bloco para garantir a causalidade autorregressiva estrita (o bloco $i$ recebe informações apenas dos blocos $1 $a$ i-1$). Esta memória é então transmitida para todos os tokens dentro do bloco atual e fundida com as representações locais via um mecanismo de portão (gating) aprendido.

Este design garante que a arquitetura permaneça totalmente paralelizável e compatível com implementações padrão de GPU de autoatenção densa, evitando estados ocultos recorrentes aprendidos ou tokens de memória persistentes.

Principais Contribuições

O artigo descreve três contribuições primárias:

Desacoplamento Arquitetônico: A proposta do BCMT, que separa explicitamente as interações locais de tokens (tratadas por autoatenção densa dentro dos blocos) da propagação de contexto global (tratada pela memória entre blocos).
Mecanismo de Memória Causal Exponencial: A introdução de um sistema de memória construído a partir de resumos de blocos adaptativos e agregado via decaimento exponencial. Isso permite a modelagem eficiente de dependências de longo alcance sem a necessidade de atenção global explícita ou dinâmicas recorrentes.
Validação Empírica: Demonstração experimental de que o BCMT alcança um desempenho de validação comparável aos Transformers Densos, enquanto melhora significativamente o rendimento (throughput) de treinamento e reduz o consumo de memória.

Resultados Experimentais

Experimentos foram conduzidos no corpus WikiText-103 com comprimentos de contexto de até 1024 tokens, comparando variantes do BCMT contra um Transformer Denso padrão.

Desempenho vs. Eficiência: Variantes do BCMT (com tamanhos de bloco variando de 64 a 512) alcançaram perdas de validação comparáveis ao Transformer Denso. Por exemplo, em um comprimento de contexto de 1024, o BCMT-256 alcançou uma perda de validação de 4,5931 comparado a 4,5752 do Transformer Denso.
Ganhos Computacionais: À medida que o comprimento do contexto aumentava, o BCMT demonstrou melhorias substanciais de eficiência. Em 1024 tokens, o BCMT-128 aumentou o rendimento de treinamento em 70,3% (204,2K vs. 119,9K tokens/s) e reduziu o uso de memória GPU de pico em 27,1% (10,48 GB vs. 14,37 GB) em comparação ao Transformer Denso.
Compromisso de Tamanho de Bloco: O estudo identificou um compromisso (trade-off) entre qualidade de modelagem e eficiência computacional controlado pelo tamanho do bloco. Blocos menores (ex: 64) maximizaram o rendimento, mas incorreram em maior perda de validação, enquanto blocos maiores (ex: 512) aproximaram-se do desempenho do Transformer Denso com ganhos de eficiência mais modestos. O BCMT-256 foi identificado como oferecendo o melhor equilíbrio.
Estudo de Ablação: Um estudo de ablação comparando o BCMT a uma variante sem memória entre blocos (HOnly) confirmou que os ganhos de desempenho advêm do mecanismo de memória proposto. A remoção da memória aumentou consistentemente a perda de validação, provando que as melhorias não são meramente um resultado do particionamento da sequência.
Escalabilidade: Resultados em um conjunto de dados maior (WikiText600k) confirmaram que os ganhos de eficiência e a estabilidade de desempenho do BCMT são mantidos mesmo com um aumento de três vezes nos dados de treinamento.

Significância e Alegações

O artigo postula que uma memória causal exponencial construída a partir de resumos de blocos adaptativos fornece uma alternativa eficaz à atenção global densa para modelagem de linguagem de contexto longo. A significância do BCMT reside em sua capacidade de:

Preservar a simplicidade e a paralelizabilidade das implementações padrão de Transformer.
Evitar os gargalos computacionais de complexidade quadrática sem recorrer a padrões de atenção esparsa ou atualizações de estado recorrente complexas.
Demonstrar que a separação explícita da modelagem de interação local da propagação de contexto global é um princípio arquitetônico viável.

O autor conclui que o BCMT oferece uma alternativa simples, eficiente e totalmente paralelizável para arquiteturas baseadas em atenção global densa, sugerindo que essa separação de preocupações é uma direção promissora para o desenvolvimento de modelos de sequência mais eficientes. O artigo reconhece limitações quanto à incapacidade de recuperar exatamente informações distantes (devido à natureza do decaimento exponencial) e observa que trabalhos futuros poderiam explorar estruturas de memória hierárquicas ou aplicações a modelos maiores.