Resumo Técnico: AVEY-B – Um Codificador Bidirecional sem Atenção para Contextos Longos

1. O Problema

Os codificadores bidirecionais pré-treinados baseados em Transformers (como BERT e suas variantes modernas) são o padrão da indústria para tarefas de Processamento de Linguagem Natural (NLP) com recursos limitados. No entanto, eles enfrentam dois desafios principais:

1. Custo Computacional Quadrático: O mecanismo de auto-atenção possui complexidade de tempo e memória $O(N^2)$ em relação ao comprimento da sequência ($N$). Isso limita a extensão prática das janelas de contexto em implantações sensíveis a custos.
2. Ineficiência em Contextos Longos: Embora existam otimizações (como FlashAttention), a escalabilidade para sequências muito longas (ex: 96k tokens) continua sendo um gargalo, resultando em latência alta e degradação de desempenho.

O modelo Avey (introduzido anteriormente) foi proposto como uma alternativa autoregressiva sem atenção, que divide a sequência em fatias (splits) e recupera as mais relevantes. Contudo, a versão original não era otimizada para o paradigma de codificador bidirecional puro, essencial para tarefas discriminativas como classificação e recuperação de informação.

2. Metodologia: A Arquitetura Avey-B

O Avey-B reformula a arquitetura Avey para o modo de codificador bidirecional, introduzindo três inovações arquiteturais principais para melhorar a estabilidade, a eficiência e a eficácia:

A. Contextualização Bidirecional

Ao contrário do Avey original (que usa máscaras causais), o Avey-B remove a máscara autoregressiva no contextualizador. Isso permite que cada token condicione-se tanto ao contexto à esquerda quanto à direita, mantendo a capacidade de acesso global seletivo através do ranker.

B. Parametrização Desacoplada (Decoupled Parameterization)

No Avey original, a matriz de pesos aprendida (estática) e a matriz de similaridade baseada em cosseno (dinâmica) são multiplicadas elemento a elemento. Isso pode causar comportamentos patológicos onde um token altamente relevante contribui menos que um menos relevante devido a interações destrutivas entre pesos fixos e scores dinâmicos.

• Solução: O Avey-B desacopla essas parametrizações. As camadas alternam entre:
  • Camadas Estáticas: Aplicam uma transformação linear aprendida.
  • Camadas Dinâmicas: Pesam os embeddings exclusivamente com base na similaridade de cosseno.
• Benefício: Isso preserva a monotonicidade da relevância dentro das camadas dinâmicas (tokens mais similares contribuem mais), enquanto as camadas estáticas podem moldar a representação sem inverter essa ordem.

C. Normalização Orientada à Estabilidade

No Avey original, os scores de similaridade não eram normalizados adequadamente, levando a valores singulares inflados e instabilidade no treinamento.

• Solução: O Avey-B normaliza os scores de similaridade de cosseno por linha (dividindo a soma dos scores de cada posição).
• Benefício: Isso cria um operador estocástico que limita o ganho por linha, estabiliza o fluxo de gradientes e melhora a condicionamento numérico, superando alternativas como Softmax ou RMS Norm.

D. Compressão Neural (Neural Compression)

No cenário bidirecional, concatenar cada fatia com suas $k$ fatias recuperadas inflaria o tamanho da sequência em um fator de $k+1$, tornando o processamento ineficiente.

• Solução: O Avey-B introduz um compressor neural no ranker. Após recuperar as $k$ fatias relevantes, o compressor usa uma projeção linear aprendida para condensar o bloco concatenado de volta ao tamanho de uma única fatia original.
• Benefício: O processador neural opera apenas no número original de tokens, eliminando computações redundantes e permitindo que a eficiência de throughput seja independente de $k$.

3. Principais Contribuições

1. Arquitetura Avey-B: Um novo codificador bidirecional sem atenção que desacopla parametrizações estáticas e dinâmicas e introduz normalização de similaridade.
2. Mecanismo de Compressão: Redesenho do ranker para comprimir o contexto recuperado, tornando o custo computacional por fatia independente do número de fatias recuperadas ($k$).
3. Análise Abrangente: Estudos extensivos de ablação e escolha de design que validam cada componente (desacoplamento, normalização, compressão).
4. Desempenho Superior: Demonstração de que o Avey-B supera modelos baseados em Transformer (BERT, RoBERTa, ModernBERT, NeoBERT) em tarefas críticas, especialmente em classificação de tokens e recuperação de informação (IR).

4. Resultados Experimentais

Eficácia (Desempenho em Tarefas)

O Avey-B foi pré-treinado em 180B tokens (corpus FineWeb) e comparado com BERT, RoBERTa, ModernBERT e NeoBERT.

• Classificação de Tokens (TC) e Recuperação de Informação (IR): O Avey-B superou consistentemente todos os modelos baseados em Transformer nessas categorias.
  • Nota: O modelo Base do Avey-B superou os modelos Large de Transformer em TC e IR, apesar de ter sido pré-treinado com ~11x menos tokens que o ModernBERT.
• Classificação de Sequência (SC) e QA: O Avey-B superou o BERT e o NeoBERT em todas as benchmarks. Em comparação com o ModernBERT e RoBERTa, obteve resultados competitivos ou superiores em tarefas de extração e classificação.
• Robustez: Análise de variância entre sementes aleatórias mostrou que o Avey-B possui estabilidade de otimização superior à maioria dos baselines Transformer.

Eficiência (Escalabilidade e Latência)

O estudo focou na latência e no throughput (tokens/segundo) em GPUs NVIDIA H200/B200 para sequências de 128 a 96k tokens.

• Escalabilidade Linear: O Avey-B exibe uma complexidade efetiva linear $O(N)$ em relação ao comprimento da sequência, devido ao processamento independente por fatias.
• Comparação de Throughput:
  • Em 96k tokens, o Avey-B foi 3,38x mais rápido que o ModernBERT e 11,63x mais rápido que o NeoBERT.
  • O expoente de decaimento de potência ($\alpha$) para o Avey-B foi de 0,44, significativamente menor que o ModernBERT (0,77) e NeoBERT (0,81), indicando uma degradação muito mais lenta do desempenho à medida que o contexto aumenta.
• Long-Context (Needle-in-a-Haystack): Em benchmarks sintéticos de "agulha no palheiro" (NIAH) até 96k tokens, o Avey-B manteve alta acurácia, enquanto modelos Transformer falharam devido a limitações de memória (OOM) ou degradação severa de desempenho além de suas janelas de treinamento.

5. Significado e Conclusão

O Avey-B demonstra que a atenção (self-attention) não é o único caminho viável para codificadores bidirecionais de alto desempenho. Ao combinar recuperação seletiva de contexto com processamento neural eficiente e arquiteturalmente estável, o Avey-B oferece:

1. Eficiência Industrial: Permite o processamento de contextos extremamente longos com latência e custos de memória drasticamente reduzidos.
2. Desempenho Superior: Alcança state-of-the-art em tarefas discriminativas (TC e IR) com menos dados de pré-treinamento e parâmetros.
3. Generalização: A capacidade de extrapolar para contextos muito maiores que a janela de treinamento (2k tokens) sem re-treinamento é uma vantagem crítica para aplicações do mundo real.

O trabalho sugere um futuro onde arquiteturas híbridas de recuperação e processamento neural (sem atenção global densa) podem substituir os Transformers tradicionais em cenários de recursos limitados e contextos longos. O código e os checkpoints pré-treinados foram liberados para garantir reprodutibilidade.