Resumo Técnico: Dual Attention Residuals (DAR)

Declaração do Problema

Avanços recentes em arquiteturas Transformer estenderam os caminhos residuais ao longo de dois eixos complementares: recuperação histórica e resíduos de múltiplos fluxos (multi-stream).

• Recuperação Histórica: Métodos como Transparent Attention, DenseFormer e Attention Residuals (AttnRes) permitem que camadas posteriores acessem representações de profundidades anteriores. Na recuperação de fluxo único padrão, a representação que determina os pesos de profundidade (o "endereço") e o conteúdo sendo recuperado (o "valor") originam-se da mesma trajetória residual. Isso cria um "acoplamento endereço-conteúdo", onde o mecanismo de seleção é restringido pelo estado do fluxo único.
• Resíduos de Múltiplos Fluxos: Métodos como Hyper-Connections e mHC expandem o caminho para múltiplas trajetórias aprendidas (fluxos) para transportar e misturar informações.

Embora essas abordagens tenham sido estudadas isoladamente, uma combinação direta — equipar cada fluxo com um recuperador histórico independente — falha em aproveitar a interação entre os fluxos. Em tal configuração, cada trajetória determina sua própria seleção de profundidade sem influência da outra, impedindo que os sinais complementares de um fluxo guiem a recuperação do outro. O problema central abordado é se esses dois graus de liberdade (seleção de profundidade e manutenção de trajetória) podem interagir produtivamente para melhorar a diversidade de representação e a eficiência de recuperação.

Metodologia: Dual Attention Residuals (DAR)

Os autores propõem o Dual Attention Residuals (DAR), um mecanismo que integra a interação de múltiplos fluxos na recuperação histórica baseada em profundidade através de endereçamento cruzado recíproco entre fluxos.

Mecanismo Central

O DAR modifica o caminho residual em torno de cada ramo Transformer sem alterar o cálculo interno do ramo (atenção ou feed-forward). Para um sistema com dois fluxos ($j \in \{0, 1\}$):

1. Roteamento Recíproco de Chave-Valor: Para um fluxo alvo $j$, os pesos de profundidade são computados usando chaves (keys) derivadas do fluxo oposto ($1-j$), enquanto os valores (values) são recuperados do histórico do próprio fluxo alvo ($j$).
   • $k^j_r = \text{Norm}(H^{1-j}_r)$ (Chave do fluxo oposto)
   • $v^j_r = H^j_r$ (Valor do próprio fluxo)
   • Isso permite que o fluxo oposto forneça um sinal complementar para selecionar profundidades históricas, mesmo que a própria representação do fluxo alvo não corresponda fortemente à consulta.
2. Mistura de Estado e Escritas com Portão (Gated Writes): Os estados recuperados de ambos os fluxos são misturados para formar a entrada para o ramo Transformer inalterado. A saída do ramo é então usada para atualizar ambas as trajetórias residuais via escritas com portão e mistura restrita.
   • Um mecanismo de portão ($\alpha$) mistura os estados recuperados.
   • Um mecanismo de transporte ($\rho$) e um portão de escrita ($\beta$) atualizam o estado parcial do bloco, garantindo o transporte estável de estados parciais existentes dentro de um bloco.

Variantes

• Full DAR: Opera na granularidade de camada ($K=1$), onde cada camada Transformer contribui com uma entrada completada para o histórico recuperável.
• Block DAR: Particiona as camadas em blocos de tamanho $K$. Ele recupera de históricos de blocos completados e, opcionalmente, inclui o estado parcial do bloco atual como um candidato. Isso reduz o overhead ao operar em granularidades de profundidade mais grosseiras.

Comparações de Design

O artigo avalia várias variantes de roteamento para isolar a contribção da interação entre fluxos:

• DAR-SelfKV: Chaves e valores vêm do mesmo fluxo (recuperação padrão de fluxo único por fluxo).
• DAR-CrossV: Chaves do próprio fluxo, valores do fluxo oposto.
• DAR-FixedKV: Atribuição fixa (Fluxo 0 chaves, Fluxo 1 valores para ambos).
• DAR (Proposto): Chaves cruzadas recíprocas com valores do próprio fluxo.

Principais Contribuições

1. Interação de Trajetórias: O artigo demonstra que trajetórias residuais que evoluem independentemente podem servir não apenas como caminhos de informação paralelos, mas também como sinais complementares para selecionar profundidades históricas.
2. Arquitetura DAR: A proposta de um mecanismo que realiza essa interação através de chaves cruzadas recíprocas e valores do próprio fluxo, mantendo os ramos Transformer inalterados.
3. Validação Empírica: Experimentos abrangentes em modelos densos (0.1B a 1B de parâmetros) e um modelo sparse-MoE de 7B, mostrando melhorias consistentes sobre os resíduos padrão e Attention Residuals.
4. Análise de Redundância: Através de geometria de representação (CKA) e análise de intervenção, os autores mostram que o DAR preserva a diversidade de profundidade e evita o desequilíbrio funcional ou a redundância observados em designs alternativos de dois fluxos.

Resultados Experimentais

Os autores avaliaram o DAR sob orçamentos de treinamento equivalentes contra conexões residuais padrão, Attention Residuals (AttnRes) e mHC.

• Perda de Validação: O DAR consistentemente alcançou a menor perda de validação.
  • No cenário denso de 1B, o DAR-Block superou tanto o baseline residual quanto o AttnRes-Block.
  • No cenário sparse-MoE de 7B, o DAR alcançou a menor perda, com curvas de treinamento permanecendo abaixo dos baselines durante todo o treinamento.
  • Em modelos densos de 0.1B, 0.3B e 0.5B, as variantes DAR reduziram a perda de validação de 2.03% a 5.12% em relação ao baseline residual.
• Eficiência: Embora o DAR incorra em um custo computacional maior que os resíduos padrão (redução de aproximadamente 17.5% no throughput no MoE de 7B devido à recuperação entre fluxos e ao gating), ele permanece competitivo com o AttnRes. O overhead de memória é impulsionado principalmente pelo mecanismo de recuperação histórica, sendo que o roteamento entre fluxos adiciona um custo menor e mensurável.
• Estudos de Ablação:
  • Roteamento: O ganho não é explicado por projeções de valor adicionais (SepV) ou agregação simples de valores entre fluxos. O roteamento específico de chave cruzada recíproca / valor do próprio fluxo (DAR) produziu o melhor desempenho.
  • Redundância: A análise de Cross-Stream Linear CKA mostrou que o DAR mantém baixa similaridade entre profundidades não correspondentes, indicando trajetórias distintas. Em contraste, variantes como DAR-SelfKV e mHC-2 mostraram regiões amplas de alta similaridade, sugerindo redundância.
  • Intervenção: A análise de "ganho de resgate" revelou que, no DAR, manter qualquer um dos fluxos recupera a saída limpa significativamente melhor do que manter nenhum deles. Em contraste, outras variantes (como DAR-SelfKV) mostraram uma assimetria forte, onde um fluxo tornou-se funcionalmente dominante enquanto o outro foi subutilizado.

Significância e Alegações

O artigo afirma que o DAR traz com sucesso a flexibilidade de múltiplos fluxos para a recuperação de profundidade. Ao permitir que uma trajetória influencie a seleção de profundidade de outra, o DAR permite que o modelo acesse contextos históricos que poderiam ser perdidos por um recuperador de fluxo único.

Os autores enfatizam que os ganhos de desempenho não se devem meramente à presença de um fluxo adicional ou de uma projeção de valor, mas especificamente ao mecanismo de seleção cruzada recíproca entre fluxos. Este design preserva a diversidade de profundidade e evita o desequilíbrio funcional onde um fluxo domina o outro, um problema comum em designs alternativos de dois fluxos. O trabalho sugere que a recuperação histórica e as topologias de múltiplos fluxos não são mutuamente exclusivas, mas podem ser combinadas sinergicamente para melhorar o aprendizado de representação em Transformers.