Resumo Técnico: Roteamento Residual de Multirresolução para Transformers de Decodificador Único Profundos

Declaração do Problema

Os Transformers padrão de decodificador único dependem de conexões residuais PreNorm onde as atualizações das subcamadas são agregadas com pesos unitários fixos. Embora essa estrutura permita um treinamento estável, ela impõe uma regra de acumulação rígida que pode diluir as contribuições de camadas individuais à medida que a profundidade da rede aumenta. Avanços recentes, como Attention Residuals e Block Attention Residuals (Block AttnRes), abordam isso substituindo a acumulação fixa por um roteamento dependente de conteúdo sobre as saídas anteriores. O Block AttnRes melhora especificamente a eficiência ao comprimir múltiplas camadas em resumos de resíduos em nível de bloco ($C_b$).

No entanto, os autores identificam uma limitação crítica no Block AttnRes: um único resumo de bloco representa apenas o componente de baixa frequência (DC) da trajetória residual dentro de um bloco. Ao armazenar apenas a soma das atualizações ($\sum u_{b,i}$), o mecanismo descarta a valiosa estrutura direcional, tal como:

1. Desequilíbrio entre subcamadas: Se o bloco é dominado por atualizações de Atenção ou MLP.
2. Dinâmica temporal: Se as atualizações iniciais dentro do bloco apontam para uma direção diferente das atualizações tardias.

O artigo hipotetiza que, à medida que a extensão da trajetória residual cresce, essa informação direcional perdida torna-se cada vez mais vital para um roteamento eficaz de profundidade.

Metodologia: WAV v1

Os autores propõem o WAV v1 (Waveform Attention v1), uma extensão de multirresolução leve do Block AttnRes. Em vez de representar um bloco unicamente pelo seu somatório total, o WAV v1 aumenta cada representação de bloco com duas bases de detalhes direcionais de soma zero enquanto preserva os módulos originais de Atenção e MLP.

1. Representação de Multirresolução

Para um bloco $b$ contendo $m$ atualizações de subcamada $\{u_{b,i}\}_{i=1}^m$, o WAV v1 computa:

• Base de Estado ($C_b$): O somatório padrão do bloco, representando o estado de baixa frequência.
  $$C_b = \sum_{i=1}^m u_{b,i}$$
• Base de Fase ($D^{phase}_b$): Uma fonte de detalhe que contrasta atualizações de Atenção vs. MLP. Ela atribui um sinal de $+1$ para atualizações de Atenção e $-1$ para atualizações de MLP.
  $$D^{phase}_b = \sum_{i=1}^m a_i u_{b,i}, \quad \text{onde } a_i \in \{+1, -1\}$$
• Base de Divisão ($D^{split}_b$): Uma fonte de detalhe que contrasta a primeira metade vs. a segunda metade do bloco. Ela atribui $+1$ para a primeira metade e $-1$ para a segunda metade.
  $$D^{split}_b = \sum_{i=1}^m r_i u_{b,i}, \quad \text{onde } r_i \in \{+1, -1\}$$

Estas bases são acumuladas online conforme as atualizações são produzidas, incorrendo em um overhead computacional desprezível.

2. Mecanismo de Roteamento

O mixer softmax de profundidade recebe um pool de fontes expandido. Para o Block AttnRes, o pool é $\{e, C_0, \dots, C_{b-1}, PC\}$. Para o WAV v1, ele se expande para incluir as bases de detalhe para cada bloco concluído e o bloco parcial atual:
$$S_{WAV} = \{e, C_0, \tilde{D}^{phase}_0, \tilde{D}^{split}_0, \dots, C_{b-1}, \tilde{D}^{phase}_{b-1}, \tilde{D}^{split}_{b-1}, PC, \tilde{P}^{phase}, \tilde{P}^{split}\}$$

3. Mecanismos de Estabilidade

Para evitar a desestabilização durante o início do treinamento, o WAV v1 emprega duas estratégias conservadoras:

• Viés de Detalhe Negativo: As fontes de detalhe são inicializadas com um forte viés negativo ($\beta_D = -2.0$), garantindo que o modelo se comporte como o Block AttnRes padrão na inicialização e utilize os detalhes apenas quando benéficos.
• Correspondência de RMS Desacoplada (Detached RMS Matching): Os tensores de detalhe são escalonados em relação ao seu respectivo resumo de bloco ($C$) usando uma razão RMS desacoplada, limitada a um fator de escala máximo $\rho$. Isso evita que os detalhes dominem simplesmente devido a magnitudes brutas maiores.
• Leitura Conservadora: Por padrão, o mixer de predição final lê apenas as fontes de embedding e $C$, não as fontes de detalhe, garantindo ainda mais a estabilidade.

Principais Contribuições

1. Formulação: O artigo enquadra o roteamento residual de bloco como um problema de representação de multirresolução, distinguindo entre a informação de estado de baixa frequência ($C_b$) e os detalhes direcionais intra-bloco.
2. Algoritmo: Introdução do WAV v1, uma extensão plug-and-play que aumenta os resumos de bloco com bases de detalhes de fase e divisão sem modificar as funções centrais de Atenção ou MLP.
3. Evidência Empírica: Experimentos preliminares de escala demonstrando que a utilidade do roteamento de multirresolução é dependente da profundidade, tornando-se significativamente benéfica apenas em arquiteturas mais profundas.

Resultados Experimentais

Os autores avaliaram modelos GPT de decodificador único de 12, 24 e 48 camadas nos datasets de nível de caractere TinyStories e Text8.

• Tendência Dependente da Profundidade:
  • 12 Camadas: O WAV v1 apresenta desempenho inferior ao Block AttnRes, sugerindo que os detalhes direcionais são redundantes ou ruidosos em redes rasas.
  • 24 Camadas: O WAV v1 torna-se competitivo, mostrando melhorias ligeiras no TinyStories e desempenho comparável no Text8.
  • 48 Camadas: O WAV v1 alcança a melhor perda de validação em ambos os datasets, superando substancialmente o Block AttnRes, ReZero e LayerScale.
• Ganhos Quantitativos (48 Camadas):
  • TinyStories: Redução da perda de validação de 0.4960 (Block AttnRes) para 0.4738 (WAV v1), uma redução de 2.19% em PPL.
  • Text8: Redução da perda de validação de 0.9363 para 0.9305, uma redução de 0.57% em PPL.
• Dinâmica de Treinamento: Em 48 camadas, o WAV v1 se separa do Block AttnRes cedo no treinamento e mantém uma vantagem persistente, indicando que a melhoria não é um artefato de estágio tardio, mas uma mudança fundamental na trajetória de otimização.

Significância e Alegações

O artigo afirma que o roteamento residual profundo beneficia-se não apenas da seleção de qual bloco ler, mas também do roteamento da estrutura direcional interna de cada bloco. Os resultados sugerem que, à medida que a trajetória residual se alonga, a "forma" da trajetória de atualização (por exemplo, dominância de atenção ou dinâmicas de início-vs-fim) torna-se um sinal informativo para o mixer de profundidade.

Os autores posicionam o WAV v1 como uma abordagem complementar aos métodos existentes:

• Ao contrário do ReZero ou LayerScale, que modulam a magnitude das atualizações, o WAV v1 altera a representação disponível para o roteador.
• Ao contrário dos Delta Attention Residuals, que roteiam sobre deltas individuais (alto custo), o WAV v1 oferece uma aproximação de nível de bloco e multirresolução que equilibra eficiência com riqueza estrutural.

Os autores concluem que avaliações futuras de métodos de roteamento residual devem considerar a profundidade, pois os benefícios da informação de multirresolução podem estar ligados ao comprimento e à estrutura da trajetória residual. Eles reconhecem limitações atuais, incluindo a falta de desvio padrão entre sementes (seeds), a restrição a modelos pequenos de nível de caractere e o uso de bases de detalhe desenhadas manualmente, sugerindo que trabalhos futuros devem explorar bases aprendíveis e modelos de nível de token em maior escala.