A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

A inteligência artificial moderna que escreve, traduz e raciocina depende de um design arquitetônico específico conhecido como transformer. No coração desse design estão pilhas profundas de camadas de processamento, cada uma refinando a informação que recebe da anterior. Para evitar que essas redes profundas se desintegrem durante o treinamento, os engenheiros utilizam "conexões de salto" (skip connections). Imagine um rio fluindo através de uma série de cachoeiras; a conexão de salto é como um canal de desvio que permite que a água contorne uma cachoeira e se junte ao fluxo rio abaixo. Isso garante que o sinal nunca se perca ou seja diluído, não importa por quantas camadas os dados devam passar. Durante anos, a prática padrão tem sido incluir esses desvios após cada etapa de processamento. Mas uma investigação recente fez uma pergunta estrutural simples: o que acontece se removermos apenas um desses desvios? O sistema falha completamente ou encontra uma maneira de se adaptar?

Um pesquisador chamado Pratik Kumar Babariya propôs-se a responder a isso construindo modelos de inteligência artificial e removendo sistematicamente essas redes de segurança. Ele testou dois cenários específicos: um onde o desvio após o mecanismo de atenção foi removido, e outro onde o desvio após a rede feed-forward foi removido. O mecanismo de atenção é a parte do modelo que decide quais palavras em uma frase são mais relevantes entre si, enquanto a rede feed-forward é a parte que processa e transforma essa informação. O objetivo era ver se o modelo conseguiria sobreviver sem esses atalhos específicos, ou se a remoção causaria o colapso de todo o processo de aprendizado.

Os experimentos iniciais, conduzidos em modelos menores, sugeriram um desfecho sombrio. Quando o pesquisador removia qualquer um dos dois desvios, os modelos falhavam em aprender, ficando presos no mesmo nível de desempenho pobre de um modelo que não possuía nenhum desvio. Parecia que ambos os atalhos eram igualmente essenciais. No entanto, esse resultado inicial era provavelmente um truque das ferramentas de medição. O pesquisador percebeu que a forma como estava avaliando os modelos estava introduzindo ruído aleatório, tornando impossível observar diferenças sutis de desempenho. Ele reconstruiu o experimento com uma configuração mais rigorosa, usando dados fixos para teste e garantindo que cada variável fosse controlada.

Quando o experimento foi executado novamente com este método mais limpo, uma assimetria impressionante emergiu. Remover o desvio após a rede feed-forward fez com que o modelo falhasse completamente, exatamente como os testes iniciais haviam mostrado. O modelo não conseguiu aprender, e seu desempenho permaneceu estagnado em uma taxa de erro alta. Mas quando o desvio após o mecanismo de atenção foi removido, o modelo fez algo inesperado: ele aprendeu. Não teve o desempenho de um modelo com todos os seus atalhos intactos, mas aprendeu com sucesso a processar a linguagem, alcançando um nível de desempenho muito superior ao do modelo que falhou. Este resultado não foi um acaso; o pesquisador executou a configuração bem-sucedida oito vezes com diferentes pontos de partida aleatórios e, em todos os casos, o modelo aprendeu efetivamente. A falha da outra configuração foi igualmente consistente, ocorrendo toda vez que foi testada.

O pesquisador então investigou por que essa diferença existia. Ele observou que, nos modelos que falharam, o fluxo de informação das camadas inferiores para as superiores havia parado completamente, um fenômeno conhecido como inanição de gradiente (gradient starvation). Isso aconteceu em ambos os casos de falha. No entanto, no modelo que teve sucesso, o mecanismo de atenção pareceu encontrar um contorno. Como o mecanismo de atenção observa todas as palavras de uma frase simultaneamente, ele pode aprender a rotear informações através de diferentes posições, efetivamente reconstruindo um caminho para que os dados fluam, mesmo sem o atalho físico. A rede feed-forward, por outro lado, processa cada palavra isoladamente e não consegue criar esse tipo de conexão cruzada. Sem seu desvio, ela não tem como recuperar a informação perdida.

A história não termina com um mistério perfeito e resolvido. Quando o pesquisador escalou o experimento para um modelo muito maior, os resultados tornaram-se menos claros. Embora o modelo que removeu o desvio feed-forward ainda tenha falhado, o modelo que removeu o desvio de atenção mostrou sinais de aprendizado, mas seu desempenho variou drasticamente dependendo das condições iniciais aleatórias. Em algumas execuções, aprendeu bem; em outras, teve dificuldades. Isso sugere que, embora a capacidade de adaptação seja real, ela se torna mais difícil de manter à medida que o modelo cresce e se torna mais complexo. O pesquisador também descobriu um erro metodológico significativo em seu próprio trabalho inicial: ele tentou consertar os modelos que falhavam ajustando um multiplicador durante o processo de treinamento, o que os fazia parecer bem-sucedidos. Ele percebeu mais tarde que o algoritmo de treinamento havia compensado automaticamente essa mudança, tornando o ajuste uma ilusão. Ao corrigir esse erro e relatar a falha de forma transparente, ele garantiu que a conclusão final fosse baseada na realidade, e não em um artefato do software.

A descoberta central é que nem todos os atalhos em um cérebro de inteligência artificial são criados igualmente. Remover o caminho após a parte do modelo que conecta as palavras entre si permite que o sistema sobreviva e aprenda, provavelmente porque essa parte do sistema pode se reconfigurar para compensar. Remover o caminho após a parte que processa palavras individuais faz com que o sistema quebre completamente. Essa distinção é verdadeira para modelos menores e é fortemente sugerida para modelos maiores, embora os modelos maiores exijam mais estudos para confirmar os limites dessa adaptabilidade. O trabalho serve como um lembrete de que, em sistemas complexos, a disposição específica das conexões importa tanto quanto as próprias conexões, e que mesmo quando um sistema parece falhar, um olhar mais atento pode revelar uma capacidade oculta de recuperação.