You Do Not Fully Utilize Transformer's Representation Capacity

A inteligência artificial moderna frequentemente depende de um tipo específico de programa de computador chamado Transformer. Esses programas são os motores por trás de muitas das ferramentas de linguagem mais avançadas que usamos hoje, capazes de ler vastas quantidades de texto e gerar respostas semelhantes às humanas. Para entender como eles funcionam, imagine um leitor processando uma história longa. À medida que o leitor avança da primeira frase para a última, ele deve manter o controle de cada detalhe, cada personagem e cada conexão lógica para compreender todo o enredo. Em um Transformer padrão, essa memória é gerenciada por um canal único e estreito que transporta informações de uma camada do programa para a próxima. Cada camada refina a compreensão do texto, passando sua versão refinada adiante. No entanto, assim como um corredor único pode ficar congestionado e perder detalhes se muitas pessoas tentarem passar por ele ao mesmo tempo, esse canal estreito pode forçar o programa a borrar distinções importantes entre diferentes palavras ou ideias à medida que o texto se torna mais longo ou o programa se torna mais profundo. Esse fenômeno, conhecido como colapso de representação, significa que diferenças sutis, mas cruciais, entre os tokens — as unidades básicas de texto — podem se perder, tornando mais difícil para o modelo raciocinar através de problemas complexos ou lembrar sequências longas com precisão.

Pesquisadores da T-Tech propuseram uma nova maneira de resolver esse gargalo, introduzindo um método que chamam de Memória Integrada à Camada, ou LIMe (Layer-Integrated Memory). Em vez de forçar cada peça de informação a espremer-se através de um único predecessor imediato, este novo design permite que cada parte do programa alcance as camadas anteriores e puxe informações diretamente de qualquer uma das camadas que já processou. Pense nisso como dar ao leitor um conjunto de notas adesivas colocadas em cada etapa de sua jornada de leitura. Quando encontram um conceito difícil, eles não estão mais limitados apenas à nota que estão segurando no momento; eles podem olhar para trás, para as notas do início, do meio ou de qualquer lugar entre eles, escolhendo os detalhes mais relevantes para ajudar a compreender a frase atual. Esta abordagem não requer a construção de um corredor mais largo ou o acréscimo de mais armazenamento de memória; em vez disso, ela simplesmente reorganiza como a memória existente é acessada, permitindo que o programa recupere características específicas de estágios anteriores de seu próprio processo de pensamento.

A equipe testou essa ideia construindo modelos que poderiam aprender a rotear informações dinamicamente. Eles criaram um sistema onde cada cabeça de atenção — a parte do programa que decide em quais palavras focar — aprende um conjunto de pesos, decidindo essencialmente o quanto confiar na informação da camada imediatamente anterior versus a informação da primeiríssima camada ou de qualquer camada intermediária. Esse processo de aprendizado acontece automaticamente durante o treinamento. Os pesquisadores descobriram que essa flexibilidade melhorou significamente a capacidade do modelo de lidar com tarefas complexas. Em testes envolvendo raciocínio matemático e enigmas de lógica, os novos modelos superaram as versões padrão por uma margem ampla. Por exemplo, ao serem solicitados a resolver problemas aritméticos com muitos passos, os modelos padrão frequentemente falhavam conforme o número de passos aumentava, provavelmente porque perdiam o rastro de números intermediários. Os novos modelos, no entanto, mantiveram sua precisão mesmo conforme os problemas se tornavam mais difíceis, sugerindo que eram melhores em manter as distinções numéricas necessárias claras.

Além de obter pontuações melhores em testes, os pesquisadores olharam para dentro dos modelos para ver o que estava acontecendo. Eles descobriram que os modelos padrão tendiam a comprimir diferentes palavras em representações quase idênticas à medida que avançavam por camadas mais profundas, efetivamente borrando as linhas entre elas. Em contraste, os novos modelos preservavam uma variedade de representações muito mais rica. Os vetores de "valor" internos, que carregam o significado central das palavras, permaneciam distintos e diversos, mesmo nas partes mais profundas da rede. Essa preservação de detalhes permitia que os modelos mantivessem diferentes caminhos de raciocínio separados, o que é crucial para tarefas que exigem explorar múltiplas possibilidades ou seguir uma cadeia de lógica. O estudo mostrou que, ao permitir que o programa acesse seu próprio histórico mais livremente, ele poderia evitar a armadilha de simplificar demais a informação.

Os resultados foram consistentes em diferentes tamanhos e profundidades de modelos. Em experimentos onde os pesquisadores construíram redes muito profundas com até 128 camadas, o novo método permitiu que um modelo com 64 camadas tivesse o desempenho de um modelo padrão com 128 camadas, ou até o superasse. Isso sugere que a qualidade do fluxo de informação importa mais do que simplesmente empilhar mais camadas umas sobre as outras. Os pesquisadores também analisaram os "pesos de roteamento" que os modelos aprenderam, descobrindo que os programas reutilizavam sistematicamente características das camadas iniciais para contexto de longo prazo, enquanto também dependiam de vizinhos imediatos para detalhes de curto prazo. Esse padrão indica que os modelos aprenderam a distribuir o ônus da memória por toda a rede, em vez de acumulá-la em um único fluxo.

Embora o novo método exija um pouco de tempo extra para computar essas conexões, a compensação é mínima comparada aos ganhos em desempenho e eficiência. A abordagem funciona com o hardware existente e não requer aumentos massivos de memória, tornando-a uma atualização prática para sistemas atuais. O estudo conclui que a limitação dos Transformers padrão não é a falta de capacidade, mas sim um gargalo em como essa capacidade é usada. Ao abrir o fluxo de informação entre as camadas, o novo método desbloqueia um nível superior de raciocínio e representação, provando que, às vezes, a melhor maneira de seguir em frente é lembrar onde você já esteve.