Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Este artigo apresenta o Transformer Accelerator (TFA), um motor de hardware INT8 sintetizável que alcança inferência de transformer bit-a-bit, de ponta a ponta, com 100% de verificação funcional e melhorias projetadas significativas de energia e aceleração em relação às bases de comparação de CPU.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A inteligência artificial moderna aprendeu a falar, traduzir e raciocinar usando um tipo específico de rede neural chamado transformer. Esses sistemas são incrivelmente poderosos, mas também são famintos. Para gerar uma única nova palavra em uma frase, um transformer deve percorrer toda a sua memória de fatos aprendidos, um processo que exige a movimentação de quantidades massivas de dados. Para dispositivos que funcionam com baterias, como smartphones ou sensores, esse constante embaralhamento de informações é um gargalo. A energia necessária para buscar esses números na memória frequentemente supera a energia necessária para realmente calcular com eles. Isso cria um problema fundamental: como construir uma máquina que possa executar esses modelos de linguagem complexos de forma eficiente em hardware pequeno e de baixa potência sem perder a capacidade de entender nuances?
Um pesquisador chamado Shashank projetou um novo tipo de chip de hardware especificamente para resolver este problema. Em vez de construir um computador de uso geral que tenta fazer tudo, este chip é uma ferramenta especializada construída para lidar apenas com a matemática específica necessária para a tradução de idiomas. O design, chamado de Acelerador de Transformer, trata o modelo não como um programa a ser interpretado, mas como um fluxo de instruções que move dados diretamente da memória para um motor de cálculo e de volta para fora novamente. O objetivo era criar um dispositivo que pudesse pegar um modelo de linguagem pré-treinado, executá-lo inteiramente em silício e produzir resultados que fossem matematicamente idênticos à versão de alta precisão do computador original, mas usando muito menos energia.
O cerne deste trabalho é um chip que opera usando números inteiros em vez das complexas frações decimais tipicamente usadas na computação científica. Ao mudar para esses números inteiros mais simples, a quantidade de dados que precisa ser movida é drasticamente reduzida. No entanto, essa mudança geralmente causa uma perda de precisão porque as pequenas diferenças nos números são arredondadas. O pesquisador descobriu que a maneira padrão de arredondar esses números falhou para este tipo específico de modelo de linguagem, fazendo com que a tradução ficasse distorcida. A solução não foi mudar o chip, mas sim mudar como o modelo era preparado antes de ser carregado no hardware. Ao aplicar uma rotação matemática precisa aos pesos internos do modelo durante a fase de preparação, o pesquisador suavizou os números difíceis. Isso permitiu que o chip simples e de baixa potência produzisse resultados bit a bit idênticos ao original complexo, efetivamente escondendo a dificuldade da matemática dentro do software, em vez de no hardware.
Para provar que isso funcionou, o pesquisador pegou um modelo de tradução completo e pré-treinado capaz de converter inglês para francês, alemão e romeno, e o compilou em uma série de instruções para o chip. O chip foi então submetido a uma simulação rigorosa que verificou cada etapa do processo. Os resultados mostraram que o chip poderia executar todo o pipeline de tradução, incluindo os mecanismos de atenção complexos que permitem ao modelo focar nas palavras certas, com zero erros. Quando o chip gerou traduções para dez provérbios difíceis em inglês, ele correspondeu perfeitamente à saída do computador original em termos de dados subjacentes. Em metade dos casos, as palavras traduzidas finais eram idênticas à referência de ponto flutuante; na outra metade, o chip produziu traduções diferentes, porém igualmente válidas, como usar uma palavra diferente para o mesmo conceito ou uma pontuação diferente. Isso demonstrou que o hardware não era apenas rápido, mas confiável.
Os ganhos de desempenho foram substanciais. Comparado a um processador de computador padrão de vinte e dois threads, o design do chip foi capaz de gerar tokens vinte vezes mais rápido em sua menor configuração, mesmo operando em um sistema de memória simulado que era intencionalmente lento e difícil. Os pesquisadores projetaram que versões maiores deste chip poderiam ser quase duzentas vezes mais rápidas que o baseline do computador. Mais importante, a eficiência energética foi impressionante. Estimou-se que o chip usaria aproximadamente três mil vezes menos energia por palavra gerada do que o processador do computador. Essa eficiência vem da capacidade do chip de transmitir os pesos através de suas unidades de cálculo na velocidade máxima que a memória permite, em vez de esperar que o cálculo termine antes de buscar a próxima peça de dado.
O trabalho não parou na simulação. Para garantir que o design não fosse apenas um exercício teórico, o pesquisador pegou a descrição digital do chip e a processou através de um fluxo de fabricação completo usado para a criação de silício real. Esse processo converteu o design em um layout físico que poderia ser impresso em um chip. O layout resultante passou por todas as regras estritas exigidas para a fabricação, confirmando que o design era fisicamente realizável. Embora a versão específica testada tenha sido construída usando tecnologia de fabricação mais antiga e maior, o layout bem-sucedido provou que a arquitetura é sólida e pode ser reduzida para processos modernos e de alta velocidade. Espera-se que o chip físico, uma vez construído com componentes de memória avançados, seja ainda menor e mais rápido.
Este projeto destaca uma mudança na forma como podemos construir o futuro da inteligência artificial. Em vez de tentar tornar os computadores de uso geral mais rápidos, a abordagem foca em construir pequenos motores especializados que fazem uma única coisa perfeitamente. Ao separar a matemática difícil de lidar com números imprecisos para a etapa de preparação do software, o hardware em si pode permanecer simples, rápido e incrivelmente eficiente. O sucesso deste design sugere que podemos executar modelos de linguagem sofisticados na borda (edge), em dispositivos que são atualmente pequenos demais para lidar com eles, sem sacrificar a precisão que torna esses modelos úteis. O caminho a seguir envolve escalar este design para lidar com modelos maiores e tarefas de linguagem mais complexas, mas a base foi lançada: um chip pequeno, verificado e fabricável que pode traduzir as línguas do mundo com a precisão de um supercomputador e a eficiência de um dispositivo alimentado por bateria.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.