A maioria das pessoas que utilizam inteligência artificial hoje interage com sistemas que rodam em chips de computador poderosos e especializados, projetados para grandes centros de dados. Esses sistemas são construídos para lidar com milhares de solicitações ao mesmo tempo, um processo que permite distribuir o custo de seus cálculos pesados entre muitos usuários. Mas para uma única pessoa usando um notebook ou computador desktop padrão, as regras de eficiência mudam completamente. Em uma máquina pessoal, o computador não pode contar com o processamento paralelo massivo; em vez disso, ele é limitado pela velocidade com que consegue mover dados de sua memória para seu processador. Cada vez que o computador gera uma nova palavra em uma frase, ele deve reler todo o histórico daquela conversa para entender o contexto. À medida que a conversa cresce, essa releitura torna-se um imposto pesado, retardando significativamente o sistema. O desafio para os pesquisadores é construir um modelo que entenda bem a linguagem, mas que não fique sobrecarregado por esse crescente fardo de memória ao rodar em hardware comum.

Um pesquisador abordou este problema projetando um novo tipo de modelo de linguagem chamado Daedalus-150M, especificamente para usuários individuais em processadores de computador padrão. Em vez de pegar um modelo grande e complexo e tentar encolhê-lo, eles começaram com as restrições da máquina do usuário e construíram a arquitetura do zero para se adequar a ela. O resultado é um sistema que se comporta como um motor híbrido. Ele combina duas formas diferentes de processar informações: um método tradicional que lembra de todo o histórico da conversa e um método mais novo e simples que lembra apenas dos últimos momentos. Neste design, o modelo possui dezoito camadas de processamento. Seis dessas camadas usam o método tradicional para manter uma compreensão profunda do contexto de longo prazo, enquanto as outras doze camadas usam uma técnica de memória de curto prazo que olha apenas dois passos para trás. Isso significa que, durante dois terços do tempo em que o computador está pensando, ele não precisa reler todo o histórico da conversa, apenas o passado imediato.

O pesquisador testou este design contra um modelo quase idêntico que utilizava o método tradicional, pesado em memória, para todas as suas dezoito camadas. Ambos os modelos foram treinados com a mesma quantidade de dados, aproximadamente sessenta bilhões de palavras, e ambos foram comprimidos para um tamanho pequeno para rodar em um computador padrão. A comparação foi rigorosa e pré-planejada: o pesquisador decidiu exatamente o que contaria como uma vitória antes de ver os resultados. O modelo híbrido igualou-se ao modelo tradicional em sua capacidade de responder perguntas e completar tarefas, mas apresentou um desempenho significavelmente superior no que diz respeito à velocidade. Quando a conversa era curta, os dois modelos operavam em velocidades semelhantes. No entanto, conforme a conversa crescia, o modelo tradicional desacelerava consideravelmente porque tinha que reler cada vez mais o histórico. O modelo híbrido, por outro outro lado, mantinha um ritmo muito mais constante. Em uma conversa de dois mil palavras, o modelo híbrido gerava texto quase duas vezes mais rápido que seu contraparte tradicional.

Essa vantagem de velocidade não foi apenas um cálculo teórico; foi medida diretamente em um processador de computador padrão. O pesquisador descobriu que a capacidade do modelo híbrido de evitar a releitura de todo o histórico economizava uma enorme quantidade de movimentação de dados, que é o principal gargalo para essas máquinas. Embora um cálculo simples do tamanho dos dados sugerisse que o híbrido deveria ser apenas ligeiramente mais rápido, a diferença real de desempenho foi muito maior. Isso ocorre porque o método tradicional envolve cálculos complexos, passo a passo, que dependem de todo o histórico, os quais são lentos para executar em um único processador. O método híbrido, ao manter a maior parte de seu estado de memória pequeno e fixo, evita esses passos lentos inteiramente. O modelo também ficou menor em tamanho de arquivo, ocupando cerca de seis por cento menos espaço no disco rígido, o que é um benefício prático para usuários com armazenamento limitado.

Apesar desses sucessos, o pesquisador foi cuidadoso ao relatar o que não funcionou perfeitamente. Eles descobriram que cerca de metade dos canais nas seções de memória de curto prazo do modelo acabaram não fazendo nada, essencialmente permanecendo ociosos. Também descobriram que o modelo utiliza um vocabulário de palavras maior do que o necessário para o seu tamanho, o que desperdiça parte de sua capacidade. Além disso, quando tentaram treinar o modelo especificamente para lidar com o formato de dados comprimidos usado para velocidade, o processo falhou, o que significa que o modelo teve que ser comprimido após o treinamento, o que reduziu ligeiramente sua precisão. Estas são questões de engenharia e não falhas fundamentais no design, e o pesquisador observou que uma versão futura poderia corrigi-las ajustando como o modelo começa e como ele é comprimido.

Os resultados finais mostraram que esta escolha de design específica — misturar memória de longo prazo com memória de curto prazo — funciona exatamente como pretendido para o ambiente alvo. O modelo pontuou mais alto em um conjunto de cinco testes de linguagem padrão do que outros modelos de tamanho semelhante que foram treinados com três a seis vezes mais dados. Ele até superou um modelo que foi treinado com um trilhão de palavras, embora um modelo muito maior ainda mantivesse uma leve vantagem em inteligência bruta. A principal lição é que, para um usuário individual em um computador padrão, a maneira mais eficiente de construir um modelo de linguagem não é torná-lo o mais inteligente possível, mas sim torná-lo o mais leve em memória possível. Ao aceitar que o modelo não precisa reler toda a conversa para cada passo individual, o pesquisador criou um sistema que parece responsivo e rápido, mesmo conforme a conversa cresce, provando que uma abordagem arquitetônica diferente pode resolver os problemas específicos da computação cotidiana.