Os modelos de linguagem de grande escala são os motores por trás de uma nova geração de inteligência artificial, capazes de escrever histórias, resolver problemas complexos e manter conversas que parecem notavelmente humanas. No entanto, essas mentes digitais vêm com um preço elevado. Para treiná-las, os pesquisadores devem alimentá-las com vastas quantidades de dados, um processo que consome quantidades enormes de eletricidade e requer bancos de computadores poderosos que custam milhões de dólares. Mesmo após o treinamento, executar esses modelos para responder a uma única pergunta exige memória e poder de processamento massivos, muitas vezes limitando seu uso a grandes centros de dados em vez de dispositivos pessoais. Durante anos, cientistas tentaram tornar esses modelos menores e mais rápidos usando três truques principais: remover conexões desnecessárias, reduzir a precisão dos números que utilizam e simplificar sua estrutura interna. No entanto, aplicar esses truques um de cada vez encontrou um limite. Quando os pesquisadores tentavam remover conexões demais, o modelo ficava confuso e perdia sua inteligência. Quando reduziam demais a precisão, os números tornavam-se grosseiros demais para conter o conhecimento do modelo. Cada método funcionava bem isoladamente, mas falhava quando levado ao extremo, deixando a indústria com uma escolha difícil entre um modelo massivo e lento ou um pequeno e quebrado.

Um pesquisador da Universidade de Toronto, liderado por Mohammad Mozaffari, propôs um novo caminho à frente que trata esses três métodos não como opções separadas, mas como um conjunto de ferramentas único e unificado. Eles chamam essa abordagem de "Trindade da Compressão". Em vez de escolher entre remover conexões, simplificar números ou alterar a estrutura, o trabalho deles demonstra que essas três técnicas funcionam melhor quando aplicadas juntas. A ideia central é que cada método cobre as fraquezas dos outros. Remover conexões reduz a quantidade de trabalho que o computador tem que fazer, enquanto simplificar os números reduz a quantidade de dados que precisam ser movimentados. A terceira técnica, que envolve adicionar uma pequena camada flexível de informação extra, atua como uma rede de segurança, recuperando a inteligência que foi perdida quando os outros dois métodos foram aplicados. Ao combinar tudo, os pesquisadores descobriram que podiam encolher os modelos significativamente sem quebrá-los e, em alguns casos, até torná-los mais inteligentes do que suas versões maiores e não comprimidas.

A jornada para esta descoberta começou ao observar como esses modelos são treinados. O treinamento é a fase mais cara, exigindo que o computador ajuste bilhões de números para aprender com os dados. Os pesquisadores perceberam que as ferramentas padrão usadas para guiar esse processo de aprendizagem eram pesadas e lentas demais. Eles desenvolveram um novo método que aplica a Trindade diretamente ao próprio processo de treinamento. Ao simplificar a maneira como o computador calcula seu próximo passo, eles conseguiram acelerar o treinamento de grandes modelos em quase o dobro em comparação aos melhores métodos existentes. Eles alcançaram isso usando uma mistura de cálculos esparsos, números simplificados e uma aproximação de baixo posto (low-rank) que permitiu ao computador pular o trabalho desnecessário enquanto ainda encontrava o caminho certo para uma solução. Isso significou que o tempo e a energia necessários para criar esses modelos poderosos poderiam ser drasticamente reduzidos.

Uma vez que um modelo é treinado, ele deve ser comprimido para o uso no mundo real, onde memória e velocidade são ainda mais críticas. Aqui, os pesquisadores enfrentaram o problema do "erro composto". Quando se tenta comprimir um modelo usando apenas um método, os erros se acumulam até que o modelo pare de funcionar. A equipe mostrou que, ao aplicar a Trindade em uma ordem específica, eles poderiam evitar esse colapso. Primeiro, usaram uma técnica matemática para encontrar a melhor maneira absoluta de remover metade das conexões do modelo sem prejudicar seu desempenho. Isso criou uma base esparsa e estável. Em seguida, reduziram a precisão dos números restantes para economizar espaço. Por fim, adicionaram uma pequena camada de informação extra, derivada matematicamente, para corrigir os erros causados pela remoção e simplificação. Esta etapa final foi crucial; ela atuou como uma equipe de reparos, preenchendo as lacunas deixadas pela compressão para que o modelo retivesse sua capacidade de raciocinar e compreender.

Os resultados desta abordagem foram impressionantes. Quando testados em modelos com bilhões de parâmetros, o método combinado produziu modelos oito vezes menores que o original, mas que desempenhavam tão bem quanto, ou às vezes até melhor do que, em uma ampla gama de tarefas. Em comparações diretas, esses modelos comprimidos superaram outras técnicas de compressão de última geração por uma margem significativa, melhorando a precisão em até quase seis por cento em alguns casos. Talvez o mais surpreendente seja que, quando os pesquisadores compararam seus modelos comprimidos com modelos não comprimidos do mesmo tamanho, as versões comprimidas foram, de fato, mais precisas. Isso sugere que o processo de remover cuidadosamente as partes redundantes do modelo e substituí-las por uma correção inteligente de baixo posto ajuda o modelo a focar no que é mais importante.

Os pesquisadores também exploraram como essas técnicas poderiam ser adaptadas para diferentes tipos de hardware. Eles descobriram que, ao permitir que o modelo mantivesse algumas partes densas e outras esparsas em um padrão flexível, poderiam alcançar um equilíbrio contínuo entre velocidade e precisão. Essa flexibilidade significou que os modelos poderiam ser ajustados para rodar eficientemente em tudo, desde servidores de data centers poderosos até placas de vídeo de consumo comum. O trabalho também incluiu uma nova maneira de treinar modelos que já são esparsos, garantindo que o processo de aprendizagem fosse eficiente desde o primeiro passo. Essa abordagem significou que o modelo poderia aprender rapidamente usando conexões esparsas e adicionar apenas a complexidade necessária ao final do treinamento, economizando tempo e energia durante todo o processo.

Embora os resultados sejam promissores, os pesquisadores fazem questão de notar que seus métodos estão atualmente otimizados para tipos específicos de chips de computador, particularmente aqueles da NVIDIA que possuem hardware especial para lidar com dados esparsos. Eles reconhecem que transferir essas técnicas para outros tipos de hardware ou processadores de propósito geral exigirá mais engenharia. Eles também apontam que, embora os modelos tenham um bom desempenho em testes padrão, há a necessidade de garantir que o processo de compressão não prejudique inadvertidamente a capacidade do modelo de compreender diversas línguas ou contextos culturais, já que remover partes do modelo pode afetar desproporcionalmente o conhecimento sobre grupos sub-representados.

Em última análise, este trabalho sugere que o futuro da inteligência artificial eficiente não reside em escolher um método de compressão em detrimento de outro, mas em tecê-los juntos. A "Trindade da Compressão" oferece um roteiro para construir modelos que sejam densos em conhecimento, mas esparsos em computação. Ao tratar a eficiência como um equilíbrio multidimensional, em vez de um problema de otimização única, os pesquisadores mostraram que é possível criar uma inteligência artificial que seja ao mesmo tempo poderosa e prática. Suas descobertas indicam que as barreiras para implantar esses modelos em dispositivos cotidianos não são limites fundamentais da física ou da matemática, mas sim uma questão de encontrar a combinação certa de ferramentas. À medida que o campo avança, essa abordagem integrada pode se tornar o padrão para tornar os grandes modelos de linguagem acessíveis, sustentáveis e prontos para o mundo real.