DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

O mundo da inteligência artificial está atualmente em uma corrida acelerada, impulsionada por chips de computador massivos chamados GPUs que atuam como os motores para o treinamento e a execução de modelos de linguagem complexos. Esses modelos podem escrever histórias, resolver problemas e manter conversas, mas exigem enormes quantidades de poder computacional. Para acompanhar o ritmo, os centros de dados atualizam constantemente seu hardware, aposentando chips funcionais para abrir espaço para outros mais rápidos e novos. Esse ciclo deixa para trás uma pilha crescente de aceleradores capazes, porém "velhos", criando um mercado secundário onde esses componentes descartados são vendidos por uma fração de seu preço original. A questão que se impõe a pesquisadores e engenheiros é se essas máquinas aposentadas podem receber uma segunda vida produtiva para servir tarefas de IA modernas, ou se sua idade as torna ineficientes e desperdiçadoras demais para serem úteis.

Uma equipe de pesquisadores partiu para responder a isso construindo um enorme cluster de computação inteiramente do zero usando apenas peças de segunda mão. Eles não apenas compraram placas gráficas usadas; eles obtiveram processadores, memória, placas-mãe e equipamentos de rede usados para construir um sistema de 128 GPUs NVIDIA V100 aposentadas. Essa coleção, que eles nomearam como "DumpsterCluster", foi projetada para testar se o hardware antigo poderia lidar com a pesada carga de trabalho de executar grandes modelos de linguagem, especificamente um modelo de 70 bilhões de parâmetros conhecido como LLaMA-70B. A equipe passou um ano operando este cluster em um ambiente real, atendendo solicitações de usuários reais, para ver se a abordagem era economicamente viável e ambientalmente sustentável. Suas descobertas revelam uma história de potencial surpreendente que vem acompanhada de um conjunto estrito de condições: embora o hardware possa funcionar, seu sucesso depende inteiramente de onde ele é colocado e como é gerenciado.

O caso econômico para esta abordagem é impressionante. Os pesquisadores montaram todo o seu sistema de 128 GPUs por aproximadamente US$ 22.000, um preço que caiu de US$ 32.000 ao longo do estudo. Em contraste, um sistema moderno com apenas oito das GPUs de última geração custa cerca de USos 600.000. Essa diferença massiva no custo inicial significa que, embora os chips mais antigos sejam menos potentes individualmente, a grande quantidade deles permite que o cluster processe um volume significativo de dados. Ao operar o sistema por um ano, a equipe provou que poderia servir o grande modelo de linguagem de forma eficaz, alcançando uma velocidade de geração de texto que, embora mais lenta que a dos superchips mais novos, era suficiente para muitas aplicações práticas. A chave para fazer isso funcionar não foi apenas comprar as peças, mas reescrever o software que as executa.

O software padrão para rodar esses modelos é projetado para o hardware mais novo, que possui conexões muito rápidas entre os chips. Os chips V100 mais antigos do DumpsterCluster possuem conexões mais lentas e menos memória, o que normalmente faria com que eles travassem diante de modelos grandes. Para resolver isso, os pesquisadores desenvolveram um motor personalizado que altera a forma como o trabalho é dividido. Em vez de tentar forçar os chips a se comunicarem constantemente, eles organizaram o modelo de modo que cada chip lide com uma seção específica do cálculo em uma longa cadeia, passando os resultados adiante. Eles também otimizaram o sistema para que o processador central do computador lide com as transferências de dados em segundo plano enquanto os chips gráficos continuam trabalhando, evitando que o sistema fique ocioso. Essa estratégia permitiu que os 128 chips antigos funcionassem como uma unidade única e coesa, capaz de rodar um modelo que não caberia em um único chip.

No entanto, o estudo revela que esta solução não é uma correção universal para os problemas de energia e ambientais da indústria de IA. Os pesquisadores descobriram que, embora o custo inicial seja baixo, o custo para operar as máquinas ao longo do tempo depende fortemente do preço da eletricidade e da fonte dessa energia. Os chips mais antigos são menos eficientes energeticamente do que os modernos, o que significa que consomem mais energia para gerar a mesma quantidade de texto. Se este cluster for operado em uma região onde a eletricidade vem de combustíveis fósseis, o total de emissões de carbono produzidas por palavra gerada pode ser dezenas de vezes maior do que o uso de um sistema novo e eficiente. O benefício ambiental de reutilizar o hardware é completamente anulado se a eletricidade usada para alimentá-lo for suja. O sistema só se torna verdadeiramente sustentável quando está localizado em áreas com energia abundante, barata e limpa, como regiões movidas por energia eólica ou hidrelétrica. Nesses locais específicos, o baixo custo da eletricidade compensa a ineficiência dos chips antigos, tornando o custo total de propriedade baixo e a pegada de carbono gerenciável.

A confiabilidade do hardware também apresentou desafios que a equipe teve que gerenciar. Ao longo do ano, o cluster experimentou inúmeros problemas técnicos, mas a grande maioria foram falhas de software que podiam ser corrigidas com um simples reinício, em vez de um reparo físico. Falhas reais de hardware, onde um chip ou componente realmente quebrou, foram raras, ocorrendo em menos de 14 por cento dos incidentes. Isso sugere que, com testes cuidadosos e um pouco de capacidade extra construída para lidar com falhas, o hardware usado pode ser confiável o suficiente para uso em produção. Os pesquisadores observaram que o sistema é mais adequado para responder perguntas e gerar texto, em vez de treinar novos modelos do zero, o que exige um tipo diferente de poder computacional e estabilidade.

Em última análise, o artigo demonstra que dar uma segunda vida à tecnologia aposentada é possível, mas não é apenas uma questão de conectar peças velhas. O sucesso de tal "DumpsterCluster" depende de um equilíbrio delicado entre engenharia, economia e geografia. Requer software especializado para superar as limitações do hardware envelhecido, um local com eletricidade barata e limpa para manter os custos operacionais e as emissões baixos, e uma tolerância para uma taxa de manutenção ligeiramente superior em comparação aos sistemas novos. Quando essas condições são atendidas, a abordagem oferece um caminho viável para expandir a capacidade de IA sem os enormes custos financeiros e ambientais de fabricar constantemente novos chips. Sugere um futuro onde o ciclo de vida do hardware de computação é estendido, desde que estejamos dispostos a combinar as ferramentas certas com as fontes de energia adequadas.