A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

No mundo da inteligência artificial, os avanços mais visíveis frequentemente vêm do software, mas o motor que os impulsiona é o hardware. Para ensinar um computador a reconhecer um gato em uma fotografia ou a traduzir uma frase para outro idioma, engenheiros devem treinar modelos matemáticos complexos. Esse processo de treinamento é incrivelmente exigente, requerendo que o computador realize bilhões de cálculos em um tempo muito curto. Para lidar com essa carga de trabalho, pesquisadores dependem de chips especializados chamados unidades de processamento gráfico, ou GPUs, que são projetadas para processar muitas tarefas simultaneamente. No entanto, simplesmente adicionar mais desses chips poderosos nem sempre torna o trabalho mais rápido. Assim como uma grande equipe de trabalhadores pode atrasar um projeto se o escritório for pequeno demais ou se as ferramentas forem mal compartilhadas, adicionar mais GPUs pode, às vezes, criar gargalos onde os chips passam mais tempo esperando por dados do que realmente trabalhando. O desafio para cientistas e engenheiros é encontrar o ponto ideal onde o hardware é usado de forma eficiente, equilibrando velocidade com o custo e a complexidade do sistema.

Uma equipe de pesquisadores da Universidade das Ilhas Baleares desenvolveu uma nova maneira de resolver esse quebra-cabeça. Eles criaram um método para analisar diversas configurações de computadores usadas para treinar um modelo popular de reconhecimento de imagem conhecido como ResNet-50. Em vez de apenas observar qual sistema terminou o trabalho mais rápido, eles queriam entender quais sistemas eram os mais eficientes. Eles trataram o desempenho dessas máquinas como uma paisagem, procurando padrões em como o tempo de treinamento, a velocidade e o uso de recursos mudavam conforme o número de chips aumentava. Ao agrupar sistemas semelhantes e compará-los, descobriram que as configurações mais poderosas nem sempre são aquelas com o maior número de chips.

Os pesquisadores começaram reunindo dados de um padrão da indústria amplamente utilizado chamado benchmark MLPerf Training. Este conjunto de dados contém os resultados de muitas organizações diferentes testando seu hardware na mesma tarefa de reconhecimento de imagem. A equipe analisou detalhes específicos de cada sistema, como o tipo de chips gráficos usados, quantos estavam instalados, quanto tempo o treinamento levou e quantas imagens o sistema podia processar por segundo. Eles então usaram uma técnica de computação para medir quais desses detalhes eram mais importantes. Ao analisar os dados disponíveis, identificaram um conjunto de variáveis que tinham um impacto significativo no desempenho e na eficiência do sistema, focando nos principais fatores de escalabilidade que podiam ser medidos. Eles descobriram que a relação entre o número de chips e o ganho de velocidade não era uma linha reta. Em um mundo ideal, dobrar o número de chips cortaria o tempo de treinamento pela metade. Na realidade, os pesquisadores observaram que, à medida que os sistemas cresciam, o ganho de velocidade extra de cada novo chip começava a diminuir.

Para dar sentido a esses dados complexos, os pesquisadores agruparam as diferentes configurações de computadores em cinco categorias distintas com base em seu desempenho. Eles descobriram que um grupo específico se destacou como o mais eficaz. Esses sistemas utilizavam um número moderado de chips gráficos de última geração, tipicamente entre quatro e dezesseis unidades, combinados com processadores centrais poderosos. Essas configurações alcançavam um equilíbrio notável: treinavam o modelo muito rapidamente enquanto usavam seus recursos com alta eficiência. Em contraste, os sistemas com o maior número de chips, alguns utilizando milhares de unidades, terminavam a tarefa no tempo absoluto mais curto, mas eram muito menos eficientes. Nessas configurações massivas, os chips não trabalhavam tanto quanto poderiam porque estavam esperando por dados ou uns pelos outros, o que significa que grande parte do hardware caro ficava ocioso.

O estudo sugere que a melhor abordagem para treinar modelos de inteligência artificial não é simplesmente jogar mais hardware contra o problema. Em vez disso, os sistemas mais eficazes são aqueles onde os diferentes componentes trabalham em harmonia. Os pesquisadores descobriram que as configurações ideais utilizavam conexões de alta velocidade entre os chips e processadores potentes para fornecer dados a eles sem atraso. Isso permitia que os chips gráficos permanecessem ocupados e produtivos. Os achados indicam que um sistema menor e bem ajustado pode frequentemente superar um sistema massivo e desequilibrado. Para organizações que constroem esses sistemas, isso significa que investir em um número cuidadosamente selecionado de chips de alto nível e garantir que eles estejam conectados adequadamente pode ser uma escolha mais inteligente do que comprar o maior cluster de hardware possível. A pesquisa fornece um guia claro para a seleção das ferramentas certas, mostrando que a eficiência e o desempenho são melhor alcançados através do equilíbrio, e não da escala pura.