Resource Heterogeneity-Aware and Utilization-Enhanced Scheduling for Deep Learning Clusters

O artigo apresenta o Hadar, um agendador de tarefas heterogêneo e otimizado para clusters de aprendizado profundo que, juntamente com sua versão aprimorada HadarE, reduz significativamente o tempo total de treinamento e aumenta a utilização de recursos ao explorar a heterogeneidade em nível de tarefa e permitir o treinamento concorrente de cópias de tarefas em GPUs heterogêneas.

O essencial

Imagine que você tem uma cozinha gigante (o Cluster) cheia de cozinheiros de diferentes habilidades: alguns são chefs de elite com fogões de alta tecnologia (GPUs V100), outros são cozinheiros experientes com fogões padrão (GPUs P100) e alguns são aprendizes com fogões básicos (GPUs K80).

O problema é que você precisa preparar vários pratos complexos ao mesmo tempo (Treinamento de Modelos de Deep Learning). A questão é: como organizar quem faz o quê para que tudo saia rápido, sem deixar nenhum fogão parado e sem que os pratos fiquem ruins?

Até agora, os "gerentes de cozinha" (os agendadores antigos) eram um pouco rígidos. Eles diziam: "Se o Prato A precisa de 4 fogões de elite e só temos 3, o Prato A tem que esperar". Isso deixava os outros fogões parados, desperdiçando tempo e energia.

Este artigo apresenta duas novas soluções inteligentes para esse problema: Hadar e HadarE.

1. Hadar: O Gerente que Entende os Detalhes

O Hadar é como um gerente de cozinha super observador que não olha apenas para o "prato inteiro", mas para cada etapa da receita.

• A Mágica da Heterogeneidade: O Hadar sabe que o Chef de Elite cozinha um molho muito mais rápido que o Aprendiz, mas talvez o Aprendiz seja ótimo para descascar batatas. Em vez de forçar um prato a usar apenas fogões iguais, o Hadar divide a tarefa. Ele manda o Chef de Elite fazer a parte difícil e o Aprendiz fazer a parte fácil, tudo ao mesmo tempo.
• Otimização: Ele usa matemática avançada (chamada de framework primal-dual) para calcular exatamente quanto tempo cada cozinheiro levaria em cada tipo de fogão.
• Resultado: Nada fica parado. Se um fogão está livre, ele recebe uma tarefa imediatamente, mesmo que seja uma parte pequena de um prato grande. Isso acelera o tempo total de preparo em cerca de 20% comparado aos gerentes anteriores.

2. HadarE: O Gerente que "Clona" os Pratos

O HadarE é uma evolução ainda mais radical. Imagine que, em vez de ter apenas uma panela para fazer um molho, você tem 5 panelas e 5 cozinheiros.

• A Técnica do "Fork" (Garfo/Clonagem): O HadarE pega um único prato (um modelo de IA) e cria 5 cópias dele ao mesmo tempo.
• Trabalho em Equipe: Cada cópia do prato vai para um fogão diferente. Enquanto um fogão está descascando batatas, o outro está fritando. Eles trabalham em paralelo.
• A Reunião Final: No final de cada etapa, os cozinheiros se reúnem, misturam o que fizeram (consolidam os parâmetros) e continuam a receita juntos.
• O Grande Ganho: Isso elimina quase totalmente o tempo de espera. Se sobrar um prato para fazer e 5 fogões livres, o HadarE usa os 5 fogões de uma vez.
• Resultado: Isso é um salto gigante. Em testes reais, o HadarE foi 50% a 80% mais rápido que os métodos antigos, dependendo do ambiente. Além disso, como os "cozinheiros" mais rápidos fazem mais trabalho, o prato final (o modelo de IA) até fica com um sabor melhor (maior qualidade de inferência) do que quando feito de forma tradicional.

Resumo da Ópera (Analogia Final)

Pense no treinamento de IA como uma corrida de revezamento:

• Os Antigos (Gavel/YARN): Se o time precisa de 4 corredores e só tem 3, o time inteiro fica parado esperando o 4º chegar. Os outros 3 corredores ficam olhando o relógio.
• Hadar: Ele divide a corrida em pedaços menores. Se só tem 3 corredores, ele manda os 3 correrem o máximo possível, sem deixar ninguém parado, ajustando a velocidade de cada um conforme sua capacidade.
• HadarE: Ele pega o mesmo corredor, cria 5 clones dele e manda os 5 clones correrem ao mesmo tempo em pistas diferentes. No final, ele junta os tempos e continua a corrida. É como se você tivesse um exército de clones trabalhando juntos.

Conclusão:
O artigo mostra que, ao ser mais inteligente sobre como usar máquinas diferentes (heterogeneidade) e ao permitir que um único trabalho seja dividido em várias máquinas ao mesmo tempo (forking), conseguimos treinar Inteligência Artificial muito mais rápido, gastando menos energia e, ironicamente, obtendo resultados de melhor qualidade. É como transformar uma cozinha onde os chefs ficam parados esperando em uma máquina de produção super eficiente.

Resumo técnico

Resumo Técnico: Hadar e HadarE para Agendamento em Clusters de Deep Learning

1. O Problema

O treinamento de modelos de Deep Learning (DL) em clusters modernos depende de aceleradores heterogêneos (como GPUs V100, P100, K80, TPUs). O desafio central identificado pelos autores é que os agendadores (schedulers) existentes falham em duas frentes principais:

• Falta de Consciência de Heterogeneidade Fina: Soluções anteriores, como o Gavel, tratam a heterogeneidade apenas no nível do trabalho (job-level). Se um trabalho requer 4 GPUs e o cluster tem 3 GPUs de um tipo e 3 de outro, o trabalho fica bloqueado, mesmo que os recursos totais sejam suficientes. Eles não consideram a heterogeneidade no nível da tarefa (task-level).
• Subutilização de Recursos: Devido à rigidez na alocação (exigir que um trabalho rode em um único nó ou em GPUs homogêneas), os clusters frequentemente deixam aceleradores ociosos, especialmente quando o número de trabalhos em fila não corresponde exatamente ao número de nós disponíveis.

2. Metodologia Proposta

Os autores propõem uma arquitetura de agendamento em duas fases: Hadar (agendador base) e HadarE (Hadar Enhancement).

A. Hadar: Agendamento Consciente de Heterogeneidade no Nível de Tarefa

• Formulação de Otimização: O problema é modelado como um programa de otimização que maximiza a utilidade global dos trabalhos, considerando a heterogeneidade de desempenho de cada tarefa em diferentes tipos de aceleradores.
• Abordagem Primal-Dual: Para resolver o problema de alocação de recursos (que envolve variáveis inteiras e restrições complexas), os autores utilizam um framework Primal-Dual.
  • Eles relaxam as restrições inteiras e formulam um problema dual.
  • Utilizam uma sub-rotina dual para calcular o "custo" dos recursos com base em uma função de preço dinâmica. O preço dos recursos aumenta exponencialmente conforme a alocação aumenta, filtrando trabalhos de baixa utilidade e priorizando os de alta utilidade.
• Algoritmo de Programação Dinâmica: Um algoritmo eficiente (DP) é desenvolvido para encontrar a alocação ótima de tarefas em múltiplos nós e tipos de GPUs, considerando tanto a consolidação (rodar em um único nó) quanto a distribuição (rodar em vários nós) de tarefas de um mesmo trabalho.
• Decisões Espaciais e Temporais: Diferente do Gavel (que foca apenas na alocação espacial), o Hadar toma decisões ao longo das dimensões espacial (qual GPU/nó) e temporal (quando executar), permitindo que um trabalho utilize GPUs de tipos diferentes simultaneamente.

B. HadarE (Hadar Enhancement): Aumento de Utilização via "Forking"

• Conceito de Forking: Para superar a limitação de que um trabalho roda em apenas um nó por vez, o HadarE divide (faz fork) cada trabalho de treinamento em múltiplas cópias.
• Execução Concorrente: Essas cópias são agendadas para rodar concorrentemente em nós heterogêneos diferentes do cluster.
• Job Tracker e Consolidação: Um componente chamado Job Tracker monitora o progresso de todas as cópias. Ao final de cada rodada de agendamento:
  1. Agregação: Soma os passos de treinamento completados por todas as cópias.
  2. Consolidação: Faz a média ponderada dos parâmetros do modelo (pesos) das cópias para gerar um modelo unificado para a próxima rodada.
• Estimativa de Throughput Inicial: Como o profiling completo pode ser lento, o HadarE utiliza uma fórmula heurística baseada no índice de desempenho-memória (PMI), tamanho do batch, capacidade PCIe e complexidade do modelo para estimar a velocidade inicial de treinamento antes de ter dados reais.

3. Principais Contribuições

1. Agendamento Fina Granularidade: Introdução do Hadar, o primeiro agendador a lidar com a heterogeneidade de desempenho no nível de tarefa, permitindo que um único trabalho utilize GPUs de tipos diferentes simultaneamente.
2. Algoritmo de Otimização: Desenvolvimento de um algoritmo baseado em Primal-Dual com complexidade polinomial, provando uma garantia de desempenho a longo prazo (razão competitiva limitada por constantes).
3. Mecanismo de Forking (HadarE): Proposta de dividir trabalhos em múltiplas cópias para maximizar a utilização de recursos em clusters heterogêneos, eliminando nós ociosos.
4. Validação em Ambientes Reais: Avaliação extensiva não apenas via simulação, mas em clusters físicos reais (AWS e laboratório próprio), comparando com o estado da arte (Gavel, Tiresias, YARN-CS).

4. Resultados Experimentais

Os resultados foram obtidos através de simulações baseadas em traços reais e experimentos em clusters físicos (AWS e laboratório):

• Utilização de Recursos (CRU/GRU):
  • O Hadar aumentou a utilização de recursos em 1,20× em comparação ao Gavel.
  • O HadarE alcançou um aumento de 1,45× (ou até 1,62× em alguns cenários) na utilização de recursos em relação ao Gavel, garantindo que quase nenhum nó fique ocioso.
• Tempo Total de Treinamento (TTD):
  • O Hadar reduziu o tempo total em 1,20× comparado ao Gavel.
  • O HadarE reduziu o tempo total em 50% no cluster AWS e em 80% no cluster de laboratório em comparação ao Gavel.
• Tempo de Conclusão Médio de Trabalhos (JCT):
  • O HadarE reduziu o JCT em até 2,76× em comparação ao Gavel.
• Qualidade do Modelo (Inferência):
  • Surpreendentemente, os modelos treinados pelo HadarE apresentaram melhor qualidade de inferência (maior precisão em classificação e tradução, menor erro quadrático médio) do que os treinados pelo Hadar ou Gavel. Isso é atribuído ao fato de que o uso de nós heterogêneos permite que modelos mais potentes realizem mais passos de treinamento antes da consolidação, melhorando a generalização.

5. Significado e Impacto

Este trabalho é significativo porque resolve o dilema clássico de "recursos ociosos vs. requisitos rígidos" em clusters de IA.

• Eficiência Econômica: Ao maximizar a utilização de hardware caro (GPUs heterogêneas), reduz o custo de treinamento de modelos de DL.
• Flexibilidade Operacional: Permite que clusters mistos (com GPUs de gerações diferentes) operem de forma eficiente, algo que agendadores tradicionais evitam.
• Qualidade Superior: Demonstra que a otimização de recursos não precisa sacrificar a qualidade do modelo; pelo contrário, a execução distribuída e heterogênea pode levar a melhores resultados de aprendizado.
• Escalabilidade: O algoritmo proposto possui complexidade polinomial, tornando-o viável para clusters grandes com milhares de trabalhos.

Em suma, o Hadar e o HadarE representam um avanço fundamental na gestão de recursos para Deep Learning, transformando a heterogeneidade de hardware de um obstáculo em uma vantagem estratégica para velocidade e qualidade de treinamento.