Resumo Técnico: Descida de Gradiente de Fragmentação Genética (GFGD)

1. Definição do Problema

Os modernos clusters de GPU que suportam aprendizado de máquina e IA generativa enfrentam uma tensão crítica entre utilização de recursos e alocabilidade. Embora o compartilhamento de GPU de granularidade fina (permitindo que múltiplos trabalhos ocupem fatias sub-GPU) aumente a utilização agregada, isso introduz fragmentação de recursos. Essa fragmentação cria lacunas residuais heterogêneas e não coalescíveis entre os dispositivos. Consequentemente, um trabalho que chega pode ser rejeitado (inviável) mesmo quando o cluster possui capacidade livre agregada suficiente, simplesmente porque a capacidade livre está fragmentada ou desequilibrada entre os dispositivos de modo que nenhuma alocação adequada pode ser formada para o trabalho (uma perda de alocabilidade entre dispositivos).

Soluções existentes como a Descida de Gradiente de Fragmentação (FGD) tentam mitigar isso usando simulações "e se" (what-if) online para estimar o impacto de longo prazo das decisões de alocação. No entanto, a FGD sofre de duas limitações primárias:

1. Alto Overhead Online: Requer simulação e recomputação cara de métricas de todo o cluster, o que se torna um gargalo sob chegadas explosivas (bursty) e grandes tamanhos de cluster.
2. Modelagem de Confiabilidade Insuficiente: A FGD trata a fragmentação como um proxy para confiabilidade. No entanto, reduzir a fragmentação muitas vezes exige consolidar a carga, o que pode criar pontos quentes (hotspots) de utilização e aumentar as falhas de tempo de execução causadas por estresse. Inversamente, espalhar a carga reduz os hotspots, mas aumenta a fragmentação. Assim, a fragmentação sozinha não é uma estatística suficiente para a confiabilidade sob estresse.

O desafio central é projetar um escalonador que melhore a alocabilidade e gerencie a fragmentação enquanto controla explicitamente falhas de tempo de execução, tudo dentro de orçamentos rigorosos de tempo de decisão adequados para ambientes de produção.

2. Metodologia: Estrutura GFGD

Os autores propõem o Genetic Fragmentation Gradient Descent (GFGD), uma estrutura de escalonamento offline-online. O princípio central de design é deslocar a busca de política e a calibração de confiabilidade caras para um simulador offline, implantando apenas operações leves de tempo constante online.

A. Fase Offline: Evolução de Políticas com Restrição de Falha

Na fase offline, o GFGD evolui políticas de alocação compactas e interpretáveis usando um Algoritmo Genético (GA).

• Representação da Política: Cada política é um vetor de pesos tridimensional $w = [w_{frag}, w_{pwr}, w_{fail}]$ que equilibra três objetivos:
  1. Mudança de Fragmentação ($\Delta Frag$): Um proxy para desequilíbrio entre dispositivos (desvio padrão da utilização de memória por GPU).
  2. Proxy de Potência ($\Delta Pwr$): Um modelo de potência linear baseado na utilização.
  3. Proxy de Risco de Falha ($\Delta Fail$): Um agregador sensível a hotspots que aumenta monotonicamente com a utilização, enfatizando GPUs de alto estresse.
• Objetivo de Otimização: O GA minimiza uma função de custo escalarizada (soma ponderada da taxa de conclusão, latência de cauda, energia desperdiçada, tempo de inatividade e capacidade ociosa/stranded capacity) sujeito a uma salvaguarda (guardrail) rígida de falha de tempo de execução (RF).
• Mecanismo de Salvaguarda: Para garantir a robustez contra o ruído estocástico da simulação, a restrição de RF é aplicada em um Limite Superior de Confiança (UCB) da taxa de falha estimada através de múltiplas tentativas de simulação. Políticas que violam $RRF(w) \le RRF_{ref} + \epsilon$ são descartadas.
• Aprendizado Específico de Regime: As políticas são evoluídas separadamente para diferentes regimes operacionais (baixa, média, alta utilização) para se adaptar a diferentes estados do cluster.

B. Fase Online: Escalonamento Leve e Consciente de Regime

No momento da decisão, o escalonador online realiza duas operações leves:

1. Seleção de Regime: Ele classifica o estado atual do cluster com base na utilização média de memória e seleciona o vetor de pesos de política pré-evoluído correspondente a esse regime.
2. Pontuação de Candidatos Limitada: Em vez de avaliar todas as GPUs ou simular estados futuros, o escalonador:
   • Identifica um conjunto viável de GPUs.
   • Amostra um subconjunto de tamanho fixo e pequeno (ex: $k_{cand}=8$) usando uma estratégia "âncora + aleatória" (selecionando extremos como memória livre máxima, risco mínimo e amostras aleatórias).
   • Classifica esses candidatos usando uma regra de pontuação de tempo constante baseada nos pesos $w$ selecionados e nos três proxies definidos acima.
   • Aloca o trabalho sequencialmente nas melhores GPUs pontuadas.

Esta abordagem elimina a simulação "e se" online, reduzindo o overhead de escalonamento para níveis próximos aos de heurísticas, mantendo o comportamento consciente da fragmentação.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

1. Aprendizado de Política Offline com Restrição de Falha: Formular o escalonamento de GPU como um problema de otimização que controla explicitamente as falhas de tempo de execução via uma salvaguarda, em vez de depender apenas da fragmentação como único proxy de confiabilidade.
2. Evolução por GA de Políticas Interpretáveis: Evoluir vetores de pesos de 3 termos compactos e regime-específicos que otimizam proxies de fragmentação e energia enquanto impõem uma restrição de falha de tempo de execução em relação a uma linha de base (FGD).
3. Escalonamento Online Leve: Alcançar um overhead próximo ao de heurísticas ao substituir a simulação online pela seleção de política correspondente ao regime e classificação de candidatos com orçamento constante, mantendo alocabilidade e confiabilidade competitivas.
4. Preditor de Risco Opcional: Fornecer um preditor de inviabilidade de admissão em nível de estado (usando Gradient Boosting Decision Trees) para seleção de múltiplas políticas opcional, embora não seja necessário para o caminho online principal.

4. Resultados Experimentais

Os autores avaliaram o GFGD usando um simulador de eventos discretos calibrado com traços de produção (cluster de GPU da Alibaba) e cargas de trabalho sintéticas. Comparações foram feitas contra FGD (bounded-candidate), Min-Power (PWR) e uma heurística de falha consciente (FA) de peso fixo.

• Overhead de Escalonamento: O GFGD reduziu o tempo de decisão de escalonamento em 5,1x a 136,9x em comparação com a FGD conforme o tamanho do cluster escalava de 32 para 1024 GPUs. O overhead permaneceu baixo e estável graças à avaliação de candidatos limitados (em 1024 GPUs, a média foi de 1,14 ms e o P95 foi de 1,82 ms).
• Confiabilidade e Eficiência:
  • Falhas de Tempo de Execução: O GFGD reduziu significativamente as falhas de tempo de execução (NRF) em comparação com a FGD e a linha de base FA de peso fixo através de vários níveis de estresse ($K_U$ sweeps).
  • Taxa de Conclusão: O GFGD manteve taxas de conclusão quase perfeitas (frequentemente 1.000) enquanto reduzia a energia desperdiçada em aproximadamente 74% a 82% em comparação com a FGD.
  • Estabilidade de SLO: O GFGD reduziu substancialmente as perdas de prazo de início (SD) em comparação com a linha de base Min-Power, que sofreu instabilidade sob pressão de SLO.
• Robustez:
  • Sensibilidade ao Estresse: As políticas do GFGD, treinadas em um nível de estresse nominal, permaneceram robustas quando testadas sob variados coeficientes de sensibilidade de falha ($K_U \in \{0, 1, 2, 3\}$).
  • Mudanças de Carga de Trabalho: O método demonstrou resiliência a mudanças de distribuição em contagem de trabalhos, durações e natureza explosiva (burstiness) de chegada.
  • Desajuste de Tipo: O GFGD manteve a estabilidade mesmo quando o mapeamento entre tipos de GPU e taxas de falha foi randomizado, superando estratégias focadas em energia que dependiam de mapeamentos fixos de tipo-confiabilidade.

5. Significância e Alegações

O artigo posiciona o GFGD como uma solução prática para o "gargalo de primeira ordem" da fragmentação em clusters de GPU compartilhados. Sua significância reside em:

• Desacoplamento de Complexidade e Desempenho: Demonstra que os benefícios de um posicionamento sofisticado e consciente da fragmentação (que anteriormente exigia simulação online cara) podem ser alcançados através de aprendizado offline e pontuação online leve.
• Controle Explícito de Confiabilidade: Desafia a suposição de que métricas de fragmentação são suficientes para a confiabilidade, introduzindo um termo explícito de risco de falha e uma salvaguarda rígida para evitar a troca da alocabilidade por falhas excessivas de tempo de execução.
• Viabilidade de Produção: Ao manter tempos de decisão online constantes e baixos, o GFGD aborda os orçamentos de tempo de decisão estritos exigidos por clusters de produção de grande escala e alta frequência, oferecendo uma alternativa implantável aos escalonadores pesados em simulação.

Os autores concluem que o GFGD equilibra com sucesso alocabilidade, eficiência energética e confiabilidade sem o fardo computacional da simulação "e se" online, tornando-o um candidato viável para o gerenciamento de clusters de GPU no mundo real.