Resumo Técnico: Nem Todo Sincronismo é Seguro: Escalonamento de DiLoCo Calibrado para Infraestrutura de IA Compartilhada

Declaração do Problema

Em frotas de IA industriais fragmentadas onde o treinamento compartilha hardware com serviços sensíveis à latência (ex: sidecars vLLM), o treinamento convencional no estilo DiLoCo enfrenta um desafio crítico de produção: quando é seguro sincronizar?

Embora o DiLoCo reduza a comunicação ao permitir que ilhas de aprendizado realizem etapas de otimização local antes da sincronização externa ocasional, os estudos de escalonamento existentes frequentemente falham em isolar o valor do tempo (timing) do valor do orçamento (budget). A maioria das avaliações compara políticas conscientes da carga de trabalho contra baselines de período fixo (ex: a cada 256 ou 512 passos). No entanto, um baseline de período fixo pode simplesmente sincronizar com menos frequência ou em momentos diferentes por acaso, em vez de demonstrar verdadeira consciência da carga de trabalho.

O problema central é que uma mesclagem (merge) externa consome recursos de host, rede e checkpoint por uma duração fixa (ex: 8 segundos). Se essa janela coincidir com requisições sensíveis à latência, ela causa violações de Objetivo de Nível de Serviço (SLO). A questão não é apenas o quão frequentemente sincronizar, mas quais janelas específicas escolher para evitar períodos de alto custo, e se uma política pode superar confiavelmente um posicionamento aleatório do mesmo orçamento de sincronização.

Metodologia

1. O Protocolo de Calibração

Os autores propõem um protocolo de avaliação rigoroso para determinar se uma política de sincronização merece a reivindicação de melhorar os SLOs de serviço. O protocolo introduz um controle de Adiamento Aleatório Pareado (Matched Random Deferral):

• Conceito: Um controle não implantável que herda o orçamento de sincronização exato (número de mesclagens) da política avaliada, mas randomiza o posicionamento dessas mesclagens dentro do corredor de tempo viável.
• Propósito: Isso separa a frequência de sincronização do posicionamento da janela. Se uma política consciente da carga de trabalho não conseguir superar um posicionamento aleatório do mesmo orçamento, ela não demonstrou "ganho de posicionamento".
• Portão (Gate): Uma reivindicação de melhoria de SLO só é válida se a política superar o envelope aleatório pareado em um regime calibrado.

2. DiLoCo Consciente da Carga de Trabalho (WA-DiLoCo)

O artigo instancia este protocolo com o WA-DiLoCo, um controlador leve baseado em pontuação:

• Entradas: Progresso do aprendiz (redução de perda, contribuição de tokens, obsolescência/staleness) e pressão da frota (rede, serviço, checkpoint).
• Pontuação: Uma pontuação linear $s_i$ é computada para cada aprendiz, pesando o progresso positivamente e a pressão negativamente. A pressão de serviço carrega o maior peso no cenário alvo.
• Lógica de Decisão: O coordenador sincroniza se a lacuna desde a última mesclagem exceder $H_{min}$ (128 passos) e a pontuação média exceder um limite, ou se a lacuna atingir $H_{max}$ (512 passos). Isso garante que as mesclagens permaneçam dentro de um corredor delimitado.

3. Sobreposição Calibrada e Previsão

Para cargas de trabalho com rajadas (bursty), os autores identificam que a sobreposição direta com requisições sidecar é um sinal de custo mais preciso do que métricas de pressão geral.

• Offline Calibrated-WA: Um oráculo que observa a trilha completa de rajadas e seleciona novamente as janelas viáveis de menor sobreposição. Isso estabelece o limite teórico superior do que é possível.
• Previsão Online: Para tornar isso implantável, os autores aumentam o controlador com uma previsão de Média Móvel Exponencialmente Ponderada (EWMA) de um passo para as taxas de requisição. Isso permite que o controlador pontue janelas candidatas com base na sobreposição esperada antes que a mesclagem seja lançada.

Principais Contribuições

1. Protocolo de Avaliação Calibrado: O artigo identifica uma lacuna na literatura existente onde baselines de período fixo confundem orçamento e posicionamento. O protocolo exige transferência de efeito de sidecar real, um match de carga sem sincronização e um envelope aleatório pareado antes de reivindicar melhorias de SLO de serviço.
2. Controle de Adiamento Aleatório Pareado: Introduz um controle não implantável que herda o orçamento de mesclagem do escalonador avaliado, mas randomiza o posicionamento. Este serve como um baseline estrito; um escalonador que não consegue superar este posicionamento aleatório apenas controlou o orçamento, não a carga de trabalho.
3. Formulação de Escalonamento Calibrado Delimitado: Os autores formalizam o sincronismo como posicionamento viável dentro de um corredor min/max-H. Eles provam que, sob um modelo de sobreposição calibrado, o escalonamento calibrado offline é próximo do ideal dentro da classe de orçamento pareado, enquanto a variante online degrada graciosamente com o erro de previsão.
4. Estudo Extensivo de Regime de Sidecar Real: O estudo avalia políticas através de regimes ordinários, de alta pressão, de sincronismo constante, de rajadas e de serviço não periódico usando replays reais de sidecars vLLM.

Resultados

Os experimentos revelam que a eficácia do escalonamento depende fortemente do regime de carga de trabalho:

• Regimes Ordinários/De Alta Pressão: Em trilhas de sidecar ordinárias, efeitos de pressão sintética não foram transferidos para a latência real (razões p95 $\approx$ 1.0). Em regimes de alta pressão, todas as políticas foram saturadas e nenhuma política dominou.
• Regimes de Sincismo Constante: O WA-DiLoCo superou os baselines de intervalo fixo e de gatilho de pressão. No entanto, ele empatou estatisticamente com o controle de adiamento aleatório pareado ($p=0.56$), indicando que, para cargas constantes, o simples posicionamento aleatório é frequentemente suficiente, e nenhuma forte reivindicação de dominância pode ser feita.
• Regimes de Rajadas (Bursty): É aqui que a calibração gera valor.
  • Offline Calibrated-WA: Reduziu as violações excessivas de SLO de sincronismo para 4,45%, superando significativamente o envelope aleatório pareado (6,26%) e o WA-DiLoCo (6,92%).
  • Previsor Online: O controlador online aumentado com EWMA reduziu as violações de SLO de 6,54% (aleatório pareado) para 5,09% em replays de sidecar vLLM reais ($p=0,021$). Isso representa um ganho de posicionamento de 1,46 ponto percentual, reduzindo as violações de SLO em cerca de 60 requisições por sidecar a cada dez minutos no throughput testado.

Significância e Reivindicações

A principal significância do artigo é metodológica, em vez de puramente algorítmica. Eles argumentam que nem todo sincronismo é seguro e que reivindicar melhorias de SLO exige um nível mais alto de evidência.

• O Protocolo Primeiro: Os autores afirmam que a "lição implantável" é o próprio protocolo: pesquisadores devem relatar transferência de efeito de sidecar real, um match de carga sem sincronização e um envelope aleatório pareado antes de reivindicar melhorias de SLO de serviço.
• Reivindicações Modestas sobre Implantabilidade: O artigo é modesto sobre o estado atual do controlador online. Embora o oráculo offline prove que existe uma estrutura explorável em trilhas de rajadas, o controlador online (sem previsão) não superou significativamente o aleatório pareado. A reivindicação de implantação bem-sucedida reside especificamente na variante aumentada por previsão em uma família específica de trilhas não periódicas.
• Limitações: Os autores declaram explicitamente que estes são estudos de replay sob estresse, não implantações em produção ao vivo. A duração da mesclagem de 8 segundos é específica de configuração, e o controlador online permanece uma "implementação incompleta" da ideia de escalonamento calibrado, exigindo mais ajustes de pesos e salvaguardas para justiça (fairness) e mitigação de starvation em futuras implantações.

Em conclusão, o artigo demonstra que, embora o DiLoCo reduza a comunicação, o escalonamento dos eventos de sincronização restantes é um problema de controle crítico em frotas compartilhadas. Ao introduzir um baseline aleatório pareado e um protocolo de calibração, os autores mostram que o escalonamento consciente da carga de trabalho só produz ganhos mensuráveis de SLO quando a carga de trabalho possui uma estrutura explorável (como rajadas) e quando o controlador consegue prever ou observar essa estrutura com precisão.