Resumo Técnico: EvalStop

Declaração do Problema

Plataformas de ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LLMs) baseadas em nuvem hospedam cada vez mais cargas de trabalho de Aprendizado por Reforço com Feedback Humano (RLHF). No RLHF, uma política é treinada para maximizar um modelo de recompensa aprendido, que serve como um substituto (proxy) para as preferências humanas. No entanto, conforme demonstrado por Gao et al. (2023), sob pressão de otimização sustentada, este substituto diverge do "feedback do mundo" (métricas de avaliação downstream). Este fenômeno, conhecido como sobreotimização de recompensa ou hackeamento de recompensa (reward hacking), ocorre quando a pontuação do modelo de recompensa e a perda de treinamento continuam a melhorar monotonicamente, enquanto a qualidade real da política (medida por benchmarks de controle) atinge um pico e subsequentemente degrada.

Os escalonadores de plataforma existentes falham em abordar essa divergência:

1. Escalonadores não-clairvoyant (ex: Tiresias, Pollux) otimizam o Tempo de Conclusão do Trabalho (JCT) sem sinais de qualidade, sendo incapazes de distinguir o treinamento produtivo do desperdício de computação.
2. Escalonadores conscientes da qualidade (ex: SLAQ) dependem da perda de treinamento. Como a perda correlaciona-se com a qualidade no aprendizado supervisionado padrão, mas se desacopla durante a sobreotimização de RLHF, esses escalonadores continuam alocando recursos para trabalhos que estão "hackeando".
3. O encerramento precoce (early stopping) clássico requer monitoramento humano por trabalho e não facilita a realocação de recursos em nível de plataforma.

O desafio central é detectar o hackeamento de recompensa no nível do escalonador usando apenas sinais observáveis (pontuações de avaliação em checkpoints) sem modificar o algoritmo de treinamento ou violar as restrições de não-clairvoyance, recuperando assim os recursos de GPU de trabalhos divergentes.

Metodologia: EvalStop

Os autores propõem o EvalStop, um primitivo de escalonamento composível que atua como um invólucro (wrapper) em torno de qualquer escalonador base. O EvalStop reformula o encerramento precoce ao nível do escalonador como um problema de detecção: distinguir entre execuções de RLHF estruturalmente saudáveis e aquelas que sofrem de hackeamento de recompensa.

Arquitetura e Mecanismo

O EvalStop opera através de três módulos primários:

1. Entrada de Feedback do Mundo: O sistema ingere pontuações de avaliação downstream (o sinal de "feedback do mundo") em checkpoints agendados. Ele respeita uma "Fronteira de Informação", observando apenas tipos de trabalho, pontuações de avaliação e contagens de declínio consecutivas, sem acesso à duração oculta do trabalho ou rótulos ocultos de hackeamento.
2. Detector de Declínio: A lógica central rastreia a trajetória das pontuações de avaliação para cada trabalho. Se um trabalho exibe $k$ declínios consecutivos em sua pontuação de avaliação, o sistema aciona um encerramento precoce. Este mecanismo funciona como um detector de mudança de ponto simplificado, escolhido por sua interpretabilidade e simplicidade operacional.
3. Parar e Salvar (Stop and Save): Ao ser acionado, o invólucro encerra o trabalho, libera seus recursos de GPU imediatamente e preserva o melhor checkpoint do modelo (registrado $k$ passos de avaliação antes do gatilho). O estado atualizado do cluster é então delegado de volta ao escalonador base (ex: FIFO, SRTF-Est, LossAware) para realocação de recursos.

Ao contrário de abordagens anteriores que meramente despriorizam trabalhos pós-pico (o que leva à inanição e ocupação contínua de recursos), o EvalStop encerra ativamente e libera os recursos.

Principais Contribuições

O artigo descreve três contribuições específicas:

• C1 (Enquadramento de Detecção): Os autores argumentam que o encerramento precoce ao nível do escalonador para RLHF é fundamentalmente um problema de detecção. Eles introduzem um design experimental onde os rótulos de verdade fundamental (ground-truth) de hackeamento são ocultados atrás de um proxy de lista branca (a Fronteira de Informação), permitindo a medição honesta da qualidade do detector (precisão/recall) em vez de apenas métricas de sistema.
• C2 (Detector Composável): O EvalStop alcança alta precisão de detecção. Em cargas de trabalho pesadas de RLHF, ele atinge 98% de precisão e 99% de recall com uma Taxa de Falso Positivo (FPR) de 1,5%. Ele supera significativamente regras de progresso fixo triviais (que incorrem em ~65% de FPR) e detectores de platô de perda (que perdem >60% dos casos de hackeamento).
• C3 (Ganhos de Sistema Composáveis): O EvalStop funciona como um overlay que melhora o desempenho de vários escalonadores base. Ele gera melhorias de 9–25% no JCT e reduz o desperdício de computação em aproximadamente 22% em cargas de trabalho pesadas de RLHF. Sua qualidade de detecção permanece estável sob níveis variáveis de ruído de avaliação ($\sigma \le 0.05$) e taxas de base de hackeamento (20–80%).

Resultados Experimentais

Os autores avaliaram o EvalStop usando um simulador de eventos discretos modelando uma plataforma multi-tenant com 64 GPUs e cargas de trabalho mistas (LoRA, DPO, RLHF). A carga de trabalho de RLHF era uma mistura de 60% de execuções de "hackeamento" (onde as pontuações de avaliação atingem o pico e declinam) e 40% de execuções "saudáveis".

• Resultados Principais (Carga de Trabalho Pesada de RLHF): Comparado ao baseline SRTF-Est (Shortest Remaining Time First com estimativas), o EvalStop+SRTF reduziu o JCT em 9,4% e o desperdício de computação em 21,8%. Crucialmente, manteve uma precisão de 98,3% e um FPR de 1,5%. Em contraste, um baseline "StopAt-0.65" (parando todos os trabalhos de RLHF aos 65% de progresso) alcançou ganhos de JCT semelhantes, mas destruiu 64,5% dos trabalhos saudáveis (alto FPR). Um detector de platô de perda alcançou apenas 38,3% de recall, perdendo a maioria dos casos de hackeamento.
• Composibilidade: O EvalStop melhorou o JCT em 8,9% a 25,2% através de diferentes escalonadores base (FIFO, SJF-Est, SRTF-Est, LossAware).
• Robustez:
  • Sensibilidade ao Ruído: À medida que o ruído de avaliação aumentou ($\sigma$ de 0.01 para 0.12), a precisão do EvalStop degradou graciosamente de 100% para 81%, permanecendo significativamente superior aos concorrentes.
  • Sensibilidade à Taxa Base: A precisão do EvalStop permaneceu acima de 89% em frações de hackeamento variando de 20% a 80%, enquanto a precisão do baseline de progresso fixo estava diretamente ligada à taxa base (atuando como um classificador constante).
• Sensibilidade ao Limiar: Um limiar de declínio de $k=2$ foi considerado ideal para equilibrar a detecção precoce contra falsos positivos de forma eficaz.

Significância e Alegações

O artigo alega que o feedback do mundo (pontuações de avaliação downstream) é um sinal de escalonamento superior às perdas de treinamento ou pontuações de modelos de recompensa para cargas de trabalho de RLHF. O EvalStop operacionaliza essa percepção ao transformar as pontuações de avaliação de sinais de monitoramento passivo em sinais de controle ativos para alocação de recursos.

Os autores enfatizam que o EvalStop é complementar às mitigações ao nível de treinamento (ex: RL restrito, ensembles de recompensa). Enquanto os métodos de nível de treinamento visam prevenir o hackeamento, o EvalStop fornece uma rede de segurança ao nível do escalonador para casos onde a mitigação imperfeita leva à divergência. O sistema permite que as plataformas recuperem recursos de GPU de trabalhos divergentes sem exigir mudanças no algoritmo de treinamento ou violar as restrições de escalonamento não-clairvoyant.

Os autores observam limitações, incluindo o uso de curvas de treinamento sintéticas calibradas para Gao et al. (2023) e a suposição de hardware homogêneo. Eles afirmam que a validação em rastros de treinamento reais (ex: de TRL ou OpenRLHF) é o próximo passo necessário. O trabalho sugere que, à medida que as cargas de trabalho de RLHF crescem, gerenciar a lacuna entre sinais de proxy e o feedback do mundo se tornará crítico para o gerenciamento eficiente de recursos em plataformas de nuvem.