Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models

Título do Estudo

Acelerando o Agente de Comércio da PayPal com Decodificação Especulativa: Um Estudo Empírico sobre EAGLE3 com Modelos Nemotron Ajustados

---

1. Problema e Contexto

A implementação de Grandes Modelos de Linguagem (LLMs) em ambientes de comércio eletrônico de produção enfrenta uma tensão fundamental entre a qualidade do modelo e a latência de inferência.

• O Desafio: O "Agente de Comércio" da PayPal exige compreensão linguística sofisticada para formulação de consultas, busca e recomendação de produtos. Embora modelos maiores ofereçam melhor raciocínio, os Acordos de Nível de Serviço (SLAs) de produção exigem tempos de resposta inferiores a 2 segundos.
• Trabalho Anterior: Uma solução prévia (NEMO-4-PAYPAL) já havia reduzido a latência e os custos ao utilizar um modelo de linguagem pequeno (SLM) ajustado especificamente para o domínio (llama3.1-nemotron-nano-8B-v1) e implantado via NVIDIA NIM.
• O Objetivo Atual: Mesmo com as otimizações anteriores, os autores buscam reduzir ainda mais a latência e o custo de hardware sob cargas de trabalho de produção, explorando otimizações em tempo de inferência sem alterar a distribuição de saída do modelo.

2. Metodologia

Os autores realizaram uma avaliação empírica abrangente comparando a implantação padrão contra uma otimização de decodificação especulativa.

• Modelo Alvo: O modelo ajustado llama3.1-nemotron-nano-8B-v1, focado em tarefas de e-commerce (formatação de consultas em JSON estruturado).
• Técnica de Otimização: Uso de Decodificação Especulativa com EAGLE3, um método baseado em um modelo rascunho (draft model) leve e sem necessidade de treinamento adicional (training-free).
  • O modelo rascunho (EAGLE3) propõe múltiplos tokens em paralelo.
  • O modelo alvo (Nemotron) verifica esses tokens em uma única passagem de forward, aceitando-os se estiverem corretos e rejeitando-os caso contrário.
• Configuração Experimental:
  • Hardware: Comparação justa em hardware idêntico (2× NVIDIA H100 GPUs).
  • Baselines: NVIDIA NIM (implantação de produção) vs. vLLM com EAGLE3.
  • Variáveis:
    • Contagem de tokens especulativos ($\gamma$): 3 e 5.
    • Níveis de concorrência: 1, 4, 8, 16 e 32 requisições simultâneas.
    • Temperaturas de amostragem: 0 (decodificação gananciosa) e 0.5 (amostragem estocástica).
  • Total: 40 configurações experimentais distintas.
• Avaliação de Qualidade: Utilização de "LLM-as-Judge" com comparação pareada e randomização de ordem (A/B) para garantir que a qualidade da saída não fosse degradada.

3. Principais Contribuições

1. Avaliação em Escala de Produção: Primeiro estudo abrangente de decodificação especulativa aplicado a um SLM ajustado para comércio em um ambiente real, cobrindo 40 configurações.
2. Caracterização da Taxa de Aceitação: Análise detalhada mostrando que as taxas de aceitação são notavelmente estáveis em diferentes condições de carga, simplificando o planejamento de capacidade.
3. Verificação de Preservação de Qualidade: Confirmação rigorosa de que a decodificação especulativa não degrada a qualidade da saída em nenhuma configuração testada.
4. Diretrizes de Implantação Prática: Identificação de que a configuração $\gamma=3$ é a ideal e a demonstração de que uma implantação em um único GPU pode superar ou igualar o desempenho de dois GPUs, oferecendo redução de custos.

4. Resultados Chave

Desempenho e Latência

• Melhoria de Throughput: A configuração com $\gamma=3$ (Spec-3) resultou em um aumento de 22% a 49% no throughput (requisições por segundo) em comparação com a baseline NIM.
• Redução de Latência: Houve uma redução de 18% a 33% na latência média.
• Configuração $\gamma=5$: Apresentou retornos decrescentes. Embora tenha melhorado em baixa concorrência, o desempenho degradou em cargas mais altas devido a taxas de aceitação mais baixas.

Taxas de Aceitação

• Estabilidade: A taxa de aceitação para $\gamma=3$ permaneceu extremamente estável em ~35,5% através de todos os níveis de concorrência e temperaturas.
• Comparação: A taxa para $\gamma=5$ foi menor (~25%), explicando seus retornos decrescentes.
• Nota: As taxas observadas (25-36%) foram menores que as relatadas em trabalhos anteriores (53-82%), atribuídas às restrições de saída JSON estruturado e ao ajuste fino específico do domínio, que tornam a previsão de tokens mais difícil para o modelo rascunho.

Eficiência de Hardware e Custo

• Redução de Custos: Uma das descobertas mais significativas foi que a decodificação especulativa em um único H100 conseguiu igualar ou exceder o desempenho do NIM rodando em dois H100s (em concorrência moderada, $c \le 8$).
• Economia: Isso representa uma potencial redução de 50% no custo de GPU para a mesma carga de trabalho.
• Utilização: A técnica mostrou menor utilização de GPU para o mesmo throughput, indicando maior eficiência computacional.

Qualidade

• A avaliação confirmou que a qualidade da saída foi totalmente preservada. Em temperatura 0, as saídas foram idênticas (empates de 90-100%). Em temperatura 0.5, não houve viés significativo a favor ou contra a decodificação especulativa.

5. Significado e Conclusão

Este trabalho demonstra que a decodificação especulativa com EAGLE3 é uma otimização eficaz e pronta para produção para agentes de comércio.

• Pipeline de Otimização Completa: Ao combinar o ajuste fino específico do domínio (que reduziu o tamanho do modelo e melhorou a qualidade) com a decodificação especulativa (que acelera a inferência), a PayPal alcançou uma redução cumulativa de latência superior a 60% em comparação com o modelo base original.
• Recomendação Prática: A configuração ótima identificada é $\gamma=3$. Ela oferece o melhor equilíbrio entre ganho de velocidade e taxa de aceitação, permitindo que sistemas de comércio atendam a SLAs rigorosos (< 2 segundos) com custos de infraestrutura drasticamente reduzidos.
• Futuro: Os autores sugerem que o ajuste fino do próprio modelo rascunho (EAGLE3) em dados específicos de comércio poderia aumentar ainda mais as taxas de aceitação, potencializando ainda mais os ganhos de desempenho.