Resumo Técnico: O Hiperparâmetro Silencioso

Declaração do Problema

O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) depende fortemente de benchmarks padronizados para medir o progresso do estado da arte (SOTA), distinguindo frequentemente modelos por frações de um ponto percentual. No entanto, o custo computacional de avaliar esses modelos impulsionou a adoção generalizada de backends de inferência especializados (por exemplo, vLLM, SGLang, llama.cpp) que empregam otimizações em nível de sistema, como kernels CUDA personalizados, cache de prefixo e aritmética de precisão reduzida.

Embora esses backends sejam críticos para a escalabilidade, eles introduzem uma fonte de variância anteriormente não relatada: não determinismo induzido pela inferência. Diferenças na acumulação de ponto flutuante, comportamento não determinístico em kernels personalizados e implementações variadas de mecanismos de atenção podem alterar os log-probabilidades dos tokens. Na geração autoregressiva, onde o próximo token depende da sequência anterior, mesmo um único token alterado pode desencadear uma cascata até um output completamente divergente. Esse "hiperparâmetro silencioso" ameaça a reprodutibilidade das comparações de benchmarks, potencialmente derrubando modelos superiores ou elevando falsamente modelos mais fracos com base apenas nas propriedades numéricas do motor de inferência, em vez de melhorias arquitetônicas. Além disso, isso cria uma "lacuna de implantação" onde modelos validados quanto à segurança ou precisão em implementações de referência (por exemplo, transformers do HuggingFace) podem exibir comportamentos inseguros ou divergentes quando implantados em motores de alta vazão.

Metodologia

Os autores conduziram um estudo empírico sistemático e uma ampla pesquisa de literatura para quantificar o impacto dos backends de inferência.

1. Pesquisa do Cenário

• Escopo: Os autores pesquisaram o ecossistema moderno de inferência em janeiro de 2026, identificando 200 motores distintos.
• Classificação: Os motores foram categorizados em três grupos: Bibliotecas Auto-hospedadas (61% do ecossistema), Plataformas de Inferência Gerenciadas (26%) e Agregadores/Roteadores (14%).
• Análise de Relatórios: Uma análise de texto e código de 35.000 publicações de ML (filtradas para 9.018 artigos relevantes executando inferência local de LLM) foi realizada para determinar com que frequência a pilha de inferência é relatada.

2. Avaliação Empírica Controlada

Para isolar o motor de inferência como a única variável, os autores estabeleceram um quadro experimental unificado:

• Backends: Cinco motores amplamente utilizados foram avaliados: vLLM, SGLang, llama.cpp, LMDeploy e Ollama. O transformers do HuggingFace serviu como implementação de referência.
• Modelos: Cinco modelos de pesos abertos em diferentes arquiteturas e escalas foram testados, incluindo modelos padrão (Llama 3.1 8B, Qwen3 4B/30B) e modelos de raciocínio (DeepSeek R1 Distill Qwen 7B, Qwen3 Thinking 30B).
• Benchmarks: Quatro conjuntos de dados foram utilizados: GSM8K (Matemática), GPQA Diamond (Ciência), SimpleQA Verified (Factualidade) e LiveCodeBench v6 (Código).
• Padronização: Para garantir comparação justa, o estudo impôs:
  • Decodificação gulosa (temperatura = 0).
  • Precisão FP16 (GGUF-FP16 para llama.cpp/Ollama).
  • Aplicação externa de templates de chat Jinja2 para evitar mutações específicas do backend.
  • Tamanho de lote de um para prevenir instabilidade induzida por lote.
  • Média de resultados em 12 sementes únicas para contabilizar o não determinismo.
• Ambiente: Todas as avaliações foram executadas em uma única GPU NVIDIA H100 dentro de um contêiner Docker unificado com versões de software fixas.

3. Análise de Causa Raiz

Os autores realizaram estudos de ablação direcionados para rastrear a divergência até recursos específicos em nível de sistema, incluindo cache de prefixo, gráficos CUDA, mutações ocultas de prompt (por exemplo, tokens BOS forçados), parâmetros de penalidade padrão ocultos e lógica de desempate em nível de kernel.

Resultados Principais

1. Variância de Desempenho Significativa

A escolha do backend de inferência sozinho pode deslocar as pontuações de benchmark em até 16,6 pontos percentuais.

• Outliers Extremos: No benchmark GSM8K, o DeepSeek R1 Distill Qwen 7B obteve 78,47% na referência transformers, mas apenas 61,87% no Ollama, uma diferença de 16,60 pontos.
• Instabilidade de Classificação: Nenhum backend correspondeu perfeitamente à referência transformers em todos os benchmarks. Para o Llama 3.1 8B no GSM8K, a dispersão entre os melhores e piores backends foi de 10,24 pontos.
• Modelos de Raciocínio: Modelos orientados ao raciocínio exibiram maior sensibilidade às escolhas de backend em comparação com arquiteturas padrão.

2. Desacordo de Output e Divergência

• Taxa de Desacordo: Os backends frequentemente produziram respostas finais diferentes para a mesma entrada, mesmo quando as pontuações de precisão pareciam similares. Para o DeepSeek R1 no Ollama, a taxa de desacordo foi de 27,37%, significando que o backend gerou uma resposta final diferente da referência mais de 360 vezes em 1.319 perguntas.
• Divergência em Nível de Token: O "Índice de Divergência" revelou que modelos de raciocínio divergem da geração de referência muito mais cedo do que modelos padrão. Por exemplo, o Llama 3.1 servido via Ollama divergiu já no 12º token de output no GPQA.
• Erro de Comprimento: Vieses sistemáticos na verbosidade foram observados. O Ollama produziu outputs do DeepSeek R1 que foram, em média, mais de 9.000 tokens mais curtos que a referência no GPQA, alterando fundamentalmente o processo de cadeia de pensamento.

3. Precisão Numérica e Estabilidade

• Deriva de LogProb: Mesmo quando a seleção do token top-1 permanecia idêntica, os log-probabilidades subjacentes mostraram deriva de ponto flutuante (RMSE). Um RMSE de 0,1 corresponde a uma mudança relativa de ~10% na probabilidade bruta, suficiente para inverter a seleção gulosa.
• Forma da Distribuição: Embora a similaridade Jaccard dos Top-5 tokens permanecesse alta na maioria dos casos, modelos de raciocínio mostraram quedas significativas, indicando que a instabilidade numérica pode remodelar o pool de tokens candidatos.

4. Causas Raiz Identificadas

A variância decorre de duas fontes primárias:

1. Padrões Sistemáticos do Motor: Questões corrigíveis, como mutações ocultas de prompt (por exemplo, Ollama e LMDeploy forçando a adição de tokens BOS) e parâmetros de penalidade padrão ocultos (por exemplo, Ollama impondo uma penalidade de repetição de 1,1). Desabilitar esses recursos recuperou até 11,67 pontos percentuais para o DeepSeek R1.
2. Deriva Numérica Induzida por Otimização: Inerente a recursos de alta vazão como cache de prefixo, gráficos CUDA e kernels personalizados para decodificação gulosa. Estes alteram a acumulação de ponto flutuante e a lógica de desempate (por exemplo, condições de corrida de hardware em kernels Top-K multithread), causando deslocamentos imprevisíveis mesmo após a padronização dos padrões.

5. Achados da Pesquisa de Literatura

• Lacuna de Relatórios: Entre 9.018 artigos relevantes, apenas 36% daqueles sem código nomearam explicitamente o backend de inferência. Mesmo entre artigos com código, apenas 63% dos repositórios GitHub acessíveis continham especificações de dependência explícitas (por exemplo, requirements.txt).
• Domínio do Nível 0: Uma parte significativa da pesquisa (Nível 0) não menciona o backend nem fornece código, tornando a reprodutibilidade impossível.

6. Implicações de Segurança

Estudos de ablação no JailbreakBench mostraram que a vulnerabilidade do DeepSeek R1 a prompts adversariais flutuou em 8,9 pontos percentuais com base apenas no motor de inferência, destacando a seleção de backend como uma variável de segurança crítica e não relatada.

Significado e Alegações

O artigo argumenta que o backend de inferência é um hiperparâmetro consequente e anteriormente não relatado na avaliação de LLMs. Os autores afirmam que:

• A comparação de benchmarks é fundamentalmente falha se a pilha de inferência não for padronizada, pois vitórias podem refletir artefatos de backend em vez de superioridade arquitetônica.
• A reprodutibilidade é comprometida porque a pilha de inferência específica raramente é relatada, apesar de ser uma fonte primária de variância.
• Garantias de segurança estão em risco devido à "lacuna de implantação", onde modelos alinhados em implementações de referência podem se comportar de maneira diferente em motores de nível de produção.

Os autores defendem tratar o backend de inferência como um parâmetro experimental de primeira classe, exigindo relatórios padronizados de pilhas de inferência (incluindo versões e configurações específicas) e a implementação de modos de "reprodutibilidade estrita" em motores de inferência para apoiar a validação científica. Eles enfatizam que, embora kernels não determinísticos de alto desempenho sejam essenciais para a produção, um caminho de execução determinístico é necessário para o rigor científico.