Resumo Técnico: Precisão, Estabilidade e Confiabilidade de Execuções Repetidas de Grandes Modelos de Linguagem em Tarefas de Programação Determinísticas

Declaração do Problema

Grandes modelos de linguagem (LLMs) estão sendo cada vez mais implantados para tarefas condicionadas a texto com especificações determinísticas, como a síntese de programas, onde a correção é binária e verificada por suítes de testes executáveis. Benchmarks de avaliação convencionais (ex: HumanEval, MBPP) normalmente relatam a precisão de execução única ou métricas de "sucesso eventual" como pass@k, que medem a capacidade de um modelo de produzir pelo menos uma solução correta dentro de $k$ tentativas.

No entanto, muitos cenários de implantação prática exigem estabilidade: a capacidade de um modelo produzir resultados consistentes e corretos em invocações repetidas sob descrições de tarefas idênticas. Embora trabalhos recentes tenham enquadrado a amostragem repetida como uma forma de computação em tempo de inferência, a relação sistemática entre correção e estabilidade — especificamente, a lacuna entre o sucesso médio de execução de um modelo e sua confiabilidade sem tentativas de reexecução (retries) — permanece subexplorada. Este artigo aborda a questão de quanto a precisão observada se traduz em comportamento confiável e sem retentativas, particularmente para sistemas de desempenho intermediário, onde a variabilidade é mais alta.

Metodologia

Configuração Experimental

O estudo utiliza um conjunto de dados curado de 100 problemas de programação determinísticos (estilo LeetCode), selecionados com base na recência para minimizar a contaminação de dados históricos de treinamento. O conjunto de dados inclui 20 problemas Fáceis, 50 Médios e 30 Difíceis, cobrindo vários tópicos algorítmicos. Todos os problemas são autocontidos, não requerem acesso à rede externa e são avaliados via um harness de teste fixo e determinístico.

Modelos e Configuração

A avaliação abrange 16 modelos de cinco famílias de provedores (OpenAI, Anthropic, Google, Qwen, DeepSeek), incluindo arquiteturas padrão e especializadas em raciocínio (ex: o4-mini, DeepSeek-R1).

• Protocolo: Cada modelo é avaliado sob dois templates de prompt (DETALHADO e MÍNIMO) com 5 execuções repetidas ($R=5$) por problema.
• Parâmetros: A maioria dos modelos usa $T=0.3$ e $top\_p=0.9$ para simular uma decodificação estocástica realista. Modelos especializados em raciocínio e restrições específicas de API (ex: o4-mini) envolvem orçamentos de tokens ajustados ou regimes de decodificação interna fixos.
• Instâncias Totais: O experimento gera 16.000 instâncias de avaliação.

Métricas

O artigo introduz um protocolo de avaliação de execução repetida com três métricas primárias:

1. Taxa de Aprovação por Execução (RLPR - Run-Level Pass Rate): A probabilidade de uma única invocação aleatória ter sucesso.
   $$RLPR = \frac{1}{NR} \sum_{i=1}^{N} \sum_{r=1}^{R} Y_{i,r}$$
2. Taxa de Estabilidade Perfeita (PSR - Perfect Stability Rate): A fração de tarefas para as quais o sistema tem sucesso em todas as $R$ execuções sem exigir uma retentativa.
   $$PSR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left(\sum_{r=1}^{R} Y_{i,r} = R\right)$$
   Nota: PSR é matematicamente equivalente ao pass@k para $k=R$ com um limiar de "todos os sucessos", mas é interpretado aqui como uma medida de confiabilidade de implantação, não como uma medida de capacidade.
3. Variância Média (AV - Average Variance): Uma medida da instabilidade por problema, capturando a variância nas probabilidades de sucesso entre as tarefas.

Principais Resultados

A Lacuna Precisão–Estabilidade

O estudo encontra uma forte correlação entre RLPR e PSR ($r = 0.985$), porém o RLPR consistentemente superestima a confiabilidade em produção.

• Magnitude da Lacuna: A diferença $\Delta = RLPR - PSR$ não é uniforme entre os modelos, atingindo um máximo de 17,8 pontos percentuais (observado no Gemini 2.5 Flash sob o prompt DETALHADO).
• Pico de Precisão Intermediária: A lacuna é maior para sistemas de desempenho intermediário. Modelos com probabilidades de sucesso intermediárias exibem a maior variância (a variância de Bernoulli é maximizada em $p \approx 0.5$), levando a discrepâncias significativas entre o sucesso médio e a estabilidade perfeita.
• Inversões de Ranking: RLPR e PSR podem gerar rankings divergentes de modelos. Por exemplo, o GPT-4.1 supera o GPT-4.1-mini em RLPR (59,6% vs. 58,4%), mas fica atrás em PSR (47,5% vs. 50,0%), impulsionado por uma maior lacuna precisão–estabilidade no primeiro.

Variabilidade por Problema

• Polarização vs. Instabilidade: Modelos como o Qwen-Turbo exibem baixo AV porque seus resultados são polarizados (ou passam consistentemente ou falham em todas as execuções), resultando em uma pequena lacuna apesar da baixa precisão geral. Inversamente, modelos como o Gemini 2.5 Flash mostram alto AV, indicando substancial variabilidade de tentativa para tentativa.
• Modos de Falha: O modo de falha dominante é "Resposta Errada" (58%), seguido por "Tempo Limite Excedido" (27%). A instabilidade está ligada não apenas à inconsistência algorítmica, mas também à fragilidade de implementação (timeouts/erros de runtime), que aumenta com a dificuldade do problema.

Sensibilidade ao Prompt e Arquitetura

• Efeitos do Prompt: A sensibilidade ao prompt é dependente do modelo, não uniforme. Embora a maioria dos modelos mostre diferenças menores (<3 pp) entre os prompts DETALHADO e MÍNIMO, alguns (ex: Claude Sonnet 4.5) mostram inversões. Nenhum template único domina uniformemente, e a significância estatística para efeitos de prompt foi geralmente baixa dado o tamanho da amostra.
• Arquiteturas de Raciocínio: O estudo investiga se modelos especializados em raciocínio (ex: Chain-of-Thought) exibem sistematicamente lacunas precisão–estabilidade menores. Os resultados são heterogêneos: o DeepSeek-R1 mostra uma estabilidade melhor do que o esperado, enquanto outros (QwQ-Plus, Gemini 2.5 Flash+Think) mostram lacunas maiores. Um teste de permutação ($p=0.97$) não encontrou vantagem sistemática para arquiteturas de raciocínio nesta amostra, embora a análise seja notada como subdimensionada devido ao pequeno número de modelos de raciocínio.

Significância e Alegações

O artigo argumenta que a análise de estabilidade de execução repetida é um complemento necessário ao relatório de precisão convencional para geração determinística condicionada a texto.

1. Além da Medida de Capacidade: Enquanto o pass@k mede a capacidade de um modelo de encontrar uma solução eventualmente, o PSR mede a confiabilidade de implantação (consistência). Essas duas métricas visam diferentes preocupações de downstream e podem divergir significamente, particularmente para sistemas de precisão média.
2. Revelando Riscos Ocultos: Confiar apenas no RLPR pode mascarar uma instabilidade substancial. Um modelo com uma taxa de aprovação por execução de 60%, mas apenas 47% de estabilidade perfeita, deixa uma fração significativa de tarefas em um regime de "necessidade de retentativa", o que pode ser inaceitável em fluxos de trabalho automatizados que esperam comportamento reproduzível.
3. Contribuição Metodológica: O artigo estabelece o PSR e o AV (Average Variance) como alvos de avaliação de primeira classe. Demonstra que a lacuna precisão–estabilidade é um fenômeno observável, específico de cada modelo e praticamente significativo, que não pode ser inferido apenas pela média de desempenho.

Os autores concluem que, embora suas descobertas sejam específicas para a geração de código Python de turno único, o framework fornece uma lente crítica para entender a confiabilidade em fluxos de trabalho sensíveis à reprodutibilidade. Eles alertam que seus resultados são específicos de um recorte temporal das versões de API avaliadas e não consideram dependências de orquestração ou de múltiplos turnos mais amplas.