Assessing Coherency and Consistency of Code Execution Reasoning by Large Language Models

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis em tarefas de programação, como síntese de código, detecção de bugs e reparo. No entanto, a extensão real de sua capacidade de raciocínio sobre a execução de código permanece uma questão em aberto.

As abordagens anteriores (como CruxEval, CodeMind e REval) focam principalmente na previsão de entrada/saída ou em estados intermediários isolados, mas apresentam limitações críticas:

• Falta de Coerência: Elas não verificam se o raciocínio interno do modelo segue a lógica de execução comum. Um modelo pode prever a saída correta por "atalhos" (memorização de dados, alucinações ou inferência baseada apenas no nome da função), mesmo que sua simulação interna dos estados do programa esteja errada.
• Falta de Consistência: As avaliações anteriores geralmente testam um único caso de teste, falhando em medir se o modelo mantém um raciocínio consistente ao longo de múltiplos caminhos de execução (diferentes entradas) para o mesmo programa.
• Ineficiência: Métodos como o REval exigem múltiplas consultas (prompts) por instrução, o que é computacionalmente caro e não fornece uma visão unificada do fluxo de execução.

2. Metodologia: CES (Code Execution Simulation)

O artigo propõe o CES, uma nova tarefa e métrica para avaliar a capacidade dos LLMs de simular a execução de um programa de forma unificada e sensível ao fluxo.

Principais Componentes do CES:

1. Simulação Unificada: Em vez de prever apenas a saída final, o CES instrui o LLM a prever, em um único prompt, os estados essenciais do programa durante a execução para uma entrada específica. Isso inclui:
   • Variáveis de Loop e Iteráveis: Valores de variáveis de controle e o conteúdo dos iteráveis (ex: zip, listas).
   • Predicados Condicionais e Ramificações: O valor de verdade das condições e qual ramo será tomado.
   • Saída Final: O valor retornado pelo programa.
2. Análise de Coerência (Coherency): O CES introduz regras para verificar se a simulação segue a lógica de execução, independentemente da correção da saída final.
   • Regra 1: A combinação lógica dos sub-preditos deve corresponder ao predito composto (ex: se os valores de a e b estão corretos, a+b deve ser consistente).
   • Regra 2: Predicados condicionais e decisões de ramificação devem ser consistentes entre si.
   • Regra 3 (Crítica): Se a saída final estiver correta, mas qualquer estado intermediário estiver errado, o raciocínio é marcado como incoerente (suspiciously correct). Isso elimina falsos positivos causados por alucinações ou vazamento de dados.
3. Análise de Consistência (Consistency): O CES avalia o desempenho do modelo através de múltiplos testes (com diferentes coberturas de caminhos de execução, definidos por "prime paths" no grafo de fluxo de controle).
   • Consistência Forte: O modelo acerta a simulação em todos os testes, independentemente dos caminhos cobertos.
   • Consistência Fraca: O modelo acerta apenas em testes que cobrem os mesmos caminhos.
   • Raciocínio Aleatório: O modelo não segue um padrão consistente.
4. Diagnóstico Automatizado: O sistema identifica o ponto exato onde a simulação diverge da execução real (ponto de divergência) e categoriza erros como falhas em loops, condicionais complexos ou operações aritméticas.

3. Contribuições Chave

• Novo Benchmark (CES): Uma tarefa que unifica a previsão de saída e estados intermediários, permitindo uma avaliação flow-sensitive (sensível ao fluxo) e diagnóstica.
• Métricas de Coerência e Consistência: Introdução formal de conceitos para distinguir entre "acerto por sorte/atalho" e "raciocínio real", além de medir a robustez do modelo em diferentes caminhos de execução.
• Vetor de Validação para Tarefas de Bugs: O CES é usado para auditar o sucesso de LLMs em tarefas de previsão, localização e reparo de bugs, revelando se o sucesso é baseado em análise real de execução ou em correspondência de padrões.
• Conjunto de Dados e Ferramentas: Disponibilização pública de artefatos para reprodutibilidade, incluindo prompts e resultados de 16 modelos diferentes.

4. Resultados Principais

O estudo avaliou 16 LLMs (incluindo modelos de raciocínio como o DeepSeek-R1 e o o4-mini) no conjunto de dados HumanEval (164 programas Python).

• Coerência da Simulação:
  • Em média, 81,42% das simulações foram coerentes (seguiram a lógica interna), mas apenas 46,92% resultaram em previsões de saída corretas.
  • Modelos de ponta como GPT-4 e DeepSeek-R1 apresentaram taxas surpreendentemente altas de raciocínio incoerente (cerca de 25% dos casos), frequentemente devido ao uso de atalhos de linguagem natural em vez de simulação real de código.
• Consistência entre Testes:
  • A maioria dos modelos falha em manter consistência. O desempenho foi classificado como Aleatório (48,87%) ou Fraco (45,37%). Apenas uma pequena fração (5,76%) demonstrou consistência forte. Isso explica a dificuldade dos LLMs em tarefas que exigem análise sensível ao caminho.
• Causas de Erros:
  • As divergências ocorrem frequentemente na previsão de iteráveis de loops dinâmicos e em predicados condicionais compostos.
  • Muitos "acertos" suspeitos (saída correta com raciocínio errado) foram causados por alucinações ou pelo modelo ignorar o código e confiar apenas na descrição natural ou no nome da função.
• Relação com Tarefas de Bugs:
  • Ao comparar o CES com tarefas de previsão/localização/reparo de bugs, descobriu-se que o sucesso dos LLMs nessas tarefas raramente está correlacionado com uma simulação de execução coerente.
  • Aproximadamente 20-40% dos sucessos em tarefas de bugs são classificados como "sucesso suspeito" (o modelo acerta o bug sem simular corretamente a execução), indicando que eles dependem de correspondência de padrões e não de raciocínio profundo.

5. Significado e Impacto

• Reavaliação do Desempenho: O CES revela que o alto desempenho dos LLMs em benchmarks de código pode estar inflado devido a falsos positivos (acertos por sorte ou vazamento de dados).
• Direcionamento para Melhoria: A análise diagnóstica aponta que os modelos precisam melhorar especificamente no rastreamento de variáveis de loop dinâmicas e na lógica de predicados complexos, em vez de apenas treinar mais dados.
• Segurança e Confiabilidade: Para aplicações críticas (como reparo automático de bugs), confiar em modelos que não demonstram consistência de execução é arriscado. O CES oferece uma ferramenta sistemática para filtrar esses casos.
• Futuro da Pesquisa: O trabalho sugere que a próxima geração de LLMs para código deve ser treinada ou ajustada para priorizar a simulação de execução coerente, e não apenas a geração de texto que parece correta.

Em resumo, o artigo demonstra que, embora os LLMs possam simular a execução de código com certa coerência, seu raciocínio é frequentemente inconsistente e dependente de atalhos, o que limita sua confiabilidade em cenários do mundo real que exigem análise de fluxo de controle e dados rigorosa.