CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

1. Declaração do Problema

Apesar do avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) na geração de código, permanece incerto se esses modelos possuem uma compreensão genuína da lógica de execução de código ou se meramente dependem de heurísticas superficiais para prever saídas corretas. Os benchmarks existentes (por exemplo, CruxEval, LiveCodeBench-O, REval) sofrem de duas falhas críticas:

1. Falta de Invariância de Implementação: Eles avaliam tipicamente os modelos contra uma única implementação de código "canônica". Isso falha em testar se um modelo pode raciocinar consistentemente através de variações de código funcionalmente equivalentes, mas estrutural ou lexicalmente distintas.
2. Falta de Transparência do Processo: Eles focam quase exclusivamente na correção da saída final. Os modelos frequentemente produzem a resposta final correta enquanto alucinam estados intermediários de execução, indicando uma falta de verdadeiro raciocínio passo a passo.

Os autores argumentam que avaliações baseadas apenas em saída são insuficientes para avaliar o raciocínio de código robusto e introduzem o CoRE para abordar essas lacunas.

2. Metodologia: O Benchmark CoRE

O CoRE é construído a partir de 60 problemas de codificação selecionados do HumanEval e LiveCodeBench, projetados para avaliar duas dimensões centrais: Invariância de Implementação e Transparência do Processo.

A. Pipeline de Construção

1. Implementações Diversas de Código (Estágio I):

   • Os autores utilizaram sete LLMs diversos para gerar múltiplas soluções para cada problema.
   • Processo de Limpeza: As soluções passaram por validação de execução para garantir equivalência funcional. Para garantir diversidade, filtraram-se por alta Complexidade Ciclomática e baixa Semelhança Jaccard de 1-grama (diversidade lexical) entre implementações do mesmo problema.
   • Resultado: 255 implementações de código únicas em 60 problemas (média de 4,3 implementações por problema).

2. Sondagens de Estado Intermediário (Estágio II):

   • Usando rastreamento de execução em Python, os autores capturaram valores de tempo de execução verdadeiros para todas as variáveis.
   • Eles formularam perguntas de sondagem intermediária visando quatro dimensões de raciocínio:
     • Aritmética: Precisão numérica em operações complexas.
     • Lógica: Resolução de condições booleanas aninhadas e fluxo de controle.
     • Estado: Rastreamento do histórico de variáveis através de caminhos de execução profundos.
     • Limite: Pontos críticos de transição (por exemplo, terminações de loops).
   • Resultado: 243 sondagens intermediárias (média de 4,1 por problema), com cada sondagem cobrindo uma média de 2,2 dimensões de raciocínio.

B. Protocolo de Avaliação e Métricas

Os autores propõem um protocolo de avaliação holístico que vai além da simples precisão:

• Consistência Estrita de Saída ($I$): Um indicador binário (1 ou 0) onde o modelo deve prever a saída correta para cada implementação diversa de um problema.
• Peso de Fidelidade do Processo ($W_s$): A razão de sondagens de estado intermediário respondidas corretamente.
• Pontuação de Consistência de Raciocínio (RCS): A métrica principal definida como $RCS = I \times W_s$.
  • Esta formulação garante que, se um modelo falhar na invariância de implementação (ou seja, errar uma variante) ou depender de heurísticas superficiais (baixo $W_s$), a pontuação final seja fortemente penalizada ou anulada.

3. Contribuições Principais

1. Benchmark CoRE: Um benchmark rigoroso composto por 1.978 amostras que avalia conjuntamente a invariância de implementação e a transparência do processo, apresentando maior complexidade (complexidade ciclomática média de 5,0) e diversidade do que os benchmarks existentes.
2. Identificação de Limitações Fundamentais: O estudo revela dois modos de falha críticos em LLMs de ponta:
   • Lacuna de Robustez (Sobreajuste de Estilo): Os modelos performam significativamente melhor em código gerado pela sua própria família ou estilos familiares (por exemplo, modelos da OpenAI em código da OpenAI) em comparação com código funcionalmente equivalente de outros estilos.
   • Execução Superficial: Os modelos frequentemente chegam a saídas finais corretas enquanto alucinam estados intermediários, provando que dependem de mapeamento entrada-saída em vez de simulação genuína de execução.
3. Protocolo de Avaliação Holística: A introdução da Pontuação de Consistência de Raciocínio (RCS) fornece um método para distinguir raciocínio genuíno de atalhos heurísticos.

4. Resultados Experimentais

Os autores avaliaram oito LLMs de ponta (incluindo GPT-5, o3, Claude-4.5, DeepSeek-V3.2 e Qwen-3) usando várias estratégias de prompt (IO, Cadeia de Pensamento, Cadeia de Código, RHDA).

• Lacuna de Desempenho: Há uma desconexão massiva entre a precisão da saída final e o raciocínio intermediário. Por exemplo, o GPT-5 alcançou 84,62% de precisão estrita de saída ($I$), mas apenas 18,96% de fidelidade do processo ($W_s$) sob prompt padrão.
• Viés de Estilo: A análise de mapa de calor (Fig. 5) mostra uma dominância diagonal forte, onde os modelos obtêm as pontuações mais altas em código gerado pela sua própria família. Isso confirma o sobreajuste estilístico.
• Impacto do Prompt: Embora a Cadeia de Pensamento (CoT) e a Cadeia de Código (CoC) tenham melhorado a fidelidade do processo, elas não eliminaram totalmente a lacuna de robustez ou a execução superficial.
• Fraquezas Dimensionais: Os modelos tiveram mais dificuldade com Aritmética (precisão numérica) e Estado (manutenção do histórico de variáveis), com pontuações médias de fidelidade do processo frequentemente abaixo de 50% na configuração IO.
• Eficácia do RCS: A métrica RCS filtrou efetivamente modelos que pareciam competentes com base apenas na saída, mas falharam na consistência do raciocínio.

5. Significado

O artigo muda fundamentalmente o paradigma da avaliação de raciocínio de código. Ele demonstra que saída correta não implica raciocínio correto. Ao expor a fragilidade dos LLMs atuais — especificamente sua suscetibilidade a viés estilístico e sua incapacidade de rastrear estados intermediários — o CoRE fornece um padrão necessário para o desenvolvimento de modelos que realmente entendem a execução de código. As descobertas sugerem que o treinamento e a avaliação futuros de LLMs devem priorizar o raciocínio passo a passo fiel e a robustez através de implementações diversas, em vez de apenas otimizar para a precisão da saída final.