CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

Aquí se presenta un resumen técnico detallado del artículo "CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction".

1. Planteamiento del Problema

A pesar del rápido avance de los Modelos de Lenguaje Grandes (LLM) en la generación de código, sigue sin estar claro si estos modelos poseen una comprensión genuina de la lógica de ejecución del código o si simplemente dependen de heurísticas superficiales para predecir salidas correctas. Los puntos de referencia existentes (por ejemplo, CruxEval, LiveCodeBench-O, REval) adolecen de dos defectos críticos:

1. Falta de Invarianza de Implementación: Suelen evaluar los modelos frente a una única implementación de código "canónica". Esto no permite probar si un modelo puede razonar de manera consistente a través de variaciones de código funcionalmente equivalentes pero estructural o léxicamente distintas.
2. Falta de Transparencia del Proceso: Se centran casi exclusivamente en la corrección de la salida final. Los modelos a menudo pueden producir la respuesta final correcta mientras alucinan estados intermedios de ejecución, lo que indica una falta de razonamiento paso a paso genuino.

Los autores argumentan que las evaluaciones basadas únicamente en la salida son insuficientes para evaluar un razonamiento de código robusto e introducen CoRE para abordar estas brechas.

2. Metodología: El Punto de Referencia CoRE

CoRE se construye a partir de 60 problemas de programación seleccionados de HumanEval y LiveCodeBench, diseñados para evaluar dos dimensiones centrales: Invarianza de Implementación y Transparencia del Proceso.

A. Pipeline de Construcción

1. Implementaciones de Código Diversas (Etapa I):

   • Los autores utilizaron siete LLM diversos para generar múltiples soluciones para cada problema.
   • Proceso de Limpieza: Las soluciones pasaron por una validación de ejecución para asegurar la equivalencia funcional. Para garantizar la diversidad, filtraron aquellos casos con alta Complejidad Ciclomática y baja Similitud Jaccard de 1-grama (diversidad léxica) entre las implementaciones del mismo problema.
   • Resultado: 255 implementaciones de código únicas en 60 problemas (promedio de 4.3 implementaciones por problema).

2. Sondas de Estado Intermedio (Etapa II):

   • Utilizando el rastreo de ejecución de Python, los autores capturaron valores de tiempo de ejecución de verdad para todas las variables.
   • Formularon preguntas de sondeo intermedio dirigidas a cuatro dimensiones de razonamiento:
     • Aritmética: Precisión numérica en operaciones complejas.
     • Lógica: Resolución de condiciones booleanas anidadas y flujo de control.
     • Estado: Seguimiento del historial de variables a través de rutas de ejecución profundas.
     • Límite: Puntos críticos de transición (por ejemplo, terminaciones de bucles).
   • Resultado: 243 sondas intermedias (promedio de 4.1 por problema), con cada sondeo cubriendo un promedio de 2.2 dimensiones de razonamiento.

B. Protocolo de Evaluación y Métricas

Los autores proponen un protocolo de evaluación holístico que va más allá de la simple precisión:

• Consistencia Estricta de Salida ($I$): Un indicador binario (1 o 0) donde el modelo debe predecir la salida correcta para cada implementación diversa de un problema.
• Peso de Fidelidad del Proceso ($W_s$): La proporción de sondas de estado intermedio respondidas correctamente.
• Puntuación de Consistencia de Razonamiento (RCS): La métrica principal definida como $RCS = I \times W_s$.
  • Esta formulación asegura que si un modelo falla en la invarianza de implementación (es decir, obtiene una variante incorrecta) o depende de heurísticas superficiales (bajo $W_s$), la puntuación final se penaliza fuertemente o se anula.

3. Contribuciones Clave

1. Punto de Referencia CoRE: Un punto de referencia riguroso que comprende 1.978 muestras y evalúa conjuntamente la invarianza de implementación y la transparencia del proceso, presentando mayor complejidad (complejidad ciclomática promedio de 5.0) y diversidad que los puntos de referencia existentes.
2. Identificación de Limitaciones Fundamentales: El estudio revela dos modos de fallo críticos en los LLM de vanguardia:
   • Brecha de Robustez (Sobreajuste de Estilo): Los modelos funcionan significativamente mejor en el código generado por su propia familia o estilos familiares (por ejemplo, modelos de OpenAI en código de OpenAI) en comparación con el código funcionalmente equivalente de otros estilos.
   • Ejecución Superficial: Los modelos frecuentemente llegan a salidas finales correctas mientras alucinan estados intermedios, lo que demuestra que dependen del mapeo entrada-salida en lugar de una simulación de ejecución genuina.
3. Protocolo de Evaluación Holístico: La introducción de la Puntuación de Consistencia de Razonamiento (RCS) proporciona un método para distinguir el razonamiento genuino de los atajos heurísticos.

4. Resultados Experimentales

Los autores evaluaron ocho LLM de vanguardia (incluyendo GPT-5, o3, Claude-4.5, DeepSeek-V3.2 y Qwen-3) utilizando diversas estrategias de prompting (IO, Cadena de Pensamiento, Cadena de Código, RHDA).

• Brecha de Rendimiento: Existe una desconexión masiva entre la precisión de la salida final y el razonamiento intermedio. Por ejemplo, GPT-5 logró una precisión de salida estricta del 84.62% ($I$) pero solo un 18.96% de fidelidad del proceso ($W_s$) bajo prompting estándar.
• Sesgo de Estilo: El análisis de mapas de calor (Fig. 5) muestra una fuerte dominancia diagonal, donde los modelos obtienen las puntuaciones más altas en el código generado por su propia familia. Esto confirma el sobreajuste estilístico.
• Impacto del Prompting: Aunque la Cadena de Pensamiento (CoT) y la Cadena de Código (CoC) mejoraron la fidelidad del proceso, no eliminaron completamente la brecha de robustez ni la ejecución superficial.
• Debilidades Dimensionales: Los modelos tuvieron más dificultades con Aritmética (precisión numérica) y Estado (mantenimiento del historial de variables), con puntuaciones promedio de fidelidad del proceso a menudo por debajo del 50% en la configuración IO.
• Efectividad de RCS: La métrica RCS filtró eficazmente los modelos que parecían competentes basándose únicamente en la salida, pero fallaron en la consistencia del razonamiento.

5. Significado

El artículo cambia fundamentalmente el paradigma de la evaluación del razonamiento de código. Demuestra que una salida correcta no implica un razonamiento correcto. Al exponer la fragilidad de los LLM actuales, específicamente su susceptibilidad al sesgo estilístico y su incapacidad para rastrear estados intermedios, CoRE proporciona un estándar necesario para desarrollar modelos que comprendan genuinamente la ejecución del código. Los hallazgos sugieren que el entrenamiento y la evaluación futuros de LLM deben priorizar el razonamiento paso a paso fiel y la robustez a través de implementaciones diversas en lugar de simplemente optimizar para la precisión de la salida final.