Assessing Coherency and Consistency of Code Execution Reasoning by Large Language Models

1. El Problema

Aunque los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades emergentes en tareas de programación (completado, síntesis, reparación de bugs), su capacidad real para razonar sobre la ejecución de código sigue siendo un área de investigación crítica. Las evaluaciones existentes (como CruxEval, CodeMind o REval) presentan limitaciones fundamentales:

• Falta de Coherencia: Se centran en predecir entradas o salidas finales sin evaluar los estados intermedios del programa. Esto permite que los modelos obtengan respuestas correctas por "atajos de razonamiento", alucinaciones o fugas de datos (memorización de la salida esperada) sin realmente simular la lógica de ejecución.
• Falta de Consistencia: Evalúan el razonamiento en pruebas individuales, sin medir si el modelo mantiene una lógica consistente a través de múltiples pruebas con diferentes cubrimientos de rutas de ejecución (paths).
• Incapacidad de Diagnóstico: No pueden identificar dónde falla el razonamiento del modelo ni distinguir entre un éxito genuino y un "éxito sospechoso" (salida correcta obtenida mediante lógica incorrecta).

2. Metodología: CES (Code Execution Simulation)

Los autores proponen CES, una nueva tarea y marco de evaluación diseñado para simular la ejecución de un programa dado un input específico. CES unifica la predicción de la salida final con la predicción de los estados intermedios del programa.

Componentes Clave de CES:

1. Simulación de Flujo Sensible: A diferencia de métodos anteriores que preguntan por declaraciones individuales de forma aislada, CES instruye al LLM para predecir valores esenciales en puntos de decisión clave en una sola solicitud (prompt):
   • Bucles: Variables de bucle e iterables (ej. zip, rangos).
   • Ramificación: Predicados condicionales y la rama tomada (if/else).
   • Retorno: Valores de salida finales.
2. Definición de Coherencia: CES introduce reglas formales para determinar si la simulación es coherente con la lógica de ejecución común, independientemente de si la salida final es correcta:
   • Regla 1: La combinación de sub-propiedades predichas debe coincidir con la propiedad compuesta (ej. si predice a y b, la suma a+b debe ser coherente).
   • Regla 2: Los predicados condicionales y la rama tomada deben ser consistentes entre sí.
   • Regla 3 (Crítica): Si la salida final es correcta pero algún estado intermedio es incorrecto, se marca como razonamiento incoherente (un caso de "éxito sospechoso").
3. Métrica de Consistencia: Evalúa el rendimiento del modelo a través de múltiples pruebas con el mismo programa, clasificando la consistencia en un espectro:
   • Fuerte: El modelo simula correctamente todas las rutas de ejecución (mismas y diferentes cubrimientos).
   • Débil: El modelo es consistente solo dentro de rutas con el mismo cubrimiento, pero falla en rutas diferentes.
   • Aleatoria: El modelo no muestra consistencia sistemática.
4. Diagnóstico Automatizado: CES identifica el "punto de divergencia" (donde la simulación se desvía de la verdad fundamental) y detecta casos donde la salida es correcta a pesar de un razonamiento interno erróneo.

3. Contribuciones Clave

• Nueva Tarea (CES): Unifica la predicción de salida y estados intermedios en un solo prompt, permitiendo una evaluación flow-sensitive (sensible al flujo) y diagnóstica.
• Detección de "Éxitos Sospechosos": Es la primera herramienta capaz de filtrar sistemáticamente predicciones correctas obtenidas mediante alucinaciones, atajos de lenguaje natural o contaminación de datos, en lugar de razonamiento real.
• Métrica de Consistencia: Introduce un marco formal para medir la robustez del razonamiento del modelo frente a variaciones en las rutas de ejecución (prime paths).
• Análisis de Tareas de Bugs: Demuestra cómo CES puede utilizarse para auditar tareas de predicción, localización y reparación de bugs, revelando si el éxito en estas tareas se debe a la comprensión del flujo de control o a patrones superficiales.

4. Resultados Experimentales

Los autores evaluaron 16 LLMs (incluyendo modelos de razonamiento como GPT-4, DeepSeek-R1, o4-mini) en el conjunto de datos HumanEval (164 programas de Python).

• Coherencia de Ejecución:
  • En promedio, los LLMs logran una simulación coherente en el 81.42% de los casos.
  • Sin embargo, de esos casos coherentes, solo el 46.92% resultan en predicciones de salida correctas. El 53.08% restante son coherentes pero incorrectos.
  • Hallazgo Sorprendente: Los modelos de vanguardia (GPT-4, DeepSeek-R1) muestran niveles más altos de razonamiento incoherente (25% y 24.9% respectivamente). Esto se atribuye a que utilizan "atajos de lenguaje natural" o alucinaciones que a menudo coinciden con la salida esperada, ocultando su falta de comprensión real del código.
• Consistencia de Razonamiento:
  • La mayoría de los modelos carecen de consistencia fuerte. El 48.87% de sus razonamientos se consideran aleatorios y el 45.37% débiles.
  • Solo una pequeña fracción muestra consistencia fuerte, lo que explica su debilidad en tareas que requieren análisis sensible a la ruta de ejecución.
• Análisis de Tareas de Bugs:
  • Al comparar CES con tareas de predicción/localización/reparación de bugs, se observó una superposición mínima.
  • Muchos éxitos en tareas de bugs son "sospechosos": el modelo no simula la ejecución correctamente (falla antes o después del bug), pero adivina la solución basándose en la descripción natural o patrones, ignorando la lógica de ejecución real.
  • Esto sugiere que la generalización de los LLMs a bugs no vistos o contextos diferentes es frágil.

5. Significado e Impacto

El trabajo de CES tiene implicaciones profundas para el desarrollo y evaluación de LLMs en ingeniería de software:

1. Reevaluación de Métricas: Las métricas actuales de "precisión de salida" inflan artificialmente las capacidades de razonamiento de los modelos. CES ofrece un filtro necesario para distinguir entre comprensión real y memorización/alucinación.
2. Guía para el Entrenamiento: Los resultados sugieren que el ajuste fino (fine-tuning) con instrucciones de lenguaje natural puede estar interfiriendo con el razonamiento de código, favoreciendo atajos semánticos sobre la lógica de ejecución. Se necesita un entrenamiento más consciente de la ejecución.
3. Herramienta de Auditoría: CES proporciona un método sistemático para auditar la confiabilidad de los LLMs en tareas críticas de seguridad y depuración, asegurando que no se confíe en "suerte" o fugas de datos.
4. Futuro de la Investigación: Establece un nuevo estándar para evaluar la capacidad de razonamiento composicional de los modelos, indicando que los modelos actuales aún no dominan el análisis de flujo de control y datos necesario para la ingeniería de software robusta.

En resumen, el paper argumenta que, aunque los LLMs pueden parecer exitosos en la predicción de salidas, su capacidad para razonar coherente y consistentemente sobre la ejecución de programas es significativamente menor de lo que se cree, y CES es la herramienta necesaria para revelar y medir esta brecha.