💻 computer science

Evaluating LLMs Code Reasoning Under Real-World Context

Este artículo presenta R2Eval, un nuevo conjunto de pruebas que evalúa la capacidad de razonamiento de código de los modelos de lenguaje grandes mediante problemas extraídos de proyectos reales de Python, superando las limitaciones de los benchmarks existentes al preservar la complejidad de los tipos de datos y las dependencias del mundo real.

Autores originales: Changshu Liu

Publicado 2026-04-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Changshu Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un chef de cocina (el modelo de IA) para que sea un experto en recetas.

Hasta ahora, los "exámenes" que le hacíamos a estos chefs eran muy simples. Le dábamos una tarjeta con una receta básica, como "mezcla harina y agua", y le preguntábamos: "¿Qué sale al final?" o "¿Qué ingredientes usaste?". El chef respondía bien porque las recetas eran cortas, usaban ingredientes básicos (como harina, que es como un número o una palabra simple) y no tenían trucos ocultos.

El problema: En la vida real, cocinar no es así. En un restaurante de verdad, los ingredientes son cosas complejas: un "pastel de cumpleaños" no es solo harina y agua, es una estructura con capas, decoraciones y sabores que dependen unos de otros. Si le preguntas a un chef cómo hacer un pastel complejo solo dándole una lista de ingredientes simples, se confunde.

¿Qué propone este paper? (R2Eval)

El autor, Changshu Liu, dice: "¡Oye, estamos probando a los chefs en una cocina de juguete, no en una real!". Por eso, crea R2Eval, que es como un examen de cocina en un restaurante de lujo real.

Aquí está la magia de cómo funciona, explicado con analogías:

El problema de los "ingredientes invisibles":
En el código de programas reales (como los que usa Google o Facebook), hay "objetos" complejos. Imagina que en lugar de decir "tengo una manzana", el código dice "tengo un ObjetoMágicoDeManzana". Si intentas leer esto en papel, solo ves un código de barras o una dirección de memoria (como "Manzana #4582 en el almacén"). No sabes qué sabor tiene ni cómo se ve.
- La solución de R2Eval: El sistema actúa como un traductor mágico. Toma ese "ObjetoMágico" y lo desarma pieza por pieza hasta convertirlo en una lista de ingredientes simples y comprensibles (como un JSON, que es como una lista de la compra muy organizada). Así, el chef (la IA) puede ver realmente qué tiene en las manos.
El examen real:
En lugar de recetas de 3 líneas, R2Eval toma 135 problemas reales de programas famosos (como los que usa Django o Scikit-learn). Le da a la IA el código, la lista de ingredientes desarmada y le pide que adivine:
- ¿Qué ingredientes se necesitaron para llegar a este resultado? (Predicción de entrada).
- ¿Qué resultado se obtendrá con estos ingredientes? (Predicción de salida).

¿Qué pasó cuando pusieron a prueba a las IAs?

Los resultados fueron una sorpresa enorme, como si un campeón de ajedrez cayera en un tablero con reglas nuevas:

En los exámenes viejos (CRUXEval): Las IAs más inteligentes acertaban casi el 90% de las veces. Parecían genios.
En el examen real (R2Eval): Su rendimiento se desplomó.
- Para adivinar ingredientes: bajaron un 64%.
- Para adivinar resultados: bajaron un 52%.

¿Por qué? Porque en la vida real, las cosas dependen unas de otras de formas complicadas. En los exámenes viejos, todo estaba aislado. En la vida real, para entender una parte del código, tienes que entender cómo se conecta con otras partes, cómo usa herramientas de terceros y cómo maneja objetos extraños. Las IAs, aunque son muy listas, se pierden en este laberinto de dependencias.

La conclusión sencilla

Este paper nos dice: "No nos engañemos con los puntajes altos en exámenes fáciles".

Hasta ahora, pensábamos que las IAs entendían el código como humanos expertos. Pero este estudio demuestra que, cuando el código se vuelve complejo y real (como en el mundo real), las IAs todavía tienen dificultades para seguir el hilo. R2Eval es la nueva herramienta para asegurarnos de que, antes de confiarle a una IA una tarea importante, sepamos si realmente puede cocinar un "pastel complejo" o si solo sabe mezclar harina y agua.

A continuación presento un resumen técnico detallado del artículo "Evaluating LLMs Code Reasoning Under Real-World Context" (Evaluación del Razonamiento de Código de los LLMs en Contextos del Mundo Real), escrito por Changshu Liu de la Universidad de Illinois en Urbana-Champaign.

1. Planteamiento del Problema

El razonamiento de código, definido como la capacidad de un Modelo de Lenguaje Grande (LLM) para comprender el comportamiento de un programa durante su ejecución, es una métrica crítica para evaluar tareas como la traducción de código, la reparación de errores y la generación de software.

Sin embargo, el artículo identifica una limitación fundamental en los benchmarks (puntos de referencia) existentes (como CRUXEval, HumanEval, ClassEval):

Simplificación excesiva: Se basan en fragmentos de código generados por LLMs o soluciones a desafíos de programación escritos por humanos.
Restricción de tipos de datos: Limitan las entradas y salidas a tipos primitivos (enteros, cadenas, booleanos).
Falta de contexto real: Ignoran la complejidad estructural, las dependencias inter e intra-procedimentales y el uso de objetos personalizados o compuestos típicos de proyectos de producción.

Como resultado, aunque los LLMs de última generación obtienen puntuaciones altas en estos benchmarks, su capacidad para generalizar y funcionar en entornos de desarrollo reales sigue siendo incierta y no ha sido validada adecuadamente.

2. Metodología: R2Eval

Para abordar estas limitaciones, los autores proponen R2Eval (Realistic Code Reasoning Evaluation), un nuevo benchmark diseñado específicamente para evaluar el razonamiento de código en contextos realistas.

Proceso de Construcción:

Selección de Datos: Se extrajeron problemas de razonamiento de 10 proyectos Python populares de código abierto (incluyendo scikit-learn, django, requests, seaborn, sphinx, pytest, astropy, xarray, matplotlib y sympy).
Extracción de Métodos: Se identificaron métodos objetivo y se registraron sus entradas y salidas en tiempo de ejecución.
Serialización de Tipos Complejos (Innovación Clave):
- En proyectos reales, las entradas/salidas suelen ser objetos personalizados que carecen de una implementación __str__() útil, mostrando solo direcciones de memoria o hashes.
- R2Eval utiliza un pipeline que combina análisis estático y dinámico para descomponer iterativamente tipos de datos complejos y personalizados en tipos primitivos o compuestos básicos.
- Estos datos se serializan en formato JSON, permitiendo que el LLM "lea" el estado interno de los objetos complejos sin necesidad de ejecutar el código original.
Detección de Falsos Negativos: Para evitar errores al comparar texto predicho con la verdad fundamental (ground truth), R2Eval deserializa las predicciones del LLM y ejecuta pruebas de runtime con objetos reales para verificar la corrección funcional.

Estructura del Benchmark:
R2Eval consta de 135 problemas de razonamiento, representados como tripletes $\{P, I, O\}$ :

$P$ : Código del método objetivo y sus dependencias (clases, métodos relacionados).
$I$ : Entradas serializadas.
$O$ : Salidas serializadas.

El objetivo es que el LLM prediga la entrada dada la salida (razonamiento hacia atrás) o la salida dada la entrada (razonamiento hacia adelante).

3. Contribuciones Clave

Nuevo Benchmark Realista: Presentación de R2Eval, el primer benchmark de razonamiento de código que preserva la complejidad de los tipos de datos personalizados y las dependencias de proyectos reales.
Pipeline de Serialización: Desarrollo de una técnica automatizada para convertir objetos complejos en representaciones JSON legibles, superando la barrera de los tipos primitivos que limita investigaciones anteriores.
Evaluación Rigurosa: Un marco de evaluación que utiliza pruebas de ejecución en tiempo real para validar la corrección de las predicciones, mitigando problemas de comparación textual.

4. Resultados Experimentales

Los autores evaluaron seis LLMs (incluyendo o4-mini, Gemini-2.5-Pro, DeepSeek-R1, GPT-4.1, Gemini-1.5-Pro y DeepSeekCoder-33B) comparando su rendimiento en R2Eval frente a CRUXEval.

Hallazgos Principales:

Caída drástica de rendimiento: Al pasar de CRUXEval a R2Eval, el rendimiento de los LLMs disminuyó significativamente:
- Predicción de Entrada: Caída del 64.32%.
- Predicción de Salida: Caída del 52.22%.
Brecha entre LLMs de Razonamiento y No Razonamiento: Los modelos diseñados específicamente para razonamiento (como o4-mini y DeepSeek-R1) superaron consistentemente a los modelos estándar, con un margen promedio de ~13-14%, aunque ambos grupos sufrieron caídas severas en el entorno real.
Dificultad del Razonamiento Inverso: El análisis de superposición de éxitos (Figura 2 del artículo) muestra que la predicción de entradas (razonamiento hacia atrás) es considerablemente más difícil que la predicción de salidas en proyectos reales, debido a la complejidad de las dependencias y la estructura del código.

5. Significado e Impacto

Este trabajo tiene implicaciones profundas para el campo de la ingeniería de software asistida por IA:

Cuestionamiento de la Eficacia Actual: Los resultados desafían las afirmaciones optimistas sobre la capacidad de razonamiento de los LLMs actuales, sugiriendo que su alto rendimiento en benchmarks existentes es artificial y no refleja su utilidad en entornos de producción.
Necesidad de Nuevos Estándares: Demuestra que la evaluación de LLMs debe evolucionar más allá de tipos primitivos y fragmentos aislados para incluir la complejidad de los sistemas reales (tipos personalizados, dependencias externas, APIs de terceros).
Dirección Futura: R2Eval proporciona una base sólida para desarrollar y entrenar modelos más robustos capaces de manejar la complejidad del código real, promoviendo una evaluación más significativa y orientada a la aplicación práctica.

En conclusión, el artículo establece que, si bien los LLMs han avanzado, aún existe una brecha significativa entre su capacidad para resolver ejercicios académicos y su habilidad para razonar sobre el código complejo y dependiente de contextos reales.