Resumen Técnico: Precisión, Estabilidad y Fiabilidad de Ejecuciones Repetidas de Modelos de Lenguaje Extensos en Tareas de Programación Deterministas

Planteamiento del Problema

Los modelos de lenguaje extensos (LLM) se despliegan cada vez más para tareas condicionadas por texto con especificaciones deterministas, como la síntesis de programas, donde la corrección es binaria y se verifica mediante suites de pruebas ejecutables. Los benchmarks de evaluación convencionales (por ejemplo, HumanEval, MBPP) suelen reportar la precisión de una única ejecución o métricas de "éxito eventual" como pass@k, que miden la capacidad de un modelo para producir al menos una solución correcta dentro de $k$ intentos.

Sin embargo, muchos escenarios de despliegue prácticos requieren estabilidad: la capacidad de un modelo para producir resultados consistentes y correctos a través de invocaciones repetidas bajo descripciones de tareas idénticas. Si bien trabajos recientes han enmarcado el muestreo repetido como una forma de cómputo en tiempo de inferencia, la relación sistemática entre la corrección y la estabilidad —específicamente, la brecha entre el éxito promedio de ejecución de un modelo y su fiabilidad sin reintentos— sigue siendo insuficientemente explorada. Este artículo aborda la pregunta de cuánto de la precisión observada se traduce en un comportamiento fiable y sin reintentos, particularmente para sistemas de rendimiento medio donde la variabilidad es más alta.

Metodología

Configuración Experimental

El estudio utiliza un conjunto de datos curado de 100 problemas de programación deterministas (estilo LeetCode), seleccionados basándose en su recencia para minimizar la contaminación de los datos de entrenamiento históricos. El conjunto de datos incluye 20 problemas Fáciles, 50 Medios y 30 Difíciles, cubriendo diversos temas algorítmicos. Todos los problemas son autónomos, no requieren acceso a la red externa y se califican mediante un entorno de pruebas determinista y fijo.

Modelos y Configuración

La evaluación cubre 16 modelos de cinco familias de proveedores (OpenAI, Anthropic, Google, Qwen, DeepSeek), incluyendo arquitecturas estándar y especializadas en razonamiento (por ejemplo, o4-mini, DeepSeek-R1).

• Protocolo: Cada modelo es evaluado bajo dos plantillas de prompt (DETAILED y MINIMAL) con 5 ejecuciones repetidas ($R=5$) por problema.
• Parámetros: La mayoría de los modelos utilizan $T=0.3$ y $top\_p=0.9$ para simular una decodificación estocástica realista. Los modelos especializados en razonamiento y las restricciones específicas de la API (por ejemplo, o4-mini) implican presupuestos de tokens ajustados o regímenes de decodificación internos fijos.
• Instancias Totales: El experimento genera 16,000 instancias de evaluación.

Métricas

El artículo introduce un protocolo de evaluación de ejecución repetida con tres métricas principales:

1. Tasa de Aprobación a Nivel de Ejecución (RLPR): La probabilidad de que una única invocación aleatoria tenga éxito.
   $$RLPR = \frac{1}{NR} \sum_{i=1}^{N} \sum_{r=1}^{R} Y_{i,r}$$
2. Tasa de Estabilidad Perfecta (PSR): La fracción de tareas para las cuales el sistema tiene éxito en todas las $R$ ejecuciones sin requerir un reintento.
   $$PSR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left(\sum_{r=1}^{R} Y_{i,r} = R\right)$$
   Nota: PSR es matemáticamente equivalente a pass@k con $k=R$ con un umbral de "todos los éxitos", pero se interpreta aquí como una medida de fiabilidad de despliegue en lugar de una medida de capacidad.
3. Varianza Promedio (AV): Una medida de la inestabilidad por problema, que captura la varianza en las probabilidades de éxito a través de las tareas.

Resultados Clave

La Brecha de Precisión–Estabilidad

El estudio encuentra una fuerte correlación entre RLPR y PSR ($r = 0.985$), sin embargo, el RLPR sobrestima consistentemente la fiabilidad en producción.

• Magnitud de la Brecha: La diferencia $\Delta = RLPR - PSR$ no es uniforme entre los modelos, alcanzando un máximo de 17.8 puntos porcentuales (observado en Gemini 2.5 Flash bajo el prompt DETAILED).
• Pico de Precisión Media: La brecha es mayor para los sistemas de rendimiento medio. Los modelos con probabilidades de éxito intermedias exhiben la mayor varianza (la varianza de Bernoulli se maximiza en $p \approx 0.5$), lo que conduce a discrepancias significativas entre el éxito promedio y la estabilidad perfecta.
• Inversiones de Clasificación: RLPR y PSR pueden producir clasificaciones de modelos divergentes. Por ejemplo, GPT-4.1 supera a GPT-4.1-mini en RLPR (59.6% vs. 58.4%) pero queda por detrás en PSR (47.5% vs. 50.0%), impulsado por una mayor brecha de precisión–estabilidad en el primero.

Variabilidad a Nivel de Problema

• Polarización vs. Inestabilidad: Modelos como Qwen-Turbo exhiben un AV bajo porque sus resultados están polarizados (o pasan consistentemente o fallan en todas las ejecuciones), lo que resulta en una brecha pequeña a pesar de una baja precisión general. Por el contrario, modelos como Gemini 2.5 Flash muestran un AV alto, indicando una variabilidad sustancial de prueba a prueba.
• Modos de Fallo: El modo de fallo dominante es "Respuesta Incorrecta" (58%), seguido de "Tiempo Límite Excedido" (27%). La inestabilidad está vinculada no solo a la inconsistencia algorítmica sino también a la fragilidad de la implementación (tiempos de espera/errores de tiempo de ejecución), que aumenta con la dificultad del problema.

Sensibilidad del Prompt y Arquitectura

• Efectos del Prompt: La sensibilidad del prompt depende del modelo y no es uniforme. Mientras que la mayoría de los modelos muestran diferencias menores (<3 pp) entre los prompts DETAILED y MINIMAL, algunos (por ejemplo, Claude Sonnet 4.5) muestran reversiones. Ninguna plantilla domina uniformemente, y la significancia estadística para los efectos del prompt fue generalmente baja dado el tamaño de la muestra.
• Arquitecturas de Razonamiento: El estudio investiga si los modelos especializados en razonamiento (por ejemplo, Cadena de Pensamiento/Chain-of-Thought) exhiben sistemáticamente brechas de precisión–estabilidad más pequeñas. Los resultados son heterogéneos: DeepSeek-R1 muestra una estabilidad mejor de lo esperado, mientras que otros (QwQ-Plus, Gemini 2.5 Flash+Think) muestran brechas mayores. Una prueba de permutación ($p=0.97$) no encontró una ventaja sistemática para las arquitecturas de razonamiento en esta muestra, aunque se señala que el análisis carece de potencia debido al pequeño número de modelos de razonamiento.

Significancia y Reivindicaciones

El artículo argumenta que el análisis de estabilidad de ejecución repetida es un complemento necesario al reporte de precisión convencional para la generación de contenido determinista condicionada por texto.

1. Más allá de la Medición de Capacidad: Mientras que pass@k mide la capacidad de un modelo para encontrar una solución eventualmente, el PSR mide la fiabilidad de despliegue (consistencia). Estas dos métricas apuntan a diferentes preocupaciones posteriores y pueden divergir significáamente, particularmente para sistemas de precisión media.
2. Revelación de Riesgos Ocultos: Confiar únicamente en el RLPR puede enmascarar una inestabilidad sustancial. Un modelo con una tasa de aprobación a nivel de ejecución del 60% pero solo un 47% de estabilidad perfecta deja una fracción significativa de tareas en un régimen de "reintento requerido", lo cual puede ser inaceptable en flujos de trabajo automatizados que esperan un comportamiento reproducible.
3. Contribución Metodológica: El artículo establece el PSR y la Varianza Promedio (AV) como objetivos de evaluación de primer orden. Demuestra que la brecha de precisión–estabilidad es un fenómeno observable, específico de cada modelo y prácticamente significativo que no puede inferirse únicamente a partir del rendimiento medio.

Los autores conclen que, si bien sus hallazgos son específicos para la generación de código Python de un solo turno, el marco proporciona una lente crítica para comprender la fiabilidad en flujos de trabajo sensibles a la reproducibilidad. Advierten que sus resultados son específicos de una instantánea de las versiones de API evaluadas y no consideran la orquestación más amplia o las dependencias de múltiples turnos.