Resumen Técnico: DevIntent - ¿Qué tanto viola el código generado por LLM la intención del desarrollador?

Planteamiento del Problema

Los benchmarks actuales para la generación de código mediante Modelos de Lenguaje de Gran Escala (LLM) se basan principalmente en las tasas de paso de pruebas (por ejemplo, Pass@1) para medir la corrección funcional. Sin embargo, esta métrica es insuficiente porque no logra detectar la violación de la intención. Un LLM puede generar código que satisfaga todos los casos de prueba explícitamente declarados y, simultáneamente, viole restricciones implícitas o intenciones no declaradas del desarrollador. Trabajos previos han documentado casos donde los modelos "manipulan" las especificaciones o se sobreajustan a las sentencias de aserción, pero este artículo se centra en un modo de falla distinto: salidas que pasan legítimamente las pruebas declaradas válidas, pero fallan en capturar la intención real y no declarada del desarrollador.

Metodología

1. Definición de la Métrica: Tasa de Violación de Intención (IVR)

Los autores introducen la Tasa de Violación de Intención (IVR) para cuantificar la brecha entre el éxito de las pruebas declaradas y la intención del desarrollador.
$$IVR = \frac{n_{violando}}{n_{pasadas\_declaradas}}$$
Donde:

• $n_{pasadas\_declaradas}$ es el número de soluciones generadas que pasan todas las pruebas visibles y declaradas.
• $n_{violando}$ es el subconjunto de esas soluciones que fallan al menos una prueba de restricción oculta.

La IVR se calcula únicamente sobre las soluciones que pasan las pruebas públicas iniciales; las soluciones que fallan las pruebas declaradas se excluyen. La IVR reportada es la media de las IVR por problema.

2. Construcción del Benchmark

El estudio utiliza un benchmark piloto de 49 problemas de especificación de algoritmos derivados de HumanEval+.

• Ingeniería de Prompts: Para cada problema, se creó un "prompt ambiguo" eliminando manualmente de un "prompt dorado" (que contiene las especificaciones completas) las restricciones específicas. El LLM recibe solo este prompt ambiguo y la prueba declarada ($C1$).
• Restricciones Ocultas: Las restricciones eliminadas del prompt dorado fueron codificadas como pruebas de restricción oculta ($C2–C4$). Estas pruebas capturan la intención no declarada (por ejemplo, orden de clasificación, tipos de datos específicos) que no se le dice explícitamente al LLM que debe satisfacer.
• Validación: Una auditoría de fuga aseguró que las pruebas declaradas ($C1$) pudieran satisfacerse sin el conocimiento de las restricciones ocultas. Se ejecutaron soluciones canónicas contra la suite completa para confirmar que las restricciones ocultas eran satisfactorias para el código correcto (resultando en una IVR de 0 para la verdad fundamental/ground truth).

3. Pipeline de Evaluación

La evaluación involucró dos modelos: Claude Sonnet 4.6 y OpenAI GPT 4.1.

• Generación: Se generaron 5 soluciones por problema con una temperatura de 1.0 y un límite de 1024 tokens.
• Ejecución: Las soluciones se ejecutaron contra las pruebas declaradas ($C1$) y las pruebas ocultas ($C2–C4$) con un tiempo de espera de 5 segundos por prueba.
• Análisis: Se calculó la IVR por problema, y la IVR general se determinó como la media de las IVR por problema con al menos una solución que pasara la prueba declarada. Los intervalos de confianza se estimaron mediante remuestreo de bootstrap.

Resultados Clave

Altas Tasas de Paso Declaradas vs. Alta Violación de Intención

A pesar de la alta corrección funcional en las pruebas declaradas, ambos modelos exhibieron violaciones de intención significativas:

• Claude Sonnet 4.6: Pasó las pruebas declaradas el 94.3% de las veces, pero violó la intención en el 54.5% de los problemas calificables (IC 95%: 40.4–68.1%).
• OpenAI GPT 4.1: Pasó las pruebas declaradas el 92.7% de las veces, pero violó la intención en el 63.5% de los problemas calificables (IC 95%: 50.0–76.5%).

Distribución Sistemática, Bimodal

Se encontró que la distribución de la IVR por problema era bimodal, agrupándose cerca de 0 (sin violaciones) o 1 (todas las soluciones violan la intención).

• El 95.7% de los problemas calificables para Sonnet 4.6 y el 91.3% para GPT 4.1 cayeron en estas categorías extremas.
• Esto indica que las violaciones de intención son sistemáticas y casi deterministas en lugar de ruido de muestreo aleatorio. Los modelos o capturan completamente las restricciones ocultas o fallan totalmente en capturarlas.

Jerarquía de Restricciones

Las tasas de falla en las restricciones ocultas disminuyeron monótonamente de $C2$ a $C4$. Para ambos modelos, la primera restricción eliminada ($C2$) tuvo la tasa de falla más alta (aprox. 43–44%), lo que sugiere que la primera restricción removida es a menudo la más central para la intención de la tarea.

Significancia y Reivindicaciones

El artículo afirma que las tasas de paso estándar sobreestiman significativamente qué tan bien el código generado por LLM refleja la intención del desarrollador.

• Brecha de Medición: Las métricas de corrección funcional son insuficientes para el despliegue porque no pueden detectar escenarios donde el código satisface la suite de pruebas pero viola supuestos implícitos.
• Falla Sistemática: La naturaleza bimodal de los resultados sugiere que los modelos actuales no "adivinan" la intención aleatoriamente; o infieren la intención correctamente o la ignoran por completo, lo que conlleva un alto riesgo de fallas silenciosas en prompts ambiguos.
• Herramienta de Diagnóstico: La IVR sirve como un diagnóstico relativo para medir la brecha entre las especificaciones declaradas y la intención real, resaltando la necesidad de métodos de evaluación que vayan más allá de las simples tasas de paso de pruebas.

Limitaciones

Los autores reconocen varias limitaciones:

• Alcance: El benchmark se limita a 49 problemas algorítmicos de Python; los resultados pueden diferir para otros lenguajes o tipos de tareas (por ejemplo, transformación de datos).
• Especificidad del Modelo: La evaluación se restringió a Sonnet 4.6 y GPT 4.1 con una única temperatura.
• Poder Estadístico: El pequeño tamaño de la muestra ($N=49$) y los intervalos de confianza superpuestos significan que la diferencia entre las tasas de violación de los dos modelos no es estadísticamente distinguible.
• Subjetividad: La definición de "intención" depende del juicio de un único anotador sobre el prompt dorado, lo que hace que la métrica sea normativa en lugar de una verdad absoluta.
• Contaminación de Datos: Dado que el benchmark se deriva del conjunto de datos público HumanEval+, existe el riesgo de que los modelos hayan encontrado los problemas originales durante el entrenamiento, aunque los autores señalan que los prompts ambiguos fueron construidos manualmente para mitigar esto.