💬 NLP

Evaluating and Achieving Controllable Code Completion in Code LLM

Este artículo presenta el Benchmark de Completitud de Código Controlable (C3-Bench) para abordar la falta de evaluación del seguimiento de instrucciones en los LLM de código, revela brechas de rendimiento significativas entre los modelos de código abierto y los propietarios, y propone un proceso de síntesis de datos que permite a un modelo ajustado alcanzar resultados de vanguardia en el nuevo benchmark.

Autores originales: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

Publicado 2026-01-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un maestro chef (la IA) trabajando en una cocina con mucho movimiento. Durante mucho tiempo, la forma de evaluar a estos chefs era sencilla: les dábamos un plato a medio cocinar (el código antes de la parte faltante) y un plato a medio cocinar después de ello (el código después de la parte faltante), y les pedíamos que completaran el medio. Si el plato final sabía bien (pasaba las pruebas unitarias), el chef recibía una estrella de oro.

El Problema: La "Receta" Faltaba
Los autores de este artículo argumentan que esta vieja forma de evaluar es defectuosa. En el mundo real, un chef ejecutivo no se limita a decir: "Completa el medio". Él dice: "Completa el medio, pero usa solo ingredientes vegetarianos", o "Completa el medio, pero que tenga exactamente tres líneas de largo", o "Completa el medio, pero usa un tipo específico de cuchillo".

Los modelos de IA actuales son excelentes haciendo que el plato sepa bien, pero a menudo ignoran las instrucciones específicas sobre cómo prepararlo. Pueden usar carne cuando pediste vegetales, o escribir un párrafo cuando pediste una sola línea. Las pruebas antiguas no detectaban esto porque solo comprobaban si la comida era comestible, no si el chef escuchó la orden.

La Solución: C3-Bench (La Prueba de "Seguimiento de Instrucciones")
Para solucionar esto, el equipo creó una nueva prueba llamada C3-Bench (C3-Bench: Benchmark de Completado de Código Controlable). Piensa en esto como una nueva competencia de cocina, mucho más estricta.

En lugar de solo pedir una pieza de código faltante, cada prueba en C3-Bench viene con una instrucción específica y detallada. Dividieron estas instrucciones en dos categorías principales:

Las Instrucciones de "Cómo Hacerlo" (Control de Implementación):
- Analogía: "Construye un puente, pero debes usar un diseño de suspensión, no un diseño de viga".
- La IA tiene que escribir código que funcione y además siga un estilo, algoritmo o estructura específica. Por ejemplo, "Ordena esta lista usando un método de ordenamiento específico" o "Maneja los errores de esta manera específica".
Las Instrucciones de "Tamaño" (Control de Escala):
- Analogía: "Escribe una oración que tenga exactamente 10 palabras", o "Escribe un párrafo que tenga exactamente 3 oraciones".
- La IA tiene que generar código que se ajuste a un límite de tamaño estricto, como exactamente 5 líneas de código, o un bloque de lógica específico, ni más ni menos.

Lo Que Encontraron
El equipo probó más de 40 modelos de IA diferentes (tanto gratuitos y de código abierto como costosos y de código cerrado) en esta nueva prueba. Esto es lo que descubrieron:

Los Modelos de Código Abierto "Excesivamente Confiados": En las pruebas antiguas, muchos modelos de IA gratuitos y de código abierto funcionaban tan bien como los modelos caros y de primer nivel. Sin embargo, en esta nueva prueba, C3-Bench, tuvieron dificultades significativas. Resulta que habían "memorizado" las pruebas antiguas, pero no sabían realmente cómo seguir instrucciones complejas. Eran como estudiantes que memorizaron la clave de respuestas pero no podían resolver un problema nuevo con un giro inesperado.
La Brecha: Existe una enorme brecha entre los modelos que simplemente pueden "hacer que el código funcione" y los modelos que pueden "hacer que el código funcione exactamente como se te pidió". Incluso algunos de los modelos más inteligentes y caros tuvieron problemas con las instrucciones de "Tamaño" (como escribir exactamente el número correcto de líneas).
La Solución: Los autores no solo señalaron el problema; construyeron una solución. Crearon un proceso para generar automáticamente miles de nuevos ejemplos de entrenamiento donde una IA escribe código y además sigue una instrucción específica. Utilizaron estos datos para entrenar una nueva versión de su modelo, llamado Qwen2.5-Coder-C3.
El Resultado: Este nuevo modelo se convirtió en el mejor siguiendo instrucciones en el completado de código, superando a casi todos los demás en la nueva prueba, mientras seguía siendo bueno en las pruebas antiguas.

La Conclusión
Este artículo introduce una nueva forma de medir las habilidades de programación de la IA que realmente importa para el uso en el mundo real: ¿Puede la IA escuchar?

Descubrieron que muchos modelos de IA actuales son como músicos talentosos que tocan las notas correctas pero ignoran los cambios de tempo del director de la orquesta. Al crear este nuevo benchmark y un método para entrenar a los modelos para que escuchen mejor, los autores están ayudando a los desarrolladores a construir herramientas de IA que no solo escriben código, sino que escriben el código correcto de acuerdo con las necesidades específicas y detalladas del usuario. Han puesto todos sus datos y modelos a disposición de otros para que puedan usarlos y mejorarlos.

Resumen Técnico: C3-Bench: Evaluando y Logrando la Completitud de Código Controlable en LLMs de Código

Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han avanzado significativamente las capacidades de completitud de código, las metodologías de evaluación actuales siguen siendo insuficientes para los escenarios prácticos de la ingeniería de software. Los benchmarks tradicionales (por ejemplo, HumanEval, CrossCodeEval, SAFIM) evalúan principalmente la correctitud funcional del código generado basándose en el contexto, apoyándose frecuentemente en pruebas unitarias o métricas de similitud. Sin embargo, pasan por alto en gran medida un aspecto crítico de la programación asistida por LLM: la capacidad del modelo para seguir instrucciones detalladas del usuario durante el proceso de completitud. En el desarrollo real, los desarrolladores requieren con frecuencia que los modelos generen código que no solo funcione correctamente, sino que también se adhiera a restricciones de implementación específicas, requisitos estructurales o limitaciones de alcance. La ausencia de benchmarks que evalúen rigurosamente esta capacidad de "seguimiento de instrucciones" en la completitud de código crea una brecha entre el rendimiento del benchmark y la utilidad práctica.

Metodología

1. Definición de Completitud de Código Controlable (C3)

Los autores introducen el concepto de Completitud de Código Controlable (CCC), extendiendo la tupla tradicional $(P, S, G, T)$ (Prefijo, Sufijo, Verdad Fundamental, Prueba Unitaria) para incluir $I$ (Instrucción Detallada). La tarea requiere que el modelo genere el código intermedio $G$ de tal manera que $M(P, S, I) \rightarrow G$ , satisfaciendo tanto la correctitud funcional (verificada por $T$ ) como la adherencia a la instrucción (alineación con $I$ ).

2. Construcción de C3-Bench

El Benchmark de Completitud de Código Controlable (C3-Bench) consta de 2,195 tareas de Python de alta calidad derivadas de HumanEval y SAFIM, mejoradas mediante un pipeline de síntesis de cuatro pasos:

Extracción de Código Intermedio: Utilizando Árboles de Sintaxis Abstracta (AST) para extraer bloques de código lógicamente completos y enmascarar nodos para crear diversos segmentos intermedios.
Generación de Implementaciones Equivalentes: Generar múltiples implementaciones funcionalmente equivalentes para el mismo contexto para probar la adherencia a la instrucción.
Filtrado de Datos: Asegurar la legibilidad del código (PEP8), la longitud apropiada y una diversidad de implementación significativa.
Generación de Instrucciones:
- Completitud de Control de Implementación (ICC): Tareas que requieren estrategias de implementación específicas (por ejemplo, enfoques algorítmicos, flujo de control, estructuras de datos). Incluye 1,286 instancias con pruebas unitarias.
- Completitud de Control de Escala (SCC): Tareas que requieren la generación de código dentro de límites de alcance precisos (por ejemplo, recuentos de líneas específicos, bloques de sentencias). Incluye 909 instancias sin pruebas unitarias, centrándose en la conformidad estructural.

3. Métricas de Evaluación

Pass@1: Mide la correctitud funcional mediante pruebas unitarias (solo para ICC).
Tasa de Seguimiento de Instrucciones (IF): Mide la adherencia a requisitos específicos, evaluada solo en casos funcionalmente correctos.
Similitud de Edición (ES): Una métrica de análisis estático para la validación preliminar de calidad.
Evaluación Automatizada: Un sistema basado en LLM (usando Claude3.5-Sonnet) valida la adherencia a la instrucción con un 98% de acuerdo con expertos humanos.

4. Entrenamiento de Modelos (Qwen2.5-Coder-C3)

Para abordar la escasez de datos de entrenamiento de completitud-instrucción, los autores desarrollaron un pipeline de síntesis automatizado:

Generación de Semillas: Se utilizó Claude3.5-Sonnet para crear 1,000 pares semilla de alta calidad.
Síntesis a Gran Escala: Se aprovechó Qwen2.5-Coder-32B-Instruct para generar 200,000 pares de instrucción-completitud a partir de repositorios de GitHub.
Ajuste Fino (Fine-Tuning): Se aplicó el Ajuste Fino Supervisado (SFT) en las variantes Qwen2.5-Coder-1.5B y 32B utilizando los datos sintetizados, resultando en el Qwen2.5-Coder-C3.

Resultados Clave

1. Brechas de Rendimiento en el Seguimiento de Instrucciones

Las evaluaciones exhaustivas de más de 40 LLMs de tendencia (tanto de código abierto como propietarios) revelan limitaciones significativas:

Código Abierto vs. Propietario: Mientras que los modelos de código abierto a menudo igualan o superan a los modelos propietarios en benchmarks tradicionales de correctitud funcional (por ejemplo, CrossCodeEval, RepoEval), exhiben una brecha sustancial de rendimiento en las capacidades de seguimiento de instrucciones en C3-Bench.
Sensibilidad a la Instrucción: Eliminar las instrucciones de los prompts provoca una caída significativa en las tasas de IF, mientras que el Pass@1 permanece prácticamente sin cambios, confirmando que los modelos actuales no priorizan inherentemente la adherencia a la instrucción sobre la generación funcional.
Desafíos de Control de Escala: Los modelos tienen dificultades particularmente con las tareas de Completitud de Control de Escala (SCC), lo que indica limitaciones en los objetivos de entrenamiento respecto a las restricciones de alcance del código.

2. Efectividad del Ajuste C3 (C3-Tuning)

El modelo Qwen2.5-Coder-C3 alcanza un rendimiento de Estado del Arte (SOTA) en C3-Bench:

Demuestra mejoras sustanciales en las tasas de IF en comparación con su contraparte base ajustada por instrucciones (por ejemplo, +23.7% de IF en ICC para el modelo 32B).
Supera a modelos propietarios líderes (por ejemplo, GPT-4o, serie o1) en tareas de Control de Escala, manteniendo un rendimiento competitivo en benchmarks convencionales.
Los resultados sugieren que los modelos de código abierto pueden estar sobreajustados a los benchmarks funcionales existentes y carecen de generalización en escenarios controlables, pero esto puede remediarse mediante la síntesis de instrucciones dirigida.

3. Correlación con Capacidades Avanzadas

Las clasificaciones de los modelos en C3-Bench muestran fuertes correlaciones con el rendimiento en tareas que requieren una comprensión extensa del contexto (ExecRepoBench) y la evaluación de preferencia humana (Chatbot Arena-Coding), lo que sugiere que la capacidad de seguimiento de instrucciones es un indicador de una comprensión de código más amplia.

Significado y Reivindicaciones

El artículo afirma que C3-Bench proporciona el primer benchmark guiado por instrucciones para la completitud de código, abordando un punto ciego crítico en los paisajes de evaluación actuales. Su importancia radica en:

Revelar una Sobreestimación Sistemática: Demostrar que los benchmarks existentes sobreestiman sistemáticamente las capacidades de los modelos en escenarios de desarrollo prácticos y con alta carga de instrucciones.
Cerrar la Brecha: Identificar que los LLMs de código de código abierto, a pesar de su fuerte rendimiento funcional, se quedan atrás de los modelos propietarios en la adherencia a las instrucciones, una brecha que puede cerrarse mediante la síntesis de datos dirigida.
Avanzar en el Desarrollo de Código Abierto: Proporcionar un pipeline sencillo y reproducible para sintetizar datos de instrucción-completitud, permitiendo a la comunidad mejorar los modelos de código abierto sin depender de datos propietarios.

Los autores concluyen que la investigación futura debe priorizar las capacidades de seguimiento de instrucciones en los LLMs de código para asegurar su fiabilidad y controlabilidad en aplicaciones de ingeniería de software del mundo real. Todo el código, los conjuntos de datos y los modelos son de código abierto para facilitar la investigación posterior.