Resumen Técnico: SmellBench

Declaración del Problema

Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLM) han permitido el desarrollo de agentes de código sofisticados capaces de manejar tareas de ingeniería de software complejas, incluyendo la generación de código, la corrección de errores y el razonamiento a nivel de repositorio. Sin embargo, existe una brecha crítica en la evaluación de estos agentes: aunque a menudo producen código funcionalmente correcto, su uso indebido puede derivar en un código inflado y desorganizado que perjudica gravemente la legibilidad, la extensibilidad y la robustez.

Los benchmarks existentes se centran principalmente en la corrección funcional (por ejemplo, pasar pruebas unitarias), pero descuidan en gran medida la mantenibilidad a largo plazo y la calidad del código. Además, los benchmarks de refactorización actuales sufren limitaciones significativas:

1. Curación Manual: Los conjuntos de datos de alta calidad curados por humanos son costosos de producir y carecen de escalabilidad.
2. Minería de Commits: La extracción automática de casos de refactorización a partir del historial de commits de GitHub suele resultar en datos "ruidosos", donde la refactorización se entrelaza con la implementación de funcionalidades y la corrección de errores, lo que dificulta el aislamiento de escenarios de refactorización específicos.
3. Falta de Pureza: Los conjuntos de datos existentes tienen dificultades para proporcionar casos de refactorización controlados, diversos y de alta calidad con una verdad de referencia (ground truth) escrita por humanos.

Metodología: Construcción de SmellBench

Para abordar estas limitaciones, los autores proponen SmellBench, un benchmark extensible que inyecta proactivamente "olores de código" (code smells) en fragmentos de código limpio de repositorios del mundo real. El pipeline de construcción consta de cuatro etapas clave ejecutadas dentro de un entorno Dockerizado:

1. Selección de Repositorios: Se seleccionaron siete repositorios de Python populares y a gran escala (por ejemplo, click, pandas, numpy) para asegurar directrices de contribución maduras y una cobertura de pruebas exhaustiva.
2. Descubrimiento de Candidatos: Para evitar el sesgo de localización y asegurar la validez, el pipeline emplea un proceso de dos pasos:
   • Filtrado Grueso: Selecciona archivos fuente que superan las 500 líneas de código para asegurar una riqueza estructural.
   • Localización por Agente: Un agente de código identifica métodos o clases específicos adecuados para la inyección de olores basándose en restricciones específicas del olor, en lugar de depender de coincidencias basadas en reglas.
3. Inyección de Olores: Un potente agente de código (OpenHands + Claude Sonnet 4.5) modifica el código limpio para introducir olores de código específicos preservando la capacidad de compilación. El benchmark cubre 7 tipos de olores distintos:
   • Envidia de Características (Feature Envy)
   • Clases Dios (God Classes)
   • Clumps de Datos (Data Clumps)
   • Cirugía de Escopeta (Shotgun Surgery)
   • Código Muerto (Dead Code)
   • Segregación de Interfaces (Interface Segregation)
   • Inlining Profundo (Deep Inlining)
   • Configuraciones: Los casos están estratificados en 3 niveles de dificultad (Fácil, Medio, Difícil) y 2 configuraciones de instrucción (Guiada vs. Dirigida) para probar distintos niveles de complejidad de la tarea y autonomía del agente.
4. Validación de Calidad: El código "con olor" inyectado se valida contra las suites de pruebas existentes del repositorio. Los casos se refinan iterativamente mediante el agente para asegurar que todas las pruebas unitarias pasen, garantizando que la inyección del olor no rompa la corrección funcional. Esto resulta en 294 muestras válidas y emparejadas (limpio vs. con olor) con verdad de referencia escrita por humanos.

Marco de Evaluación

SmellBench introduce un marco de evaluación tridimensional diseñado específicamente para tareas de refactorización, yendo más allá de las simples métricas de aprobado/fallido:

1. Tasa de Paso de Pruebas (TPR): Mide la corrección funcional verificando si el código refactorizado pasa la suite de pruebas original.
2. Precisión de Localización (LA): Evalúa la capacidad del agente para identificar correctamente las ubicaciones de código específicas (clases o métodos) que requieren refactorización.
3. LLM-as-Judge (LLM como Juez): Un LLM evalúa la calidad de la refactorización a través de cuatro aspectos complementarios:
   • Calidad de Código (CQ): Mejoras en la legibilidad y mantenibilidad.
   • Solidez Estructural (SS): Corrección y racionalidad de la nueva estructura.
   • Coordinación entre Archivos (CC): Consistencia y manejo de dependencias a través de múltiples archivos.
   • Eliminación de Olor (SE): Efectividad en la eliminación del olor objetivo.

Para asegurar la estabilidad en la evaluación de LLM-as-Judge, se introduce un paso preliminar de Análisis de Olor para resumir explícitamente los problemas estructurales y los objetivos de refactorización antes del juicio final.

Resultados Experimentales

Los autores evaluaron 2 agentes de código de código abierto (OpenHands, Qwen Code) emparejados con 6 LLMs representativos (incluyendo Qwen3-Coder, DeepSeek-V3.2, GPT-5-Mini, Gemini-2.5-Flash y Claude Sonnet 4.5).

• Rendimiento General: Incluso la mejor configuración (Qwen Code + Claude Sonnet 4.5) alcanzó una puntuación de Eliminación de Olor (SE) de solo 50.34%. Esto indica una brecha significativa entre las capacidades actuales de generación de código y el razonamiento estructural profundo requerido para una refactorización de alta calidad.
• Corrección Funcional vs. Calidad: La mayoría de los modelos alcanzaron Tasas de Paso de Pruebas (TPR) superiores al 80%, demostrando que los agentes pueden preservar la funcionalidad. Sin embargo, un alto TPR no se correlacionó con una alta calidad de refactorización, lo que refuerza que la corrección funcional es insuficiente para evaluar la mantenibilidad.
• Desafíos de Multi-archivo: El análisis reveló que los agentes tienen dificultades significativas con la Cirugía de Escopeta (que requiere cambios coordinados en muchos archivos). Mientras que la instancia de olor promedio involucraba ~2.5 archivos, los casos de Cirugía de Escopeta involucraban ~5.7 archivos, sin embargo, los agentes modificaron solo ~2.7 archivos en promedio, fallando en abordar el alcance total del olor.
• Déficits de Localización: Los agentes exhibieron capacidades de localización autónoma débiles. En configuraciones "Guiadas" (donde el agente debe encontrar el olor), la Precisión de Localización se estancó alrededor del 65-67%, mientras que las configuraciones "Dirigidas" (donde se proporciona la ubicación) aumentaron la precisión a más del 90%.
• Competitividad del Código Abierto: Los modelos de alto rendimiento de código abierto (ej. Qwen3-Coder-480B) demostraron una competitividad comparable a los modelos de código cerrado como GPT-5-Mini en tareas de refactorización complejas.

Contribuciones Clave y Significado

El artículo afirma las siguientes contribuciones:

1. Benchmark SmellBench: Un nuevo benchmark extensible que inyecta proactivamente olores de código, logrando un equilibrio entre escalabilidad de datos y calidad. Proporciona 294 casos de alta calidad a través de 7 tipos de olores, 3 niveles de dificultad y 2 configuraciones de instrucción, fundamentados en verdades escritas por humanos.
2. Marco de Evaluación de 3 Dimensiones: Un sistema de evaluación a medida que incorpora la Tasa de Paso de Pruebas, la Precisión de Localización y la evaluación de calidad basada en LLM (CQ, SS, CC, SE), ofreciendo perspectivas matizadas más allá de la corrección funcional.
3. Perspectivas Empíricas: Experimentos extensos revelan que los agentes de vanguardia actuales luchan con la identificación de olores entre archivos y las modificaciones coordinadas. Los resultados resaltan que confiar únicamente en la corrección funcional enmascara deficiencias significativas en las capacidades de mantenibilidad de software.
4. Descontaminación y Pureza: Al generar nuevos casos en lugar de minar commits existentes, SmellBench evita la fuga de datos y asegura el aislamiento de las tareas de refactorización de otros cambios de código.

Los autores concluyen que, si bien los agentes de código han logrado avances notables, existe un margen sustancial de mejora en el razonamiento a nivel de repositorio y en la capacidad de manejar refactorizaciones estructurales complejas de múltiples archivos. SmellBench sirve como una herramienta de diagnóstico para guiar el desarrollo futuro de los agentes de código hacia una mejor mantenibilidad del software.