💻 computer science

Do AI Agents Really Improve Code Readability?

Este estudio revela que, aunque los agentes de IA se centran principalmente en la complejidad lógica y la documentación al refactorizar código, sus cambios a menudo degradan métricas tradicionales de legibilidad como el índice de mantenibilidad y la complejidad ciclomática.

Autores originales: Kyogo Horikawa, Kosei Horikawa, Yutaro Kashiwa, Hidetake Uwano, Hajimu Iida

Publicado 2026-03-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kyogo Horikawa, Kosei Horikawa, Yutaro Kashiwa, Hidetake Uwano, Hajimu Iida

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¿Los "Mecánicos de IA" realmente arreglan el código o solo lo pintan de otro color?

Imagina que el código de un programa es como una casa antigua. Con el tiempo, las habitaciones se vuelven un laberinto, las paredes están llenas de grietas y los interruptores de la luz no tienen sentido. Para que la casa sea habitable (mantenible), necesitas un buen albañil que la reorganice.

Hoy en día, tenemos nuevos "albañiles": Agentes de Inteligencia Artificial. Son robots programados para leer el código y decir: "¡Aquí hay que arreglar esto para que sea más fácil de entender!".

Pero, ¿realmente hacen un buen trabajo? Un equipo de investigadores de Japón decidió poner a prueba a estos robots y descubrió algo muy curioso.

1. ¿Cuánto tiempo dedican a "limpiar la casa"?

Los investigadores revisaron millones de cambios de código hechos por robots. Resulta que los agentes de IA son como unos albañiles muy ocupados que rara vez se fijan en la limpieza.

De cada 1,000 cambios que hacen, solo 3 dicen explícitamente: "Voy a mejorar la legibilidad".
La mayoría de las veces, están arreglando cosas técnicas (como la velocidad) o simplemente añadiendo nuevas habitaciones, sin preocuparse por si la casa es fácil de navegar.

2. ¿Qué tipo de "reparaciones" hacen?

Cuando los robots deciden que sí van a arreglar la legibilidad, tienen un enfoque muy particular. Imagina que tienes un libro de instrucciones escrito en un idioma extraño y con párrafos gigantescos.

Lo que hacen los humanos: Suelen arreglar los detalles pequeños. Cambian los nombres de las habitaciones para que tengan sentido, ponen etiquetas claras en las puertas y ordenan los muebles.
Lo que hacen los robots: Se obsesionan con simplificar la lógica compleja (como si tomaran un laberinto de 100 vueltas y lo convirtieran en un túnel recto) y escriben más notas (documentación).
- Ejemplo: Si un humano vería que una luz está mal puesta y la cambia, el robot podría decidir reescribir todo el sistema eléctrico para que sea más "lógico", aunque al final la casa tenga más cables que antes.

3. La sorpresa: ¿Mejoraron la casa o la empeoraron?

Aquí es donde la historia se pone interesante. Esperaríamos que, al decir "voy a hacer esto más legible", la casa quedara mejor. Pero los datos mostraron lo contrario.

Los investigadores midieron la "salud" de la casa antes y después de que los robots trabajaran. Usaron reglas matemáticas para ver si la casa era más fácil de mantener.

El resultado: En más de la mitad de los casos (56%), la casa quedó peor.
La paradoja: Aunque los robots añadieron más notas explicativas y simplificaron algunas ideas, aumentaron el tamaño de la casa y la hicieron más compleja.
- Es como si un mecánico de coches decidiera arreglar un motor ruidoso añadiendo tres motores nuevos y un manual de 500 páginas. El coche podría funcionar, pero ahora es más pesado, más difícil de reparar y ocupa más espacio.

¿Por qué pasa esto?

Los agentes de IA son muy buenos siguiendo instrucciones literales. Si les dices "haz esto más legible", ellos piensan: "¡Ah! Voy a añadir más comentarios y voy a reescribir la lógica para que sea más 'inteligente'". Pero a menudo, confunden "más explicaciones" con "mejor código".

A veces, para hacer algo más "lógico", el robot añade tantas capas de seguridad o tantas variables nuevas que el código se vuelve un monstruo. Es como intentar ordenar un armario desordenado comprando más estanterías y cajas, en lugar de simplemente tirar la ropa que no sirve.

La lección para nosotros

La conclusión de este estudio es una llamada a la prudencia:

No confíes ciegamente en el robot: Si un agente de IA te dice "arreglé la legibilidad", no asumas que la casa quedó perfecta.
Revisa el trabajo: Los humanos deben actuar como los inspectores de calidad. Debemos mirar si el robot, al intentar arreglar algo, no ha creado un desastre mayor.
El futuro: Necesitamos entrenar a estos robots para que entiendan que "menos es más". Un buen código no es el que tiene más notas, sino el que es tan claro que no necesita notas.

En resumen: Los agentes de IA son herramientas poderosas, pero cuando intentan arreglar la "legibilidad" del código, a menudo terminan pintando la casa de un color brillante mientras le añaden más habitaciones que nadie necesita. La verdadera mejora requiere el ojo crítico de un humano.

A continuación presento un resumen técnico detallado del artículo "Do AI Agents Really Improve Code Readability?" (¿Mejoran realmente los Agentes de IA la legibilidad del código?), basado en el documento proporcionado.

1. Problema y Motivación

La legibilidad del código es un factor fundamental para la mantenibilidad y la sostenibilidad del software. Una baja legibilidad incrementa la deuda técnica, el tiempo de desarrollo y los riesgos de introducir errores.
Con el auge de los Modelos de Lenguaje Grandes (LLM), han surgido agentes de IA capaces de realizar refactorización automatizada mediante planificación y ejecución autónoma. Sin embargo, existe una brecha de conocimiento crítica:

La investigación previa ha analizado la refactorización por agentes de IA de manera general (optimización de rendimiento, estructura, seguridad), pero no se ha aislado específicamente su impacto en la legibilidad.
No está claro si los agentes de IA, cuando se les asigna la tarea de mejorar la legibilidad, logran realmente mejorar la calidad estructural del código o si, paradójicamente, la degradan.

2. Metodología

El estudio se basó en el análisis de datos minados de repositorios de código abierto, siguiendo un proceso riguroso de filtrado y métricas:

Fuente de Datos: Se utilizó el conjunto de datos AIDev, que contiene commits generados por cinco agentes de codificación en más de 61,000 repositorios. Se extrajeron un total de 1,382,314 commits de agentes.
Filtrado y Selección:
1. Se filtraron los commits que contenían palabras clave relacionadas con la legibilidad (ej. "readability", "clarity", "understandable").
2. Se filtró para incluir solo proyectos que modificaban archivos Python.
3. Se excluyeron commits de fusión (merge commits) y aquellos con errores de análisis.
4. Muestra final: 403 commits válidos para el análisis cuantitativo.
Enfoque de Investigación (RQs):
- RQ1 (Frecuencia): ¿Qué tan prevalentes son los commits relacionados con legibilidad?
- RQ2 (Tipos de Problemas): ¿Qué "olores" de legibilidad (smells) abordan los agentes? Se realizó una inspección manual de una muestra aleatoria (231 commits) comparada con categorías definidas por Oliveira et al. [23].
- RQ3 (Impacto en Métricas): ¿Cómo cambian las métricas de calidad antes y después del commit? Se utilizaron métricas cuantitativas calculadas con la librería Radon:
  - Índice de Mantenibilidad (MI).
  - Complejidad Ciclomática (CC).
  - Líneas de Código (LOC), Líneas Lógicas, Comentarios.
  - Métricas de Halstead (Volumen, Dificultad, Esfuerzo).
- Análisis Estadístico: Se aplicó la prueba de rangos con signo de Wilcoxon ( $p < 0.01$ ) y el tamaño del efecto (Delta de Cliff) para determinar la significancia de los cambios.

3. Contribuciones Clave y Resultados

A. Frecuencia de Enfoque en Legibilidad (RQ1)

Los agentes de IA raramente priorizan la legibilidad. Solo el 0.3% de todos los commits generados por agentes contenían palabras clave explícitas de legibilidad.
El término más común fue "readability" (50.1%), seguido de "clarity". Esto sugiere que la legibilidad es un objetivo secundario en el flujo de trabajo actual de los agentes.

B. Tipos de Problemas Abordados (RQ2)

Existe una divergencia significativa entre lo que hacen los humanos y los agentes:

Agentes de IA: Se centran desproporcionadamente en Lógica Compleja/Inadecuada (42.4%) y Documentación Incompleta (24.2%).
Desarrolladores Humanos (Línea base): Distribuyen sus esfuerzos de manera más equilibrada, prestando mucha atención a identificadores deficientes (20.3%) y formato (10.9%).
Conclusión: Los agentes tienden a resolver problemas de alto nivel (lógica, explicación) en lugar de ajustes superficiales (nomenclatura, formato), aunque a veces simplifican lógica compleja mediante abstracciones (ej. usar json.dumps en lugar de escapes manuales).

C. Impacto en la Calidad del Código (RQ3) - Hallazgo Contraintuitivo

Contrario a la expectativa de que la refactorización mejora el código, los resultados muestran una degradación frecuente de las métricas de calidad tradicionales:

Índice de Mantenibilidad (MI): Empeoró en el 56.1% de los commits (el valor medio disminuyó en -3.25).
Complejidad Ciclomática: Aumentó en el 42.7% de los casos.
Tamaño del Código: Las Líneas de Código (LOC) aumentaron en el 71.5% de los casos.
Interpretación: Aunque los agentes intentan mejorar la "comprensibilidad" (a menudo añadiendo comentarios o reestructurando lógica), estas acciones frecuentemente resultan en un código más voluminoso, más complejo y menos mantenible según las métricas estáticas estándar.

4. Significado e Implicaciones

El estudio revela una paradoja importante en el uso actual de agentes de IA para la ingeniería de software:

Falta de Comprensión Profunda: Los agentes actuales carecen de una comprensión robusta de qué constituye una mejora real de legibilidad. A menudo confunden "explicar mejor" con "hacer el código más complejo o largo".
Riesgo de Deuda Técnica: Aceptar automáticamente las sugerencias de refactorización de legibilidad de los agentes puede introducir deuda técnica, aumentando la complejidad cognitiva y reduciendo la mantenibilidad.
Necesidad de Validación Humana y Automatizada:
- Los desarrolladores deben revisar críticamente los cambios propuestos por IA, especialmente aquellos etiquetados como "mejoras de legibilidad".
- Se propone el desarrollo de agentes de verificación de calidad dedicados que monitoreen métricas como la complejidad de Halstead y el tamaño del código para rechazar refactorizaciones contraproducentes.
Futuro de la Investigación: Se requiere que los futuros agentes incorporen evaluaciones cualitativas y consideren la mantenibilidad a largo plazo, yendo más allá de la corrección funcional para priorizar la organización funcional del código.

En resumen, el artículo concluye que, en su estado actual, los agentes de IA no garantizan una mejora en la legibilidad estructural del código y, de hecho, a menudo la deterioran desde una perspectiva métrica, lo que subraya la necesidad de mecanismos de control de calidad más estrictos en el ciclo de desarrollo asistido por IA.