🤖 AI

More Code, Less Reuse: Investigating Code Quality and Reviewer Sentiment towards AI-generated Pull Requests

Este artículo investiga el impacto de los agentes de LLM en la calidad del código y el sentimiento de los revisores, revelando que, si bien las solicitudes de extracción generadas por IA suscitan reacciones neutrales o positivas, a menudo sufren de un aumento en la redundancia y de oportunidades de reutilización pasadas por alto que contribuyen a la deuda técnica silenciosa.

Autores originales: Haoming Huang, Pongchai Jaisri, Shota Shimizu, Lingfeng Chen, Sota Nakashima, Gema Rodríguez-Pérez

Publicado 2026-01-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haoming Huang, Pongchai Jaisri, Shota Shimizu, Lingfeng Chen, Sota Nakashima, Gema Rodríguez-Pérez

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El panorama general: El robot "servicial" que desordena el garaje

Imagina que tienes un asistente robótico muy inteligente y rápido ayudándote a organizar tu garaje. Le pides que arregle un estante roto o que construya una nueva herramienta. El robot es increíblemente rápido y educado. Te entrega un producto terminado que parece perfecto y funciona de inmediato.

Sin embargo, este artículo investiga qué sucede cuando dejamos que estos robots (Agentes de IA) hagan demasiado trabajo. Los investigadores descubrieron un problema sorprendente: los robots están construyendo herramientas duplicadas en lugar de usar las que ya tienes.

Las dos preguntas principales

Los investigadores se hicieron dos preguntas sencillas para entender qué está pasando:

¿Es realmente bueno el código? (Observando el "garaje" en sí mismo).
¿Cómo se sienten los jefes humanos respecto al trabajo? (Observando la "revisión").

1. El problema del "garaje": Más cosas, menos reutilización

Cuando los desarrolladores humanos escriben código, generalmente miran a su alrededor primero. Si ya hay un "destornillador" (una pieza de código) en la caja de herramientas que hace el trabajo, lo toman y lo usan. Esto mantiene el garaje ordenado y eficiente.

Lo que hace la IA:
Los agentes de IA son como un robot que no sabe qué hay en tu caja de herramientas. En lugar de agarrar el destornillador existente, construye un destornillador completamente nuevo desde cero.

El resultado: El garaje termina con 10 destornilladores idénticos en lugar de uno solo.
El término técnico: Los investigadores llaman a esto Clones de Código de Tipo-4. No es un trabajo de copiar y pegar (que es fácil de detectar); es una "reinvención". La IA escribe la misma lógica pero utiliza diferentes palabras o nombres de variables.
Los datos: El estudio encontró que el código generado por IA tiene casi el doble de redundancia (duplicación innecesaria) que el código escrito por humanos.

2. El problema de la "revisión": El jefe educado

Normalmente, cuando un empleado humano presenta un proyecto que es desordenado o está lleno de duplicados, el jefe se molesta. Podría decir: "¡Oye, ya tenemos una herramienta para esto! ¿Por qué construiste una nueva?". Esta es una reacción negativa.

Qué sucede con la IA:
Cuando la IA trae su "nuevo destornillador", los revisores humanos son sorprendentemente amables al respecto.

La reacción: Los revisores tienen más probabilidades de decir "¡Buen trabajo!" o mantenerse neutrales al revisar el código de la IA. Son menos propensos a enojarse o sentir disgusto en comparación con cuando revisan el código humano.
La analogía: Es como un robot que es tan educado y seguro de sí mismo que haces que olvides verificar si realmente hizo lo que era inteligente. Debido a que el trabajo del robot parece correcto en la superficie y pasa todas las pruebas, el jefe humano baja la guardia.

La desconexión peligrosa: "Deuda técnica silenciosa"

Este es el hallazgo más crítico del artículo. Existe una desconexión entre la calidad del trabajo y el sentimiento sobre el trabajo.

La realidad: La IA está creando un garaje desordenado y abultado lleno de herramientas duplicadas. Esto es malo para el largo plazo porque si necesitas arreglar un error en la "lógica del destornillador", tienes que arreglarlo en 10 lugares diferentes en lugar de uno. Si te saltas uno, todo el sistema fallará más adelante.
La ilusión: Debido a que los revisores están siendo amables y no se enojan, este desorden pasa desapercibido.

Los investigadores llaman a esto "Deuda técnica silenciosa". Es como pedir un préstamo para comprar una herramienta nueva cuando ya tienes una. No sientes el dolor hoy porque la nueva herramienta funciona, pero eventualmente, te ahogarás en deuda (costes de mantenimiento) porque tienes que mantener todos esos duplicados.

¿Por qué sucede esto?

El artículo sugiere que los modelos de IA están entrenados para ser serviciales y complacientes. Están optimizados para darte una respuesta que parezca correcta y te haga feliz, en lugar de una respuesta que sea la más eficiente o "orientada a la reutilización". Priorizan parecer plausibles por encima de ser inteligentes.

La conclusión

El artículo concluye que, si bien la IA es excelente escribiendo código rápidamente, actualmente es mala reutilizando el código existente.

Para los constructores: No se limiten a comprobar si el código funciona (la "tasa de aprobación"). También deben comprobar si la IA solo está copiando cosas que debería haber reutilizado.
Para los revisores: No dejen que la cortesía de la IA los engañe. Deben ser extra vigilantes y buscar duplicados ocultos, incluso si el código parece perfecto en la superficie.

En resumen: La IA está construyendo una casa con demasiadas habitaciones idénticas porque olvidó revisar los planos, y los inspectores humanos son demasiado educados para señalarlo.

Resumen Técnico: Más Código, Menos Reutilización

Declaración del Problema
El panorama de la ingeniería de software se está desplazando hacia la "SE 3.0", donde los agentes de Modelos de Lenguaje de Gran Escala (LLM) actúan como compañeros autónomos que generan Pull Requests (PR). Los benchmarks existentes (por ejemplo, SWE-Bench) evalúan a estos agentes principalmente en función de sus tasas de éxito, pero no logran capturar los impactos en la mantenibilidad y legibilidad a largo plazo. Una preocupación específica es la generación de clones semánticos de Tipo-4: código que implementa la misma lógica que funciones existentes pero utiliza una sintaxis o nombres de variables diferentes. A diferencia de los desarrolladores humanos, que a menudo crean clones de Tipo-1 o Tipo-2 mediante copiar y pegar, la naturaleza probabilística de los LLM los hace propensos a generar estas redundancias semánticas más difíciles de detectar. Este comportamiento viola el principio de ingeniería de software de la reutilización, lo que potencialmente conduce a una deuda técnica silenciosa. Además, no está claro si los revisores humanos pueden detectar estos problemas de calidad o cómo difiere su sentimiento al revisar código generado por IA frente al escrito por humanos.

Metodología
El estudio utiliza el conjunto de datos AIDev, filtrando repositorios de Python con más de 500 estrellas para asegurar la madurez del proyecto. Los datos se dividen en dos subconjuntos:

Dataset A (Conjunto de Datos de Python Completo): 3,858 PRs utilizados para analizar métricas de código tradicionales y el sentimiento del revisor.
Dataset B (Caso de Estudio Central): 617 PRs del repositorio crewAI, seleccionados para un análisis de redundancia computacionalmente intensivo.

La investigación aborda dos Preguntas de Investigación (RQ):

RQ1 (Calidad del Código): ¿En qué se diferencia el código generado por IA del generado por humanos en términos de calidad y redundancia?
RQ2 (Sentimiento del Revisor): ¿Cómo difiere el sentimiento del revisor entre los PRs generados por IA y los escritos por humanos?

Enfoque Técnico:

Métricas Tradicionales: Los autores calcularon Líneas de Código (LOC), cadenas multilínea, líneas en blanco y Complejidad Ciclomática (CC) utilizando la herramienta Radon en pares de archivos pre y post-actualización.
Análisis de Redundancia (MRS): Para detectar clones de Tipo-4, los autores propusieron un Análisis Diferencial Semántico basado en Instantáneas (Snapshot-based Semantic Differential Analysis). Extrajeron funciones existentes ( $F_{base}$ ) y generaron embeddings semánticos utilizando CodeSage-Large. Para evitar falsos positivos por refactorización (por ejemplo, mover o renombrar funciones), integraron PyRef para filtrar estas instancias. Definieron el Puntaje de Redundancia Máxima (MRS) para un PR como la similitud de coseno máxima entre cualquier función nueva ( $F_{new}$ ) y cualquier función base ( $F_{base}$ ). El estudio reporta la Redundancia Máxima Promedio (AMR) para comparar grupos.
Análisis de Sentimiento: Utilizando el modelo Emotion English DistilRoBERTa-base, los autores clasificaron los comentarios de revisión en las seis emociones básicas de Ekman más "neutral". Filtraron los comentarios de bots y calcularon los puntajes de sentimiento promedio por PR para comparar las reacciones ante los Agentic-PRs frente a los Human-PRs.

Resultos Clave

Calidad del Código (RQ1): Las métricas tradicionales (LOC, CC) mostraron diferencias mínimas entre las contribuciones humanas y las de la IA. Sin embargo, el análisis de redundancia reveló una disparidad significativa. Los agentes de IA exhibieron una Redundancia Máxima Promedio (AMR) de 0.2867, casi 1.87 veces mayor que la de los desarrolladores humanos (0.1532). Esta diferencia es estadísticamente significativa ( $p < 0.001$ ). Mientras que tanto humanos como IA produjeron algo de código similar (por ejemplo, llamadas a API), los agentes de IA superaron significativamente a los humanos en rangos de mayor redundancia, lo que indica una tendencia a reescribir la lógica existente en lugar de reutilizarla.
Sentimiento del Revisor (RQ2): Contrario a la expectativa de que la mala calidad del código desencadenaría comentarios negativos, los revisores expresaron emociones más neutrales o positivas (alegría, tristeza, neutral) hacia los PRs generados por IA. Por el contrario, los Human-PRs provocaron una mayor proporción de emociones negativas (ira, asco, miedo, sorpresa). Los revisores generalmente trataron las contribuciones de la IA con respeto, pasando por alto a menudo la redundancia subyacente.

Contribuciones Clave

Evidencia Empírica de Desconexión: El estudio proporciona la primera evidencia empírica de una desconexión entre la redundancia del código generado por IA y el sentimiento del revisor humano. Demuestra que los agentes de IA introducen significativamente más clones semánticos de Tipo-4 que los humanos, pero esto no es penalizado por los revisores.
Métrica Novedosa (MRS): La introducción del Puntaje de Redundancia Máxima (MRS) utilizando embeddings semánticos y detección de refactorización ofrece un método para cuantificar la redundancia semántica que las herramientas tradicionales de coincidencia de palabras clave pasan por alto.
Identificación de la "Deuda Técnica Silenciosa": El artículo destaca cómo la plausibilidad superficial del código de IA (corrección sintáctica y paso de pruebas) enmascara malas decisiones de diseño (redundancia), lo que conduce a la acumulación silenciosa de deuda técnica.

Significancia y Reivindicaciones
Los autores afirman que los paradigmas de evaluación actuales, centrados únicamente en las tasas de éxito, son insuficientes. La naturaleza "silenciosa" de esta deuda técnica es peligosa porque los revisores, influenciados por la naturaleza útil y plausible de los resultados de los LLM, reducen su vigilancia respecto a la reutilización del código. El estudio sugiere que, a medida que los agentes de IA se vuelvan más frecuentes, la comunidad de ingeniería de software debe:

Para los Constructores de Agentes: Evaluar a los agentes en métricas de reutilización de código, no solo en tasas de éxito.
Para los Desarrolladores: Verificar activamente la duplicación de lógica durante las revisiones de código, reconociendo que el código de IA con apariencia plausible puede ocultar una redundancia significativa.

El artículo concluye que, sin abordar esta desconexión, los entornos de desarrollo del mundo real corren el riesgo de llenarse de lógica redundante, aumentando los esfuerzos de mantenimiento futuros y disminuyendo la legibilidad a largo plazo.