💻 computer science

Beyond Functional Correctness: Code Quality and Human–AI Interaction in a Quasi-Experimental Comparison of AI-Assisted Non-Programmers and Programmers without AI

Este estudio cuasiexperimental demuestra que los no programadores asistidos por IA produjeron código con puntuaciones de mantenibilidad y calidad estructural más altas que los programadores que trabajaron sin IA, surgiendo la calidad de la interacción humano-IA como un fuerte predictor de estos resultados.

Autores originales: Leonardo Martín Esnaola, Hugo Dionisio Ramón, Laura Cristina Lanzarini

Publicado 2026-07-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Leonardo Martín Esnaola, Hugo Dionisio Ramón, Laura Cristina Lanzarini

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El experimento de la "cocina"

Imagina una competencia de cocina con dos equipos tratando de preparar un plato específico basado en una tarjeta de receta.

Equipo A (Los novatos con IA): Estas personas nunca han cocinado antes. Sin embargo, tienen un subchef robótico superinteligente (una IA) con el que pueden hablar. Ellos le dicen al robot lo que quieren, y el robot les sugiere ingredientes y pasos.
Equipo B (Los chefs sin IA): Estas son personas que saben cocinar (algunos son principiantes, otros son expertos). Tienen que cocinar el plato por su cuenta, sin ayuda de ningún robot.

La forma antigua de juzgar:
En el pasado, los jueces solo miraban el plato final y preguntaban: "¿Sabe bien? ¿Pasó la prueba del sabor?". Si la comida era comestible, el equipo recibía un "aprobado". Si no, recibía un "reprobado".

La nueva forma de juzgar de este estudio:
Los investigadores en este artículo quisieron mirar más profundamente. Preguntaron: "Está bien, la comida puede saber aceptable, pero ¿está limpia la cocina? ¿Está la receta escrita con claridad? ¿Es la presentación profesional? ¿Está el plato construido para durar si necesitamos recalentarlo más tarde?".

Utilizaron una "Auditoría de Código" detallada (una lista de verificación de calidad) para calificar los platos no solo por su sabor, sino por qué tan bien estaban construidos.

El principal resultado sorprendente

Los investigadores encontraron algo contraintuitivo:

Los novatos con el robot de IA produjeron platos más "limpios" y "bien estructurados" que los chefs trabajando solos.

El Resultado: Los principiantes asistidos por IA obtuvieron puntuaciones más altas en la lista de verificación de calidad que los cocineros experimentados trabajando sin ayuda.
La Analogía: Piensa en esto como construir una casa. Los constructores experimentados (Equipo B) podrían haber construido una casa que se mantiene en pie y tiene techo (pasa la prueba), pero podrían haber dejado el cableado desordenado, la pintura desigual y las instrucciones faltantes porque tenían prisa.
Los principiantes con la IA (Equipo A) usaron al robot para construir una casa donde los cables estaban perfectamente recogidos, la pintura era perfectamente lisa y las instrucciones estaban claramente escritas. El robot forzó un cierto nivel de "orden" y estructura que los humanos, trabajando bajo presión de tiempo, pasaron por alto.

Nota importante: El artículo no dice que los principiantes sean mejores cocineros que los chefs. Dice que la herramienta de IA actuó como un "elevador del estándar mínimo". Elevó el nivel mínimo de cómo se veía y organizaba el código, asegurando que siguiera las reglas de una buena estructura, incluso si el humano no comprendía totalmente la ingeniería profunda detrás de ello.

El ingrediente secreto: Cómo le hablas al robot

Para los principiantes que usaban la IA, los investigadores analizaron sus registros de chat. Querían ver si la forma en que los humanos pedían ayuda importaba.

Crearon una "Tarjeta de Calificación de Conversación" para calificar qué tan bien los humanos pedían ayuda.

Puntuación Baja: "Hazme un programa". (Vago, desordenado).
Puntuación Alta: "Necesito un programa que tome una lista de gastos, calcule el total y me diga quién debe a quién. Aquí hay un ejemplo de la entrada y la salida esperada". (Claro, estructurado, específico).

El Hallazgo:
Hubo un vínculo fuerte entre qué tan claramente una persona pedía ayuda al robot y qué tan alta era la calidad del código final.

Analogía: Si le pides direcciones a un GPS diciendo "Ve a un lugar agradable", podrías perderte. Si dices "Llévame a la biblioteca, evitando las autopistas", obtienes una ruta perfecta. El estudio encontró que las personas que daban instrucciones claras y estructuradas al "GPS" obtenían mejores resultados.

Sin embargo, hablar más (tener una conversación más larga) no significaba necesariamente mejores resultados. A veces, una conversación larga solo significaba que la persona estaba teniendo dificultades para saber qué preguntar.

La "Prueba del Sabor" vs. La "Inspección de la Cocina"

Aquí está el giro más interesante de la historia:

Pasar la prueba (Sabor): Los principiantes asistidos por IA tuvieron la misma probabilidad de pasar la "prueba del sabor" básica (corrección funcional) que los chefs humanos.
La Inspección (Calidad): Pero cuando los inspectores miraron la calidad interna (la estructura del código), los principiantes asistidos por IA ganaron.

¿Por qué?
La IA es muy buena siguiendo reglas. Naturalmente escribe código que parece profesional, usa buenos nombres para las variables y separa las tareas de forma ordenada. Los chefs humanos, trabajando solos y bajo presión de tiempo, a menudo tomaban atajos para simplemente terminar el trabajo. Se enfocaron en "hacer que funcione" en lugar de "hacer que se vea bien".

La IA no necesariamente hizo el código más inteligente o creativo; simplemente lo hizo más limpio y organizado por defecto.

Resumen de las Conclusiones

La IA es un "Potenciador de Estructura": Para las personas que no saben programar, la IA actúa como un andamio. Les ayuda a construir algo que parece profesional y sigue las reglas de un buen diseño, incluso si no comprenden totalmente el plano.
La Claridad es el Rey: La calidad del código depende en gran medida de qué tan bien pueda el humano explicar su problema a la IA. Si puedes describir claramente las reglas y el objetivo, la IA construye un mejor producto.
No confundas "Hablar mucho" con "Trabajar bien": El hecho de que alguien haya chateado con la IA durante mucho tiempo no significa que haya hecho un buen trabajo. A menudo, solo significa que estaba teniendo problemas.
La Trampa del "Aprobado/Reprobado": Juzgar el código solo por si funciona (pasa la prueba) ignora el panorama completo. El código puede funcionar pero ser desordenado y difícil de arreglar después. Este estudio muestra que la IA puede ayudar a solucionar ese desorden, incluso para principiantes.

Lo que el estudio NO dice:

No dice que la IA sea perfecta. El código aún necesita la revisión humana.
No dice que los principiantes sean ahora mejores programadores que los expertos. Solo produjeron un producto "más limpio" en este experimento específico de corto plazo.
No afirma que esto funcionará para cada tipo de proyecto de software complejo, solo para los desafíos específicos probados en este estudio.

En resumen: La IA ayuda a los principiantes a construir código más ordenado y organizado, pero el humano todavía necesita saber cómo hacer las preguntas correctas.

Resumen Técnico: Más allá de la corrección funcional en la programación asistida por IA

Planteamiento del problema

La evaluación de los Modelos de Lenguaje de Gran Escala (LLM) en la ingeniería de software se ha basado históricamente en métricas de corrección funcional, como el porcentaje de soluciones que pasan una suite de pruebas predefinida (por ejemplo, pass@k). Si bien este enfoque facilita las comparaciones reproducibles de modelos, es insuficiente en contextos de ingeniería de software donde los atributos de calidad interna —mantenibilidad, robustidad, seguridad y diseño arquitectónico— son críticos. Además, la emergencia de interfaces de lenguaje natural ha desdibujado la línea entre programadores profesionales y no programadores, planteando interrogantes sobre la calidad de los artefactos producidos por no expertos asistidos por IA en comparación con los producidos por programadores que trabajan sin IA.

Un trabajo previo de los autores estableció que los no programadores asistidos por IA (NP-AI) podían alcanzar tasas de éxito funcional y tiempos de solución comparables, o incluso mejores, que los programadores sin IA (P-noAI). Sin embargo, ese estudio no analizó la calidad interna del código más allá de los resultados de paso/fallo, ni examinó la calidad del proceso de interacción humano-IA. Este artículo aborda estas brechas realizando un análisis secundario y exploratorio del mismo conjunto de datos cuasi-experimental para determinar:

Si el NP-AI produce código con una mayor calidad interna que el P-noAI cuando se evalúa más allá de la corrección funcional.
Cómo la calidad de la interacción humano-IA (ingeniería de prompts) se correlaciona con la calidad del código y el éxito dentro del grupo NP-AI.
Cómo las métricas de código estático se relacionan con las diferencias de grupo y la calidad basada en auditoría.

Metodología

El estudio es un análisis secundario de un cuasi-experimento de grupos no equivalentes que involucró a 52 participantes: 26 no programadores asistidos por un LLM (NP-AI) y 26 programadores (novatos y expertos) trabajando sin IA (P-noAI). Los participantes resolvieron uno de tres desafíos de Python (CB, CI, CA) que representan baja, media y alta complejidad.

Nuevos instrumentos de medición

Los autores introdujeron dos instrumentos primarios aplicados post-hoc a los artefactos archivados (código fuente y transcripciones de ChatGPT):

Rúbrica de Auditoría de Código Fuente (0–12 puntos): Un protocolo de evaluación híbrido que evalúa la calidad interna del código.
- Criterios Calificados por Expertos (AQ1–AQ5): Tres expertos ciegos calificaron cinco criterios (0–2 cada uno) basados en semántica/nomenclatura, arquitectura/modularidad, adecuación de estructuras de datos, robustez/manejo de excepciones y separación de responsabilidades. Las puntuaciones se consolidaron utilizando la mediana.
- Criterio Automatizado (AQ6): Un criterio de análisis estático (0–2) computado mediante Flake8, que mide la densidad de incidentes (violaciones por cada 100 líneas de código).
- Fiabilidad: La fiabilidad inter-evaluador para los criterios de expertos fue alta (ICC(A,3) = 0.938).
Rúbrica de Interacción Humano-IA (0–16 puntos): Aplicada exclusivamente a las transcripciones de NP-AI para cuantificar la calidad de la interacción como una forma de especificación de requisitos de alto nivel.
- Criterios (IQ1–IQ7): Siete criterios evaluaron la claridad de los objetivos, la estructura de la comunicación, el uso de casos de prueba y la declaración explícita de entradas, salidas, reglas de negocio y operaciones.
- Fiabilidad: La fiabilidad inter-evaluador fue alta (ICC(A,3) = 0.9438).
Métricas de Código Estático: Extracción automatizada de Líneas de Código (LOC), líneas de comentarios, recuento de funciones y recuento de clases.

Análisis Estadístico

El análisis empleó pruebas no paramétricas (Mann–Whitney U) para comparaciones de grupos, estimación de tamaño del efecto (Cliff's $\delta$ , Hedges $g$ ) y modelos de regresión (OLS, logística) ajustados por la complejidad del desafío. Se realizaron análisis de sensibilidad, incluyendo la restricción de la muestra a entregas totalmente correctas (3/3 pruebas pasadas) y la exclusión del criterio automatizado (AQ6) para aislar el juicio experto.

Contribuciones Clave

El artículo realiza tres contribuciones principales:

C1: Instrumento Reutilizable de Auditoría de Código Fuente: Un protocolo híbrido que combina la calificación de expertos y el análisis estático automatizado para evaluar la mantenibilidad, la robustez y el diseño arquitectónico más allá de la corrección funcional.
C2: Instrumento Reutilizable de Calidad de Interacción: Una rúbrica de 16 puntos que operacionaliza la interacción humano-IA como una habilidad de especificación, capturando aspectos de la ingeniería de prompts como la claridad de objetivos y el uso de casos de prueba.
C3: Evidencia Exploratoria: Evidencia cuantitativa que vincula la calidad de la interacción con la calidad del artefacto y compara el rendimiento de NP-AI y P-noAI a través de las complejidades de las tareas utilizando estas nuevas métricas.

Resultados

RQ1: ¿Es la calidad del programa basada en auditoría mayor en NP-AI que en P-noAI?

General: El NP-AI logró puntuaciones de auditoría de código fuente significativamente más altas que el P-noAI (Media: 9.12 vs. 6.62; $p = 0.0005$ , Cliff's $\delta = 0.56$ ).
Complejidad: La separación fue más fuerte en el desafío de alta complejidad (CA), donde el NP-AI obtuvo puntuaciones significativamente más altas ( $p = 0.0050$ , $\delta = 0.77$ ).
Control de Corrección Funcional: Incluso al restringir el análisis solo a las entregas totalmente correctas (3/3 pruebas pasadas), el NP-AI mantuvo una puntuación de auditoría más alta ( $p = 0.0431$ ).
Robustez: El resultado se mantuvo incluso al excluir el criterio automatizado basado en lint (AQ6), dependiendo únicamente de la calificación de expertos (AQ1–AQ5), aunque la significancia se redujo ligeramente en el subconjunto de entregas totalmente correctas.

RQ2: Dentro de NP-AI, ¿cómo se asocia la calidad de la interacción con los resultados?

Interacción vs. Calidad de Código: Existe una fuerte asociación positiva entre las puntuaciones de calidad de interacción y las puntuaciones de auditoría de código fuente (Pearson $r = 0.859$ , $p < 0.001$ ). Esta relación se mantuvo significativa tras controlar la complejidad del desafío.
Interacción vs. Éxito: La calidad de la interacción mostró una asociación débil y no significativa con el éxito binario (pasar todas las pruebas).
Volumen vs. Resultados: El volumen de interacción (número de turnos) se correlacionó fuertemente con el tiempo de solución, pero mostró una tendencia negativa (no significativa) con el éxito, lo que sugiere que las sesiones más largas suelen reflejar una lucha iterativa en lugar de una especificación efectiva.

RQ3: ¿Cómo se relacionan las métricas de código estático con el grupo y la calidad?

Estructura vs. Tamaño: Mientras que el LOC total fue similar entre los grupos, las soluciones de NP-AI contenían significativamente más comentarios (Mediana: 5 vs. 0; $p = 0.00095$ ).
Correlación con la Calidad: Las métricas estáticas relacionadas con la descomposición estructural (recuento de funciones, recuento de clases) mostraron fuertes correlaciones positivas con la puntuación de auditoría, mientras que el LOC bruto mostró una correlación moderada. Esto sugiere que la rúbrica de auditoría es sensible a la modularidad y organización más que al simple volumen de código.

Significado y Reivindicaciones

Los autores interpretan estos hallazgos con cautela, evitando afirmaciones de superioridad causal. El artículo postula que, bajo condiciones controladas, la asistencia de la IA puede "elevar el suelo" de la calidad estructural para los no programadores. Las puntuaciones de auditoría más altas para NP-AI se atribuyen al andamiaje proporcionado por los LLM, que por defecto recurren a heurísticas de mantenibilidad convencionales (por ejemplo, funciones auxiliares con nombre, separación de preocupaciones, formato tipo PEP8) que los programadores humanos sin IA podrían despriorizar bajo presión de tiempo en favor de implementaciones funcionales mínimas.

El fuerte vínculo entre la calidad de la interacción y la calidad del código sugiere que la ingeniería de prompts actúa como una forma de especificación de requisitos. Cuando los no programadores articulan explícamente los objetivos, las restricciones y los casos de prueba, el código resultante exhibe una mejor estructura interna. Sin embargo, el débil vínculo entre la calidad de la interacción y el éxito funcional resalta una brecha de "última milla": las especificaciones bien estructuradas no garantizan que las restricciones de comportamiento sutiles o los casos de borde se implementen correctamente sin una verificación rigurosa.

El estudio concluye que la evaluación de la programación asistida por IA requiere ir más allá de las métricas de paso/fallo para incluir la calidad interna y las medidas del proceso de interacción. Las rúbricas proporcionadas y el paquete de replicación se ofrecen como instrumentos reutilizables para futuros estudios controlados que investiguen más a fondo estas dinámicas.