💻 computer science

From Prompting to Verification: How Experience Shapes Vibe Coding Practices

Este estudio de 162 usuarios de los grupos no programadores, novatos y profesionales revela que, si bien los niveles de experiencia moldean de manera similar las percepciones sobre la calidad del código generado por IA, divergen significativamente en sus motivaciones y prácticas de verificación, creando una "brecha entre percepción y acción" en la que el acceso a la creación de software se democratiza sin una distribución correspondiente de la experiencia necesaria para evaluarlo.

Autores originales: Ahmed Fawzy, Amjed Tahir, Kelly Blincoe

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ahmed Fawzy, Amjed Tahir, Kelly Blincoe

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: "Programación por Sensaciones" (Vibe Coding)

Imagina que quieres construir una silla de madera.

Programación Tradicional: Eres un carpintero. Mides la madera, cortas las uniones, lijas los bordes y la ensamblas tú mismo. Sabes exactamente cómo encaja cada tornillo.
Programación por Sensaciones: Eres un director. Le dices a un robot mágico: "Constrúyeme una silla resistente", y el robot construye una al instante. No sabes cómo se cortaron las uniones, pero te sientas en ella. Si se tambalea, no arreglas la madera; simplemente le dices al robot: "Hazla más resistente", y esperas que se arregle sola.

Este artículo estudia a personas que utilizan este método de "Programación por Sensaciones" (usar IA para escribir código mediante lenguaje natural) y pregunta: ¿Importa si eres un carpintero profesional, un principiante o alguien que nunca ha sostenido un martillo?

El Estudio: Tres Grupos en la Mesa

Los investigadores encuestaron a 162 personas y las dividieron en tres grupos:

No Desarrolladores: Personas sin formación formal en programación.
Principiantes: Personas que han tomado un curso o realizado pequeños proyectos, pero aún no son profesionales.
Profesionales: Ingenieros de software experimentados que hacen esto para ganarse la vida.

Les hicieron a estos grupos cuatro preguntas principales:

¿Por qué lo haces? (Motivación)
¿Cómo se siente? (Experiencia)
¿Confías en el resultado? (Calidad Percibida)
¿Qué haces cuando se rompe? (Garantía de Calidad)

Los Hallazgos: ¿Qué es Igual, Qué es Diferente?

1. La "Sensación" y la "Confianza" son las Mismas (La Visión Compartida)

Sorprendentemente, los tres grupos se sintieron igual respecto a la experiencia y a la calidad del trabajo de la IA.

La Analogía: Imagina que todos en la mesa están comiendo una comida cocinada por un chef famoso. Los no programadores, los estudiantes y los profesionales coinciden todos: "Esta comida es deliciosa y rápida, pero a veces tiene una textura extraña, y no la servirías en una boda elegante".
El Resultado: Todos saben que el código de la IA es genial para prototipos rápidos, pero puede ser "inestable" o "con errores" para trabajo serio. Todos sienten la misma mezcla de emoción y cautela. La experiencia no cambia cómo ven la IA.

2. El "Por Qué" y el "Cómo" son Diferentes (Los Enfoques Distintos)

Aunque ven la IA de la misma manera, la usan de forma muy diferente.

No Desarrolladores (Los Usuarios de la Varita Mágica): Están motivados principalmente por el acceso. Dicen: "No podría construir esto sin la IA". Tienden a dejar que la IA haga casi todo con muy poca entrada. Es como entregar un lienzo en blanco al robot y decir: "Haz arte".
Principiantes (Los Aprendices): Están motivados por el aprendizaje. Usan la IA para experimentar y ver cómo funcionan las cosas. Son como estudiantes que observan a un chef maestro cocinar, intentando entender la receta.
Profesionales (Los Directores de Orquesta): Usan la IA para el trabajo. No solo dicen "haz una silla"; dan instrucciones detalladas, contexto y restricciones. Tratan a la IA como un asistente junior que necesitan gestionar cuidadosamente.

3. La Gran Brecha: Cuando las Cosas Salen Mal (La "Brecha de Percepción-Acción")

Este es el hallazgo más importante. Aunque todos saben que la IA comete errores, solo los expertos saben cómo arreglarlos.

La Analogía: Imagina que el robot construye una silla, pero una pata está tambaleándose.
- El No Desarrollador: Dice: "¡Oh no, se tambalea!" e inmediatamente le dice al robot: "¡Haz la pata más larga!". Sigue pidiendo al robot que lo arregle hasta que deje de tambalearse, sin mirar la madera ellos mismos.
- El Principiante: Intenta arreglarlo pero se confunde. Podría rendirse o seguir pidiendo ayuda al robot.
- El Profesional: Dice: "¡Oh no, se tambalea!". Agarra una llave inglesa, mira la unión, encuentra el tornillo suelto y lo aprieta él mismo. Verifica el trabajo antes de sentarse.

La Conclusión del Artículo: Existe una "Brecha de Percepción-Acción".

Percepción: Todos saben que la IA puede estar equivocada.
Acción: Solo las personas experimentadas tienen las habilidades para verificar y depurar el código cuando está equivocado.

La Metáfora de la "Democracia Parcial"

Los autores llaman a esto "Democratización Parcial".

Democratizado: La IA ha reducido la barrera para crear software. Cualquiera puede ahora construir una "silla" digital.
No Democratizado: La capacidad de inspeccionar y garantizar la calidad de esa silla sigue bloqueada tras una puerta a la que solo las personas experimentadas tienen la llave.

Estamos dando a todos una varita mágica para crear, pero aún no hemos dado a todos el manual de instrucciones para saber si la creación es segura de usar.

¿Qué Quieren las Personas?

Cuando se les preguntó qué les haría confiar más en la IA, todos (desde no programadores hasta profesionales) querían las mismas cosas:

Fiabilidad: "Solo asegúrate de que funcione".
Transparencia: "Dime por qué lo construiste de esta manera".
Seguridad: "No me des código que pueda romperse más tarde".

Resumen

El artículo argumenta que, si bien las herramientas de IA han hecho que sea fácil para cualquiera crear software, no han hecho que sea fácil para cualquiera verificarlo.

Los Principiantes confían en que la IA arregle sus propios errores (volver a dar indicaciones).
Los Expertos verifican el trabajo ellos mismos (depuración).
Todos saben que la IA no es perfecta, pero solo los expertos saben cómo arreglarla cuando falla.

El riesgo no es que la gente no sepa que la IA comete errores; el riesgo es que muchas personas no tienen las habilidades para arreglar esos errores cuando ocurren.

Resumen Técnico: Desde la Prompting hasta la Verificación: Cómo la Experiencia Moldea las Prácticas de Vibe Coding

Enunciado del Problema
Las herramientas de generación de código con IA, impulsadas por Modelos de Lenguaje a Gran Escala (LLM), han expandido la creación de software más allá de los desarrolladores profesionales para incluir a no desarrolladores y novatos. Este cambio ha dado lugar al "vibe coding", una práctica en la que los usuarios generan software mediante prompts en lenguaje natural, evalúan los resultados principalmente a través de la ejecución e iteran mediante nuevos prompts en lugar de la depuración sistemática. Si bien investigaciones previas han examinado la programación asistida por IA dentro de grupos específicos (típicamente profesionales o estudiantes) o han estudiado a no expertos de forma aislada, existe una falta de comparación sistemática entre niveles de experiencia. Sigue sin estar claro cómo difieren las motivaciones, los estilos de interacción, la calidad percibida del código y las prácticas de aseguramiento de calidad (QA) entre no desarrolladores, desarrolladores novatos y desarrolladores profesionales. Crucialmente, se desconoce si la amplia conciencia de las limitaciones del código generado por IA se traduce en acciones correctivas efectivas en todos los niveles de experiencia, o si existe una brecha entre la percepción y el comportamiento.

Metodología
Los autores realizaron una encuesta transversal cuantitativa a 162 participantes, distribuidos uniformemente en tres grupos de experiencia: no desarrolladores (sin formación formal pero que utilizan herramientas de IA), desarrolladores novatos (experiencia limitada a través de tutoriales o cursos) y desarrolladores profesionales (experiencia formal o profesional en programación).

Instrumento: El cuestionario se basó en una revisión previa de literatura gris que identificó cuatro dimensiones conductuales del vibe coding: motivaciones, experiencias, calidad percibida del código y prácticas de QA. Estas dimensiones se operacionalizaron como constructos de escala Likert (escala de 5 puntos) y se complementaron con preguntas abiertas.
Recopilación de Datos: Los participantes fueron reclutados a través de Prolific. La calidad de los datos se aplicó rigurosamente mediante filtrado de finalización, verificaciones de plausibilidad cognitiva basadas en el tiempo (excluyendo respuestas de menos de 4 minutos) y diagnósticos de patrones de respuesta (detección de respuestas en línea recta).
Análisis: El estudio empleó métodos estadísticos no paramétricos adecuados para datos ordinales de tipo Likert. Las diferencias entre los tres grupos independientes se evaluaron utilizando la prueba H de Kruskal-Wallis, con corrección de Benjamini-Hochberg para comparaciones múltiples y pruebas post-hoc de Dunn para comparaciones por pares. Los tamaños del efecto se calcularon utilizando épsilon al cuadrado ( $\varepsilon^2$ ). Además, se utilizó una regresión logística ordinal para determinar si las diferencias en QA eran impulsadas por la pertenencia al grupo de experiencia o por dimensiones subyacentes de uso (por ejemplo, horas de programación independiente, duración de la adopción).

Resultados Clave
El estudio revela que la experiencia moldea selectivamente las prácticas de vibe coding, creando una distinta "brecha percepción-acción".

Percepciones Compartidas (RQ2 y RQ3): No hubo diferencias estadísticamente significativas entre los niveles de experiencia en cuanto a experiencias subjetivas (por ejemplo, flujo, frustración, alucinaciones) o percepciones de la calidad del código. Todos los grupos reconocieron fortalezas similares (prototipado rápido, estructura limpia) y limitaciones (fragilidad, errores ocultos, inadecuación para producción). Esto indica una conciencia general ampliamente compartida de los riesgos y beneficios del código generado por IA.
Motivaciones y Estilos Divergentes (RQ1 y Estilo de Interacción):
- Motivaciones: Los no desarrolladores estaban más motivados por la accesibilidad y el empoderamiento (construir software que de otro modo no podrían). Los novatos estaban impulsados por el aprendizaje y la experimentación. Los profesionales eran más orientados a objetivos, utilizando a menudo el vibe coding en contextos relacionados con el trabajo.
- Estilos de Interacción: Los no desarrolladores mostraron una mayor dependencia de la "generación liderada por IA" (delegar la creación de código con mínima intervención). Los profesionales participaron en más "diálogo interactivo" (prompts iterativos y refinamiento) y proporcionaron "contexto más rico".
Prácticas de QA Divergentes (RQ4): La divergencia más significativa ocurrió en los comportamientos de verificación.
- Depuración vs. Nuevos Prompts: Los no desarrolladores dependieron significativamente más de volver a promptear a la IA para corregir errores en lugar de la depuración manual. También reportaron niveles más altos de "fallo de QA" (rendirse porque no podían entender el código).
- Frecuencia de Verificación: Aproximadamente el 45% de los profesionales reportó siempre verificar el código generado por IA antes de usarlo, mientras que los no desarrolladores fueron el único grupo que reportó "nunca" verificar el código.
- Hallazgos de Regresión: El análisis de regresión indicó que estas diferencias en QA no eran meramente una función de la categoría del grupo, sino que estaban impulsadas por la práctica acumulada de programación y la exposición a herramientas (específicamente, horas de programación independiente no basada en vibe coding).

Contribuciones Clave

Caracterización Empírica del Vibe Coding: El estudio proporciona la primera comparación cuantitativa sistemática de las prácticas de vibe coding entre no desarrolladores, novatos y profesionales, superando la evidencia anecdótica o los estudios de un solo grupo.
Identificación de la Brecha Percepción-Acción: El documento identifica una desacoplamiento crítico donde la conciencia general de los riesgos del código generado por IA está distribuida en todos los niveles de experiencia, pero la capacidad de evaluar, depurar y verificar esos riesgos sigue dependiendo de la experiencia.
Refinamiento de la "Democratización Parcial": Los autores argumentan que el vibe coding democratiza parcialmente la creación de software al reducir las barreras para la producción sin distribuir equitativamente la experiencia requerida para la evaluación. Las barreras han cambiado de escribir código a descomponer problemas, especificar intenciones y validar resultados.
Comportamiento Impulsado por el Uso: El estudio demuestra que los comportamientos de QA se predicen mejor mediante dimensiones específicas de experiencia (práctica de programación y exposición a herramientas) que por etiquetas categóricas amplias por sí solas.

Significado y Afirmaciones
El documento afirma que los riesgos del vibe coding dependen no solo de las capacidades de las herramientas de IA, sino significativamente de la capacidad del usuario para actuar sobre su conciencia de las limitaciones de dichas herramientas. Los autores interpretan sus hallazgos como evidencia de una brecha percepción-acción: mientras que los usuarios de todo el espectro reconocen que el código generado por IA puede ser defectuoso, los usuarios con menos experiencia carecen de las habilidades específicas para traducir ese reconocimiento en una verificación sistemática.

En consecuencia, los autores sugieren que:

Diseño de Herramientas: Las herramientas de generación de código con IA deberían proporcionar un andamiaje más fuerte para usuarios menos experimentados (por ejemplo, detección proactiva de errores, soporte explicativo, señalización de incertidumbre) mientras permanecen discretas para los expertos.
Educación: La evaluación del código generado por IA debe tratarse como una habilidad distinta separada de la prompting, requiriendo instrucción en pruebas, identificación de casos límite y razonamiento de código.
Investigación Futura: La "brecha percepción-acción" se presenta como una hipótesis para futuros estudios conductuales que la pongan a prueba, ya que los hallazgos actuales se basan en datos autoinformados en lugar de comportamiento observado.

El documento concluye que, a medida que el vibe coding amplía la participación en la creación de software, asegurar que la capacidad de evaluar el código producido mantenga el ritmo con la capacidad de producirlo es fundamental para una adopción segura y efectiva.