💻 computer science

From Prompting to Verification: How Experience Shapes Vibe Coding Practices

Este estudo com 162 usuários dos grupos não programadores, iniciantes e profissionais revela que, embora os níveis de experiência moldem de forma semelhante as percepções sobre a qualidade do código gerado por IA, eles divergem significativamente nas motivações e nas práticas de verificação, criando uma "lacuna entre percepção e ação" em que o acesso à criação de software é democratizado sem uma distribuição correspondente da expertise necessária para avaliá-lo.

Autores originais: Ahmed Fawzy, Amjed Tahir, Kelly Blincoe

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ahmed Fawzy, Amjed Tahir, Kelly Blincoe

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: "Vibe Coding"

Imagine que você quer construir uma cadeira de madeira.

Codificação Tradicional: Você é um carpinteiro. Você mede a madeira, corta as uniões, lixa as bordas e a monta você mesmo. Você sabe exatamente como cada parafuso se encaixa.
Vibe Coding: Você é um diretor. Você diz a um robô mágico: "Construa-me uma cadeira resistente", e o robô a constrói instantaneamente. Você não sabe como as uniões foram cortadas, mas senta-se nela. Se ela oscilar, você não conserta a madeira; apenas diz ao robô: "Torne-a mais resistente" e espera que ela se conserte sozinha.

Este artigo estuda pessoas que usam esse método de "Vibe Coding" (usando IA para escrever código por meio de linguagem natural) e pergunta: Importa se você é um carpinteiro profissional, um iniciante ou alguém que nunca segurou um martelo?

O Estudo: Três Grupos à Mesa

Os pesquisadores pesquisaram 162 pessoas e as dividiram em três grupos:

Não Desenvolvedores: Pessoas sem treinamento formal em codificação.
Iniciantes: Pessoas que fizeram um curso ou criaram pequenos projetos, mas ainda não são profissionais.
Profissionais: Engenheiros de software experientes que fazem isso para viver.

Eles fizeram quatro perguntas principais a esses grupos:

Por que você faz isso? (Motivação)
Como se sente? (Experiência)
Você confia no resultado? (Qualidade Percebida)
O que você faz quando algo quebra? (Garantia de Qualidade)

As Descobertas: O que é Igual, o que é Diferente?

1. A "Sensação" e a "Confiança" são as Mesmas (A Visão Compartilhada)

Surpreendentemente, todos os três grupos sentiram o mesmo em relação à experiência e à qualidade do trabalho da IA.

A Analogia: Imagine que todos à mesa estão comendo uma refeição cozinhada por um chef famoso. Os não codificadores, os estudantes e os profissionais concordam: "Esta comida é deliciosa e rápida, mas às vezes tem uma textura estranha, e você não a serviria em um casamento chique."
O Resultado: Todos sabem que o código da IA é ótimo para protótipos rápidos, mas pode ser "instável" ou "cheio de bugs" para trabalho sério. Todos sentem a mesma mistura de empolgação e cautela. A experiência não muda como eles veem a IA.

2. O "Porquê" e o "Como" são Diferentes (As Abordagens Diferentes)

Embora eles vejam a IA da mesma maneira, eles a usam de formas muito diferentes.

Não Desenvolvedores (Os Usuários da Varinha Mágica): Eles são motivados principalmente pelo acesso. Eles dizem: "Eu não conseguiria construir isso sem a IA". Eles tendem a deixar a IA fazer quase tudo com muito pouco input. É como entregar uma tela em branco ao robô e dizer: "Faça arte".
Iniciantes (Os Aprendizes): Eles são motivados pelo aprendizado. Eles usam a IA para experimentar e ver como as coisas funcionam. Eles são como estudantes assistindo a um chef mestre cozinhar, tentando entender a receita.
Profissionais (Os Maestros): Eles usam a IA para trabalho. Eles não dizem apenas "faça uma cadeira"; eles dão instruções detalhadas, contexto e restrições. Eles tratam a IA como um assistente júnior que precisam gerenciar cuidadosamente.

3. A Grande Lacuna: Quando as Coisas Dão Errado (A "Lacuna Percepção-Ação")

Esta é a descoberta mais importante. Embora todos saibam que a IA comete erros, apenas os especialistas sabem como corrigi-los.

A Analogia: Imagine que o robô constrói uma cadeira, mas uma perna está oscilando.
- O Não Desenvolvedor: Diz: "Oh não, está oscilando!" e imediatamente diz ao robô: "Faça a perna mais longa!". Eles continuam pedindo ao robô para consertar até que pareça oscilar, sem nunca olhar para a madeira eles mesmos.
- O Iniciante: Tenta consertar, mas fica confuso. Eles podem desistir ou continuar pedindo ajuda ao robô.
- O Profissional: Diz: "Oh não, está oscilando!". Eles pegam uma chave de fenda, olham para a união, encontram o parafuso solto e o apertam eles mesmos. Eles verificam o trabalho antes de sentar.

A Conclusão do Artigo: Existe uma "Lacuna Percepção-Ação".

Percepção: Todos sabem que a IA pode estar errada.
Ação: Apenas pessoas experientes têm as habilidades para verificar e depurar o código quando está errado.

A Metáfora da "Democracia Parcial"

Os autores chamam isso de "Democratização Parcial".

Democratizado: A IA reduziu a barreira para criar software. Qualquer pessoa agora pode construir uma "cadeira" digital.
Não Democratizado: A capacidade de inspecionar e garantir a qualidade dessa cadeira ainda está trancada atrás de uma porta que apenas pessoas experientes têm a chave.

Estamos dando a todos uma varinha mágica para criar, mas ainda não demos a todos o manual de instruções para saber se a criação é segura para uso.

O que as Pessoas Querem?

Quando perguntado o que os faria confiar mais na IA, todos (de não codificadores a profissionais) quiseram as mesmas coisas:

Confiabilidade: "Apenas garanta que funcione."
Transparência: "Diga-me por que você construiu assim."
Segurança: "Não me dê código que possa quebrar mais tarde."

Resumo

O artigo argumenta que, embora as ferramentas de IA tenham facilitado para qualquer um criar software, elas não facilitaram para qualquer um verificá-lo.

Iniciantes dependem da IA para corrigir seus próprios erros (re-prompting).
Especialistas verificam o trabalho eles mesmos (depuração).
Todos sabem que a IA não é perfeita, mas apenas os especialistas sabem como corrigi-la quando falha.

O risco não é que as pessoas não saibam que a IA comete erros; o risco é que muitas pessoas não têm as habilidades para corrigir esses erros quando eles acontecem.

Resumo Técnico: Do Prompting à Verificação: Como a Experiência Molda as Práticas de Vibe Coding

Declaração do Problema
Ferramentas de geração de código por IA, impulsionadas por Modelos de Linguagem de Grande Escala (LLMs), expandiram a criação de software além dos desenvolvedores profissionais para incluir não desenvolvedores e novatos. Essa mudança deu origem ao "vibe coding", uma prática na qual os usuários geram software por meio de prompts em linguagem natural, avaliam as saídas principalmente através da execução e iteram por meio de reprompting em vez de depuração sistemática. Embora pesquisas anteriores tenham examinado a programação assistida por IA dentro de grupos específicos (tipicamente profissionais ou estudantes) ou estudado não especialistas isoladamente, há uma falta de comparação sistemática entre níveis de experiência. Permanece incerto como motivações, estilos de interação, qualidade de código percebida e práticas de garantia de qualidade (QA) diferem entre não desenvolvedores, desenvolvedores novatos e desenvolvedores profissionais. Crucialmente, é desconhecido se a ampla conscientização sobre as limitações do código gerado por IA se traduz em ação corretiva eficaz em todos os níveis de experiência, ou se existe uma lacuna entre percepção e comportamento.

Metodologia
Os autores conduziram uma pesquisa quantitativa transversal com 162 participantes, distribuídos uniformemente entre três grupos de experiência: não desenvolvedores (sem treinamento formal, mas que utilizam ferramentas de IA), desenvolvedores novatos (experiência limitada através de tutoriais ou cursos) e desenvolvedores profissionais (experiência formal ou profissional em programação).

Instrumento: O questionário baseou-se em uma revisão prévia da literatura cinzenta que identificou quatro dimensões comportamentais do vibe coding: motivações, experiências, qualidade de código percebida e práticas de QA. Essas dimensões foram operacionalizadas como construtos de escala Likert (escala de 5 pontos) e complementadas com perguntas abertas.
Coleta de Dados: Os participantes foram recrutados via Prolific. A qualidade dos dados foi rigorosamente enforced através de filtragem de conclusão, verificações de plausibilidade cognitiva baseadas no tempo (excluindo respostas com menos de 4 minutos) e diagnósticos de padrão de resposta (detectando respostas em linha reta).
Análise: O estudo empregou métodos estatísticos não paramétricos adequados para dados ordinais Likert. Diferenças entre os três grupos independentes foram avaliadas usando o teste H de Kruskal–Wallis, com correção de Benjamini–Hochberg para comparações múltiplas e testes post-hoc de Dunn para comparações pareadas. Tamanhos de efeito foram calculados usando épsilon-quadrado ( $\varepsilon^2$ ). Além disso, regressão logística ordinal foi utilizada para determinar se as diferenças de QA eram impulsionadas pela pertença ao grupo de experiência ou por dimensões subjacentes de uso (por exemplo, horas de programação independente, duração da adoção).

Principais Resultados
O estudo revela que a experiência molda seletivamente as práticas de vibe coding, criando uma distinta "lacuna entre percepção e ação".

Percepções Compartilhadas (RQ2 e RQ3): Não houve diferenças estatisticamente significativas entre os níveis de experiência em relação às experiências subjetivas (por exemplo, fluxo, frustração, alucinações) ou percepções da qualidade do código. Todos os grupos reconheceram pontos fortes semelhantes (prototipagem rápida, estrutura limpa) e limitações (fragilidade, bugs ocultos, inadequação para produção). Isso indica uma conscientização geral amplamente compartilhada sobre os riscos e benefícios do código gerado por IA.
Motivações e Estilos Divergentes (RQ1 e Estilo de Interação):
- Motivações: Não desenvolvedores foram mais motivados pela acessibilidade e empoderamento (construir software que de outra forma não poderiam). Novatos foram impulsionados por aprendizado e experimentação. Profissionais foram mais orientados a objetivos, frequentemente usando vibe coding em contextos relacionados ao trabalho.
- Estilos de Interação: Não desenvolvedores exibiram maior dependência de "geração liderada por IA" (delegar a criação de código com intervenção mínima). Profissionais envolveram-se em mais "diálogo interativo" (prompting iterativo e refinamento) e forneceram "contexto mais rico".
Práticas de QA Divergentes (RQ4): A divergência mais significativa ocorreu nos comportamentos de verificação.
- Depuração vs. Reprompting: Não desenvolvedores confiaram significativamente mais em reprompting da IA para corrigir erros em vez de depuração manual. Eles também relataram níveis mais altos de "falha de QA" (desistir porque não conseguiam entender o código).
- Frequência de Verificação: Aproximadamente 45% dos profissionais relataram sempre verificar o código gerado por IA antes do uso, enquanto não desenvolvedores foram o único grupo a relatar "nunca" verificar o código.
- Achados de Regressão: A análise de regressão indicou que essas diferenças de QA não eram meramente uma função da categoria do grupo, mas eram impulsionadas pela prática acumulada de programação e exposição a ferramentas (especificamente, horas de programação independente não vibe coding).

Principais Contribuições

Caracterização Empírica do Vibe Coding: O estudo fornece a primeira comparação quantitativa sistemática das práticas de vibe coding entre não desenvolvedores, novatos e profissionais, indo além de evidências anedóticas ou estudos de grupo único.
Identificação da Lacuna entre Percepção e Ação: O artigo identifica um desacoplamento crítico onde a conscientização geral sobre os riscos do código de IA está distribuída entre todos os níveis de experiência, mas a capacidade de avaliar, depurar e verificar esses riscos permanece dependente da experiência.
Refinamento da "Democratização Parcial": Os autores argumentam que o vibe coding democratiza parcialmente a criação de software ao reduzir as barreiras para a produção, sem distribuir igualmente a expertise necessária para a avaliação. As barreiras deslocaram-se de escrever código para decompor problemas, especificar intenção e validar saídas.
Comportamento Impulsionado pelo Uso: O estudo demonstra que os comportamentos de QA são melhor previstos por dimensões específicas de experiência (prática de programação e exposição a ferramentas) do que apenas por rótulos categóricos amplos.

Significado e Alegações
O artigo alega que os riscos do vibe coding dependem não apenas das capacidades das ferramentas de IA, mas significativamente da capacidade do usuário de agir sobre sua conscientização das limitações dessas ferramentas. Os autores interpretam suas descobertas como evidência de uma lacuna entre percepção e ação: enquanto usuários de todo o espectro reconhecem que o código gerado por IA pode ser defeituoso, usuários menos experientes carecem das habilidades específicas para traduzir esse reconhecimento em verificação sistemática.

Consequentemente, os autores sugerem que:

Design de Ferramentas: Ferramentas de geração de código por IA devem fornecer suporte mais robusto para usuários menos experientes (por exemplo, exposição proativa de erros, suporte explicativo, sinalização de incerteza) enquanto permanecem não intrusivas para especialistas.
Educação: A avaliação de código gerado por IA deve ser tratada como uma habilidade distinta separada do prompting, exigindo instrução em testes, identificação de casos extremos e raciocínio sobre código.
Pesquisa Futura: A "lacuna entre percepção e ação" é apresentada como uma hipótese para futuros estudos comportamentais testarem, pois as descobertas atuais dependem de dados auto-relatados em vez de comportamento observado.

O artigo conclui que, à medida que o vibe coding amplia a participação na criação de software, garantir que a capacidade de avaliar o código produzido acompanhe a capacidade de produzi-lo é central para uma adoção segura e eficaz.