Teaching Prompt-Based Programming with LLMs: A 45-Minute Lesson with Guided Practice for End-User Programmers

Resumo Técnico: O Ensino de Programação Baseada em Prompts com LLMs

Definição do Problema
A emergência dos Modelos de Linguagem de Grande Escala (LLMs) introduziu a "programação baseada em prompts", uma modalidade na qual os usuários expressam objetivos computacionais em linguagem natural em vez de escrever código tradicional. Embora isso reduza as barreiras de entrada para programadores usuários finais (não graduados em Ciência da Computação ou aqueles que utilizam o código como um meio para um fim), não elimina a necessidade de habilidades fundamentais de pensamento computacional. Pesquisas indicam que os aprendizes, particularmente os novatos, têm dificuldade em comunicar intenções de forma clara aos LLMs, frequentemente produzindo prompts vagos ou subespecificados, carecendo de estratégias de depuração e confundindo vocabulário técnico com termos coloquiais. Existe uma lacuna crítica na compreensão de como integrar a instrução explícita sobre prompting em currículos existentes e com tempo limitado. Especificamente, não está claro quanto tempo de instrução é necessário para produzir ganhos significativos na habilidade de prompting e na autoeficácia.

Metodologia
Os autores conduziram um estudo controlado randomizado (RCT) com 55 estudantes do primeiro ano de engenharia de uma universidade. O estudo comparou uma intervenção experimental de 45 minutos contra uma condição de controle "business-as-usual" de igual duração.

• Condição Experimental: Uma aula de 45 minutos sobre programação baseada em prompts combinada com prática guiada. A aula utilizou uma abordagem de "design reverso" (backward design), focando em cinco objetivos de aprendizagem derivados do framework "Gulf of Envisioning": especificar a estrutura da função, descrever a transformação de dados (mapeamento, filtragem, redução), expressar lógica condicional, lidar com casos de borda e depurar prompts falhos. Os alunos foram ensinados a utilizar um template de prompt reutilizável e praticaram em três problemas Promptly (tarefas que exigem que os aprendizes infiram o comportamento da função a partir de pares de entrada/saída e instruam um LLM para resolvê-los).
• Condição de Controle: Uma aula de 45 minutos sobre rastreamento de código (uma atividade padrão de laboratório de introdução à CS). Este grupo recebeu instrução sobre sintaxe Python, fluxo de controle e rastreamento de código usando Python Tutor, praticando em três problemas equivalentes focados na leitura e compreensão de código, em vez de escrita de prompts.
• Design: Ambos os grupos completaram pré e pós-testes consistindo em 8 problemas Promptly e questionários medindo experiência prévia em programação e autoeficácia de prompting. O estudo utilizou modelos lineares de efeitos mistos para analisar os dados, contabilizando medidas repetidas e agrupamentos de nível de sessão.

Principais Contribuições

1. Uma Intervenção Leve: Os autores apresentam um plano de aula de 45 minutos, disponível publicamente, com prática guiada, projetado para ensinar estratégias de prompting específicas de CS (ex: templates estruturados, padrões de transformação de dados) sem exigir conhecimento prévio de CS.
2. Evidência Empírica sobre Intervenções Curtas: O estudo fornece dados experimentais controlados sobre a eficácia de uma intervenção breve. Demonstra que uma única sessão de 45 minutos pode aumentar significativamente a autoeficácia dos alunos em prompting e produzir melhorias significativas, embora estatisticamente modestas, no desempenho de tarefas em comparação com atividades padrão de rastreamento de código.

Resultados

• Desempenho na Tarefa (RQ1): O grupo experimental mostrou maiores ganhos médios na resolução de problemas Promptly do pré para o pós-teste em comparação ao grupo de controle (+10,8 pontos percentuais vs. +1,1 ponto percentual). No entanto, essa diferença não foi estatisticamente significativa ao nível $\alpha=0,05$ ($p=0,056$). O tamanho do efeito foi comparável ao impacto de um desvio padrão completo da experiência prévia em programação.
• Autoeficácia de Prompting (RQ2): O grupo experimental demonstrou um aumento estatisticamente significativo na autoeficácia de prompting em comparação ao grupo de controle (+35,4 pontos percentuais vs. +21,9 pontos percentuais; $p=0,029$).
• Preditores: A experiência prévia em programação foi um preditor significativo do desempenho na tarefa em ambas as condições.

Significância e Alegações
O artigo alega que uma intervenção breve e direcionada é provavelmente suficiente para melhorar a capacidade dos aprendizes de especificar objetivos computacionais para LLMs e aumenta significativamente sua confiança ao fazê-lo. Os autores posicionam a programação baseada em prompts não como um substituto para o ensino de codificação tradicional, mas como um caminho complementar que pode oferecer um ponto de entrada mais acessível para programadores usuários finais intimidados pela sintaxe.

Contudo, os autores mantêm um tom modesto em relação à magnitude desses ganhos. Eles reconhecem que, embora a intervenção tenha produzido melhorias significativas, o efeito no desempenho da tarefa foi pequeno (menos de um problema adicional resolvido em média), sugerindo que 45 minutos é provavelmente insuficiente para que os aprendizes alcancem fluência ou maestria. Os resultados indicam que as habilidades de prompting requerem mais tempo e prática para serem totalmente desenvolvidas. O estudo conclui que, embora intervenções curtas possam ser integradas em cursos existentes sem interrupções substanciais, pesquisas futuras são necessárias para determinar como estender esses ganhos para tarefas de programação complexas, abertas e de múltiplas etapas.