Beyond AI Delegation: A Prompt Pattern Framework for Productive Struggle and Evaluative Judgement in Secure Coding Education

Resumo Técnico: Para Além da Delegação de IA: Um Framework de Padrões de Prompt para Luta Produtiva e Julgamento Avaliativo na Educação em Codificação Segura

Identificação do Problema
A integração rápida da Inteligência Artificial Generativa (IA Generativa) no ensino superior introduziu uma "dinâmica de delegação" onde os estudantes transferem trabalho cognitivo — escrita, análise e resolução de problemas — para sistemas automatizados. Embora isso produza resultados imediatos, contorna a "Luta Produtiva" (LP), uma fase pedagógica crítica onde os aprendizes enfrentam tarefas que excedem sua competência atual para reorganizar estruturas de conhecimento. Em áreas como segurança da computação, onde uma compreensão superficial carrega riscos significativos, a capacidade de gerar código sem raciocínio é prejudicial. Além disso, a capacidade de "Julgamento Avaliativo" (JA) — a habilidade de avaliar criticamente a qualidade do trabalho, incluindo saídas geradas por IA — é frequentemente erodida quando os estudantes consomem passivamente soluções de IA. As respostas institucionais atuais, como proibir ferramentas ou redesenhar avaliações para detectar IA, são consideradas insustentáveis. O problema central é a falta de orientação prática para educadores sobre como integrar a IA nos cursos sem substituir o papel cognitivo do estudante.

Metodologia
Os autores empregam Pesquisa Baseada em Design (DSR) para desenvolver e demonstrar um artefato prático: uma taxonomia de padrões de engenharia de prompts mapeada para objetivos pedagógicos. A pesquisa seguiu quatro fases:

1. Identificação do Problema: Definir a erosão da LP e a ausência de orientação de integração.
2. Objetivos: Criar um artefato específico o suficiente para atividades de curso, geral o suficiente para vários tópicos de Ciência da Computação e fundamentado em constructos pedagógicos estabelecidos (LP e JA).
3. Design do Artefato: Os autores revisaram a literatura do ensino superior para identificar LP e JA como competências-chave ameaçadas pela IA Generativa. Eles sintetizaram uma taxonomia adaptando padrões de prompts de catálogos de engenharia de software (especificamente White et al. e Pai), organizando-os em quatro categorias e mapeando cada um para funções pedagógicas específicas (por exemplo, suporte à análise, elicitação de comparação).
4. Demonstração: O framework foi inicialmente implantado em um curso de métodos de pesquisa de nível de mestrado para observar o uso pelos estudantes. Posteriormente, os autores aplicaram o framework para projetar um módulo completo para um curso de "Codificação Segura Avançada" usando o framework DELTA (Contexto, Resultados, Atividades, Avaliação, Reflexão) para demonstrar aplicabilidade.

Principais Contribuições
O artigo introduz uma taxonomia de nove padrões de prompts projetada para manter a agência do estudante na aprendizagem aumentada por IA. Esses padrões são categorizados e mapeados para funções pedagógicas:

• Personalização de Saída:
  • Persona: Molda o tom da IA para atuar como um interlocutor consistente (por exemplo, um revisor de código cético) em vez de uma máquina de respostas.
  • Modelo: Força uma saída estruturada (por exemplo, relatórios de vulnerabilidade padronizados) para auxiliar na análise e avaliação pelo estudante.
• Identificação de Erros:
  • Lista de Verificação de Fatos: Exige que a IA liste afirmações factuais subjacentes, tornando-as visíveis e verificáveis.
  • Reflexão: Solicita à IA que articule seus próprios limites de raciocínio, expondo lacunas para investigação pelo estudante.
• Melhoria de Prompt:
  • Verificador Cognitivo: Divide problemas em etapas explícitas (cadeia de pensamento) para criar um rastro de raciocínio visível para os estudantes seguirem ou desafiarem.
  • Refinamento de Pergunta: A IA melhora as perguntas vagas do estudante, ensinando a formulação de problemas.
  • Abordagens Alternativas: Gera múltiplas opções para forçar a comparação e prevenir a aceitação da primeira solução.
• Interação:
  • Interação Invertida: A IA faz perguntas (método socrático) em vez de fornecer respostas, mantendo o estudante no papel de raciocínio.
  • Jogo: Enquadra a interação como uma simulação (por exemplo, atacante vs. defensor) para sustentar o engajamento.

Resultados e Aplicação
O framework foi aplicado a um Módulo de Codificação Segura de nível de mestrado. O design utilizou três padrões específicos para estruturar atividades de aprendizagem:

1. Descoberta Guiada de Vulnerabilidades: Usando o padrão de Interação Invertida, os estudantes identificaram falhas de injeção SQL respondendo a perguntas geradas pela IA uma de cada vez. Isso preservou a Luta Produtiva, garantindo que o estudante realizasse a análise antes de receber confirmação.
2. Remediação Comparativa: Usando os padrões de Abordagens Alternativas e Modelo, os estudantes foram obrigados a propor e comparar três estratégias de mitigação distintas (por exemplo, consultas parametrizadas vs. ORM) em uma tabela. Isso exercitou explicitamente o Julgamento Avaliativo, exigindo a justificação de compensações em vez de uma simples seleção.
3. Implementação Supervisionada: Usando o padrão de Verificador Cognitivo, os estudantes refactorizaram código enquanto a IA fornecia um rastro de raciocínio passo a passo. Isso permitiu que os estudantes contestassem ou confirmassem a lógica da IA, criando um registro de auditoria para avaliação.

O design da avaliação (logs de chat, justificações escritas, código refactorizado e descrições de pull request) foi construído para ser resistente à desonestidade acadêmica, pois terceirizar todo o processo resultaria em uma falta de profundidade analítica nos logs e no raciocínio.

Significado e Alegações
O artigo alega que o framework fornece uma abordagem replicável para projetar experiências de aprendizagem aumentadas por IA que preservam o raciocínio do estudante. Ao mapear padrões de prompts de engenharia para objetivos pedagógicos, a taxonomia oferece aos instrutores um vocabulário para estruturar deliberadamente interações com IA. Os autores posicionam isso como uma mudança necessária de "restrição" para "design", argumentando que prompts bem escolhidos podem forçar o tipo específico de pensamento que um curso visa desenvolver.

Os autores permanecem modestos quanto ao escopo de suas alegações. Eles reconhecem que o módulo de codificação segura descrito é um artefato de design e que a implantação inicial ocorreu em um contexto diferente (métodos de pesquisa) sem medição controlada. Consequentemente, o artigo não alega prova empírica de melhoria no desempenho ou engajamento dos estudantes. Em vez disso, estabelece uma base estruturada para futura avaliação empírica em ambientes de curso reais, notando que a taxonomia deve ser tratada como um artefato versionado sujeito a refinamento à medida que as capacidades dos LLM evoluem. A contribuição principal é conceitual: preencher a lacuna entre a intenção pedagógica e o design prático de cursos na era da IA Generativa.