FORGE: A Framework for Orchestrated Role-based Generation in Education
Este artigo apresenta o FORGE, um framework de ciência do design que estrutura a colaboração entre instrutor e IA no ensino superior por meio de quatro papéis e sete dimensões, demonstrando, via estudos de caso, como suas diretrizes transformam o prompting improvisado em um fluxo de trabalho transferível e baseado em papéis para a geração de materiais educacionais.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Nas salas de aula do ensino superior, uma revolução silenciosa tem ocorrido, impulsionada por um novo tipo de programa de computador conhecido como modelo de linguagem de grande escala. Esses sistemas podem ler vastas quantidades de texto e escrever em linguagem humana, levando muitos a se perguntarem como eles podem mudar a maneira como os professores preparam seus cursos. Durante anos, a maior parte da pesquisa concentrou-se em como os alunos usam essas ferramentas, muitas vezes preocupando-se com a integridade acadêmica ou com a detecção de quando um aluno recorreu a elas. No entanto, uma mudança paralela e igualmente significativa está acontecendo nos bastidores: os instrutores estão começando a usar essas mesmas ferramentas para ajudá-los a escrever exames, desenhar projetos e criar planos de aula. O desafio é que, sem um método compartilhado para este trabalho, cada professor está essencialmente inventando sua própria maneira de pedir ajuda ao computador. Alguns podem pedir um rascunho completo, outros apenas uma única frase, e poucos possuem um sistema claro para decidir quando confiar na máquina e quando intervir com seu próprio julgamento especializado.
Essa incerteza é importante porque a criação de bons materiais educacionais é uma tarefa complexa. Requer não apenas gerar texto, mas garantir que uma pergunta teste o conceito correto, que a dificuldade seja adequada e que o conteúdo esteja alinhado com o que foi realmente ensinado em sala de aula. Se um professor simplesmente pedir a um computador para escrever um exame e aceitar o primeiro resultado, o material pode ser falho de maneiras sutis que um aluno poderia explorar ou que poderiam falhar em medir o que o professor pretendia. A questão central, então, não é se os computadores podem escrever esses materiais, mas como um humano e uma máquina podem trabalhar juntos de forma eficaz para produzir algo que seja ao mesmo tempo de alta qualidade e confiável.
Para responder a isso, os pesquisadores Emmanuel Gonzalez e Paul T. Grogan, da Universidade Estadual do Arizona, desenvolveram uma nova forma de trabalhar chamada FORGE. Eles não apenas propuseram uma teoria; eles a testaram em um curso de graduação em engenharia real. Eles observaram como um instrutor usou um programa de computador para criar dois tipos de tarefas muito diferentes: um exame padrão de múltipla escolha e um projeto de conclusão de curso complexo e de questões abertas. Ao registrar cada instrução individual que o professor deu ao computador e como o computador respondeu, eles mapearam um conjunto claro de regras para a colaboração. O trabalho deles sugere que o trabalho em equipe bem-sucedido entre humano e computador na educação depende de atribuir papéis específicos ao computador, saber quando pedir ideias versus quando dar ordens, e entender que o humano deve permanecer o juiz final da qualidade.
Os pesquisadores descobriram que a maneira como um professor interage com o computador depende fortemente do que ele está tentando criar. Quando o objetivo é um material convergente, como um exame onde as respostas são fixas e o formato é conhecido antecipadamente, o processo se assemelha a um refinamento longo e detalhado. No estudo, o instrutor passou quase todo o seu tempo — cerca de noventa e quatro por cento do trabalho ativo — verificando e corrigindo os rascunhos do computador em vez de pedir novo conteúdo. O computador gerava uma questão e o professor detectava um erro sutil, como um trecho de código que acidentalmente entregava a resposta, e pedia ao computador para tentar novamente. Esse ciclo de geração e correção continuava até que o material estivesse perfeito. O computador atuava como um escritor rápido, mas o humano atuava como um editor rigoroso, garantindo que cada detalhe atendesse aos padrões específicos do curso.
Em contraste, quando o professor trabalhava em um material divergente, como a especificação de um projeto de conclusão de curso onde a forma final ainda não era conhecida, o processo era diferente. Aqui, o computador e o professor passavam mais tempo decidindo o que o projeto deveria sequer ser. O professor pedia ao computador opções e ideias, engajando-se em uma conversa de ida e volta para decidir quais tópicos incluir e como estruturar a tarefa. Neste cenário, o computador atuava mais como um parceiro de brainstorming, oferecendo sugestões que o professor poderia aceitar, rejeitar ou modificar. O professor passava uma parte maior de seu tempo, cerca de vinte e seis por cento dos comandos, fazendo perguntas abertas para explorar possibilidades, em vez de apenas corrigir erros. Isso mostrou que o tipo de material dita o ritmo do trabalho: algumas tarefas precisam de uma mão firme para polir uma forma conhecida, enquanto outras precisam de uma mente flexível para descobrir uma nova.
Um achado fundamental do estudo é que o computador não pode ser confiado para tomar a decisão final sobre o que é pedagogicamente sólido. Os pesquisadores identificaram quatro papéis distintos que podem ser desempenhados nesta colaboração: um Leitor que reúne informações, um Escritor que cria conteúdo, um Crítico que verifica erros e um Orquestrador que toma as decisões finais. Em ambos os casos, o instrutor humano assumiu o papel de Orquestrador. Eles descobriram que, embora o computador pudesse lidar com tarefas como formatar texto ou verificar erros ortográficos, ele consistentemente perdia questões mais profundas. Por exemplo, em um caso, o computador escreveu uma questão sobre um programa de computador, mas o código que incluiu continha a resposta bem diante dos olhos do aluno. O computador não percebeu essa falha porque carecia do contexto do que a questão deveria testar. Apenas o instrutor humano, que conhecia os objetivos de aprendizagem, pôde ver o problema e direcionar o computador para corrigi-lo.
O estudo também revelou que a maneira como o professor fala com o computador importa tanto quanto o que ele pede. Os pesquisadores distinguiram dois estilos de interação: conversacional e diretivo. Quando o professor ainda estava decidindo como a tarefa deveria ser, ele usava um estilo conversacional, pedindo ao computador opções e compensações. Uma vez definido o plano, ele mudava para um estilo diretivo, dando comandos claros para corrigir problemas específicos. Os professores mais eficazes no estudo sabiam quando alternar entre esses modos. Eles não mantinham uma única forma de falar; eles adaptavam sua abordagem com base em se estavam explorando novas ideias ou refinando um rascunho existente. Essa flexibilidade impedia que o trabalho estagnasse ou seguisse pelo caminho errado.
Talvez a lição mais importante deste trabalho seja que o humano deve permanecer o integrador do sistema. O computador pode gerar conteúdo em uma velocidade incrível, mas não consegue compreender o propósito mais amplo do curso ou as necessidades específicas dos alunos. Os pesquisadores observaram que, quando o professor recuava e deixava o computador conduzir todo o processo, os resultados eram frequentemente falhos. Mas quando o professor permanecia no ciclo, verificando constantemente o trabalho e guiando o computador com instruções específicas, os materiais finais eram de alta qualidade. O estudo sugere que o melhor uso dessas ferramentas não é substituir o professor, mas sim atuar como um assistente poderoso que lida com o trabalho pesado de elaboração de rascunhos, deixando o professor livre para focar no julgamento e na expertise que apenas um humano pode fornecer.
Os pesquisadores testaram essas ideias em duas tarefas específicas em um único curso, portanto, as descobertas baseiam-se em um conjunto limitado de dados. Eles não afirmam que este método funcione para todos os professores ou para todas as disciplinas, mas mostram que uma abordagem estruturada é possível. Ao definir papéis claros e saber quando fazer perguntas versus quando dar ordens, os professores podem transformar o processo caótico de usar inteligência artificial em um fluxo de trabalho confiável. O estudo conclui que, com a estrutura correta, os instrutores podem descrever como trabalham com essas ferramentas, manter o que funciona e levar essas lições adiante para a próxima tarefa. Isso move o uso da inteligência artificial na educação de uma série de palpites de sorte para uma habilidade praticada e repetível que pode melhorar a qualidade dos materiais de aprendizagem para todos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.