Should There be a Teacher In-the-Loop? A Study of Generative AI Personalized Tasks Middle School

1. Problema e Contexto

A personalização da instrução para atender às necessidades, objetivos e interesses individuais dos estudantes é um desafio fundamental na educação do século XXI. Com o avanço dos Modelos de Linguagem de Grande Escala (LLMs) e da Inteligência Artificial Generativa (GenAI), surgiu a possibilidade de adaptar tarefas educacionais em um nível extremamente fino (fine-grained).

No entanto, resta uma questão crítica: qual deve ser o grau de envolvimento do professor no processo ("in-the-loop")?
Existem dois modelos concorrentes:

1. Professor no Loop: O professor usa a GenAI para criar ou modificar tarefas baseadas em seus conhecimentos profissionais e dados dos alunos. Isso garante controle e conexão, mas é potencialmente demorado e limitado em granularidade (o professor não pode criar versões únicas para cada um dos 30+ alunos de uma turma).
2. Professor Fora do Loop: A GenAI adapta as tarefas diretamente para cada aluno com base em interesses específicos (ex: um aluno gosta de Taylor Swift, outro de Roblox). Isso permite uma granularidade muito fina, mas remove o professor do processo de design e pode sobrecarregar o aluno ou gerar conteúdo inadequado.

O estudo investiga a eficiência, a eficácia e as implicações pedagógicas do modelo de professor no loop ao utilizar a GenAI para personalizar problemas matemáticos de 7ª série com base em interesses de cultura popular.

2. Metodologia

O estudo foi conduzido com 7 professores de matemática do ensino médio (média de 11,9 anos de experiência) e 521 alunos de 7ª série em 6 escolas dos EUA.

• Procedimento:
  • Os professores participaram de um treinamento de 2 horas sobre personalização e viés.
  • Eles selecionaram problemas do currículo Illustrative Mathematics (IM) para as Unidades 4 (Relações Proporcionais e Porcentagens) e 6 (Expressões, Equações e Desigualdades).
  • Os professores trabalharam em sessões de 1,5 hora com pesquisadores, utilizando o ChatGPT (modelo GPT-4o) para reescrever os problemas, adaptando-os a interesses de cultura popular (esportes, música, comida, etc.).
  • As sessões foram gravadas em vídeo e os logs de interação com o ChatGPT foram registrados.
  • Os problemas personalizados foram aplicados aos alunos na plataforma ASSISTments.
• Medidas de Dados:
  • Logs de Prompting: Número de prompts usados por problema e tempo gasto.
  • Análise de Conteúdo: Codificação dos tipos de prompts (ex: adicionar referências específicas vs. gerais, correção de realismo).
  • Feedback dos Alunos: Pesquisas fechadas (escala de 1-5 sobre interesse e relevância) e abertas (motivos do interesse, sugestões de melhoria, identificação de imprecisões).
• Análise: Modelos de regressão linear de efeitos mistos foram usados para analisar a eficiência (tempo e prompts) e a relação entre as ações dos professores e as avaliações dos alunos.

3. Contribuições Principais

• Análise Empírica de "Teacher-in-the-Loop": É um dos primeiros estudos a quantificar o tempo e os esforços reais dos professores ao usar LLMs para personalização, indo além de autorrelatos.
• Conceitos de Granularidade e Profundidade: O estudo aplica e testa o framework teórico de Walkington & Bernacki (2014) em um contexto de IA, focando em:
  • Granularidade: O nível de especificidade do interesse (ex: "esportes" vs. "futebol americano da NFL").
  • Profundidade: O quão realista e matematicamente coerente é o cenário personalizado.
  • Propriedade (Ownership): Quem controla a conexão (professor vs. IA).
• Mapeamento Prompt-Resultado: Estabelece uma ligação quantitativa entre o número de prompts usados pelo professor e a qualidade percebida pelos alunos.

4. Resultados Chave

A. Padrões de Prompting dos Professores (RQ1)

• Os professores fizeram uma média de 3,2 prompts por problema (total de 558 prompts para 143 problemas).
• Estratégias Comuns:
  • Inicialmente, usavam tópicos gerais (ex: "mude para comida").
  • Posteriormente, faziam prompts específicos para adicionar referências culturais (ex: "mude para Lululemon").
  • Grande parte do esforço (33% dos prompts adicionais) foi gasta corrigindo questões de realismo (contexto não familiar, números irrealistas, como "meia moeda" ou preços absurdos).
  • Os professores assumiram o controle da "propriedade" ao especificar marcas, nomes e locais, evitando que a IA escolhesse aleatoriamente.

B. Feedback dos Alunos (RQ2)

• Preferência por Alta Granularidade: Os alunos preferiram referências específicas de cultura popular (ex: uma banda específica) em vez de categorias gerais (ex: "música").
• Insatisfação com Referências Específicas Erradas: Se a referência específica não agradasse ao aluno (ex: um aluno que não gosta de Roblox), a tarefa era considerada menos interessante.
• Profundidade: Os alunos raramente apontaram erros de realismo ou profundidade (apenas 13 casos), sugerindo que a superficialidade dos cenários não os incomodou tanto quanto a falta de interesse no tópico.

C. Eficiência e Eficácia (RQ3)

• Tempo: A criação de um problema personalizado levou em média 4 minutos (246 segundos). Isso implica cerca de 40 minutos para um conjunto de 10 problemas (apenas uma versão alternativa).
• Zona "Goldilocks" de Prompts: Existe uma relação não linear entre o número de prompts e a avaliação dos alunos.
  • Usar 3 a 5 prompts resultou nas melhores avaliações de interesse e relevância.
  • Menos de 3 prompts (aceitar a primeira saída) ou mais de 5 prompts (excesso de iteração) resultaram em avaliações menores.
• Crescimento do Professor (RQ4):
  • Ao contrário do esperado, os professores não se tornaram mais eficientes com o tempo.
  • Na Unidade 6, eles usaram mais prompts (+1,26) e mais tempo (+70 segundos) por problema em comparação à Unidade 4.
  • Motivo: Após refletir sobre o feedback dos alunos da Unidade 4, os professores tentaram deliberadamente melhorar a qualidade e a personalização, o que aumentou o tempo de trabalho.
  • Resultado: Apesar do aumento de tempo, as avaliações dos alunos na Unidade 6 foram significativamente maiores, indicando que o esforço extra valeu a pena em termos de engajamento.

5. Significado e Conclusão

O estudo conclui que, embora a resposta à pergunta "Deve haver um professor no loop?" seja sim, o processo é complexo e desafiador:

1. Compromisso entre Granularidade e Viabilidade: Com o professor no loop, a personalização tende a ser de "grão grosso" (categorias amplas), pois é impossível criar versões únicas para cada aluno. No entanto, os alunos preferem "grão fino" (interesses específicos). A IA direta ao aluno (sem professor) resolveria a granularidade, mas levanta questões éticas e de supervisão.
2. Custo de Tempo: A personalização com IA não é necessariamente uma solução de "economia de tempo" imediata para os professores. O processo é demorado e exige iteração constante para garantir realismo e interesse.
3. Aprendizado Profissional: O processo de "no loop" oferece oportunidades valiosas de aprendizado profissional. Os professores aprendem sobre os interesses dos alunos, como modelar matematicamente esses interesses e como monitorar o viés e a adequação da IA.
4. Riscos Éticos: Remover o professor do loop expõe os alunos a possíveis alucinações, vieses e erros matemáticos da IA sem supervisão.
5. Futuro: O estudo sugere o desenvolvimento de sistemas multi-agentes, onde agentes de IA autônomos realizam a verificação de realismo e viés, permitindo que o professor faça apenas uma "verificação final", equilibrando eficiência e controle pedagógico.

Em suma, a GenAI é uma ferramenta poderosa para personalização, mas a eficiência prometida pelas ferramentas comerciais ainda não se materializou na prática sem um investimento significativo de tempo e reflexão por parte dos educadores.