Resumo Técnico: Investigando o Design de Feedback Educacional Gerado por LLM Consciente do Aluno

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam promessa para gerar feedback educacional diversificado em escala, permanece incerto como designs de feedback específicos — como tom, cobertura de informações e especificidade instrucional — devem ser estruturados para apoiar efetivamente a revisão de respostas e a aceitação do aluno em diversos perfis de estudantes. Pesquisas anteriores basearam-se amplamente em comparações de granularidade grossa entre feedback humano e de LLM ou avaliações automatizadas, falhando em investigar sistematicamente como elementos pedagógicos específicos influenciam o comportamento e a percepção do aluno. Além disso, embora as diferenças individuais (ex: traços de personalidade) sejam conhecidas por afetar a eficácia do feedback em contextos projetados por humanos, seu papel no feedback gerado por LLM permanece subexplorado. Este estudo aborda a lacuna na compreensão de quais elementos de feedback melhoram o desempenho da revisão, quais geram avaliações subjetivas favoráveis e como essas preferências variam de acordo com perfis de personalidade dos alunos.

Metodologia

O estudo empregou um fluxo de trabalho de três etapas envolvendo definição de feedback, experimentação empírica e análise:

1. Design e Geração de Feedback:
   Os autores definiram seis elementos distintos de feedback para questões de múltipla escolha de biologia. Uma condição "Normal" de linha de base foi desenhada manualmente, e cinco elementos adicionais foram derivados de um trabalho anterior (Borges et al., 2024):

   • Palavras-chave (Keywords): Destacar termos importantes dentro das explicações.
   • Acionabilidade (Actionability): Fornecer passos de revisão concretos e listas de verificação.
   • Novidade (Novelty): Introduzir perspectivas avançadas além do conteúdo aprendido.
   • Cobertura (Coverage): Descrever todos os elementos lógicos necessários para a resposta correta.
   • Positividade (Positivity): Incorporar elogios e comentários encorajadores.
     Todo o feedback foi gerado antecipadamente usando o GPT-5 (Singh et al., 2026) para garantir consistência, empregando uma abordagem de feedback indireto que incentiva os alunos a derivarem as respostas sem revelá-las explicitamente.

2. Experimento Empírico:
   Um experimento foi conduzido com 321 alunos do primeiro ano do ensino médio no Japão. Os participantes completaram um pré-questionário avaliando seus traços de personalidade Big Five (Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo) e conhecimento prévio. Em seguida, eles participaram de uma tarefa baseada na web envolvendo sete questões de biologia. Para cada questão, um elemento de feedback específico foi atribuído aleatoriamente e permaneceu fixo durante todo o processo de revisão. Os participantes revisaram suas respostas iterativamente e avaliaram o feedback usando uma escala de três pontos em seis critérios: Confiabilidade, Guia de Revisão, Qualidade de Expressão, Facilidade de Compreensão, Clareza de Pontos-Chave e Novo Conhecimento.

3. Análise:
   O estudo analisou o desempenho imediato da revisão (precisão da primeira tentativa revisada) e as avaliações subjetivas. Para considerar observações repetidas do mesmo aluno, foram utilizadas Equações de Estimativa Generalizada (GEE). Além disso, os alunos foram agrupados em três perfis de personalidade (Social, Reservado, Adaptável) usando agrupamento k-means para examinar como as preferências variavam entre os grupos.

Principais Resultados

Desempenho da Revisão (RQ1)

Elementos de feedback influenciaram significativamente a precisão da revisão imediata. O design Normal rendeu a maior precisão (64,2%), seguido por Palavras-chave (58,2%) e Cobertura (52,9%). Por outro lado, Acionabilidade e Positividade foram associados a uma precisão de revisão significativamente menor em comparação com a linha de base. Isso sugere que o feedback que direciona claramente a atenção para pontos relevantes da tarefa e fornece orientação abrangente é mais eficaz para a correção imediata, enquanto passos de ação excessivamente específicos ou suporte puramente afetivo podem distrair ou falhar em guiar o processo de revisão de forma eficaz.

Avaliações Subjetivas (RQ2)

Os alunos geralmente favoreceram feedbacks que eram práticos e fáceis de aplicar. Normal, Palavras-chave e Acionabilidade receberam as classificações subjetivas mais altas na maioria dos critérios. Positividade recebeu consistentemente as classificações mais baixas em todos os seis critérios de avaliação, indicando que o feedback orientado ao elogio é percebido como menos confiável e menos útil para a revisão. A Novidade também recebeu classificações mais baixas para clareza e qualidade de expressão, sugerindo que a introdução de informações além do escopo da questão pode prejudicar a utilidade percebida do feedback.

Preferências Baseadas em Personalidade (RQ3)

As preferências pelos elementos de feedback variaram significamente entre os clusters de personalidade dos alunos:

• Alunos Sociais (Alta Extroversão/Amabilidade): Priorizaram validade e confiabilidade, mostrando preferências equilibradas por Normal e Palavras-chave.
• Alunos Reservados (Baixa Extroversão/Alto Neuroticismo): Mostraram fortes preferências por Palavras-chave e Normal, enquanto avaliaram Positividade e Novidade significativamente mais baixo. Isso se alinha aos achados de que alunos com alto neuroticismo preferem pistas claras e baixa carga cognitiva.
• Alunos Adaptáveis (Alta Abertura/Conscienciosidade/Amabilidade): Aceitaram uma gama mais ampla de elementos, mostrando preferência particular por Acionabilidade e Cobertura, sugerindo uma maior tolerância a orientações complexas ou detalhadas.

Testes estatísticos (Kruskal–Wallis) confirmaram diferenças significativas nos padrões de avaliação entre os clusters para todos os critérios, indicando que os perfis de alunos influenciam parcialmente como o feedback gerado é percebido.

Contribuições e Significância

O artigo apresenta três contribuições primárias:

1. Definição e Exame Empírico: Define seis elementos educacionais controláveis para o feedback gerado por LLM e examina empiricamente seus efeitos tanto no desempenho da revisão quanto nas avaliações subjetivas através de um estudo de larga escala com 321 alunos.
2. Evidência de Efeitos Dependentes de Perfil: Demonstra que as preferências de feedback e a eficácia percebida não são uniformes, mas variam significativamente entre os perfis de alunos definidos pelos traços de personalidade Big Five.
3. Implicações para Personalização: Os achados sugerem que o design de feedback gerado por LLM eficaz deve considerar os perfis dos alunos. Embora a orientação clara e abrangente seja amplamente eficaz, elementos como novidade informacional e enquadramento afetivo devem ser adaptados aos traços de personalidade individuais para maximizar a aceitação e a utilidade.

O estudo conclui que, embora certas características de feedback (clareza, abrangência) sejam universalmente benéficas, o design ideal para elementos específicos (como tom ou novidade) depende da personalidade do aluno. Isso ressalta o potencial e a necessidade de personalizar o feedback gerado por LLM com base nos perfis de alunos para melhorar os resultados educacionais. Os autores observam limitações quanto ao domínio específico (biologia), ao uso de um único modelo de LLM e ao foco em ganhos de aprendizagem imediatos em vez de de longo prazo, sugerindo que trabalhos futuros explorem domínios mais amplos e efeitos longitudinais.