Resumo Técnico: Análise de Feedback de Avaliação Alinhada ao Currículo via Geração Aumentada por Recuperação (RAG)

1. Definição do Problema

O feedback de avaliação no ensino superior contém evidências detalhadas de erros específicos dos estudantes, mas permanece como uma fonte de dados subutilizada para a melhoria do ensino. Embora os professores dependam de estatísticas baseadas em rubricas para monitorar o desempenho das turmas, essas métricas frequentemente falham em revelar os conceitos ou procedimentos específicos que os alunos não compreenderam ou as origens dessas dificuldades. Por outro vez, o feedback de avaliação é predominantemente texto não estruturado, o que torna difícil quantificar, agregar ou comparar em escala. A extração manual de padrões em nível de turma é inviável para turmas grandes, e as variações nos estilos de correção entre múltiplos membros do corpo docente complicam ainda mais a análise sistemática.

As aplicações existentes de Grandes Modelos de Linguagem (LLMs) na educação focaram na geração de feedback ou na análise voltada para o aluno, mas não combinaram efetivamente a classificação de erros com o mapeamento em nível de currículo. Além disso, a confiabilidade da classificação baseada em LLM utilizando taxonomias desenhadas por especialistas permanece incerta, pois os LLMs são altamente sensentes às definições de categorias. Há uma carência de métodos que possam transformar o feedback não estruturado em padrões de erro acionáveis e alinhados ao currículo para informar ajustes instrucionais.

2. Metodologia

O estudo propõe um método baseado em LLM de três etapas para transformar o feedback de avaliação não estruturado em uma análise de erro alinhada ao currículo. A abordagem foi aplicada a 6.072 fragmentos de feedback de quatro coortes (2022–2025) de um curso de graduação em design de engenharia.

Etapa 1: Geração de Taxonomia de Erros Baseada em Dados

Em vez de depender de categorias pré-definidas por especialistas, o método gera uma taxonomia de erros indutivamente a partir dos próprios dados de feedback:

1. Abstração Comportamental: Um LLM abstrai cada item de feedback em uma caracterização comportamental independente do assunto específico (ex: converter "falta de justificativa para velocidade" em "Falta de transparência procedimental").
2. Agrupamento Semântico: O LLM agrupa essas caracterizações em categorias candidatas baseadas em similaridade semântica.
3. Revisão Humana: Um revisor humano funde categorias sobrepostas e reatribui caracterizações para finalizar a taxonomia.
4. Geração de Definições: O LLM gera definições e limites para as categorias finais.
   Resultado: Uma taxonomia composta por quatro categorias de erro (Conteúdo Incompleto/Ausente, Falhas Procedimentais/de Processo, Erros de Raciocínio/Interpretação, Apresentação/Comunicação) e uma categoria Positiva.

Etapa 2: Geração Aumentada por Recuperação (RAG) para Mapeamento Curricular

Esta etapa vincula cada erro a um conteúdo curricular específico:

1. Construção da Base de Conhecimento: Os slides de aula do curso são processados em 374 "unidades de conhecimento" (segmentos autossuficientes que abordam um único tópico) usando um LLM multimodal e revisão humana. Essas unidades são incorporadas (embedded) usando text-embedding-3-large.
2. Processo de Mapeamento: Para cada item de feedback, o sistema recupera as cinco unidades de conhecimento mais similares via similaridade de cosseno. Um LLM então analisa o feedback, as unidades recuperadas e a taxonomia de erros para atribuir uma categoria de erro, vincular o feedback à unidade de conhecimento mais relevante e fornecer uma explicação de raciocínio.

Etapa 3: Agregação de Padrões e Análise de Cobertura

As anotações individuais são consolidadas em padrões acionáveis:

1. Consolidação Semântica: Dentro de cada grupo (unidade de conhecimento, categoria de erro), descrições de raciocínio semanticamente similares são fundidas para tratar a variação de corretores.
2. Formação de Padrões Semanais: Anotações fundidas relacionadas entre diferentes unidades de conhecimento dentro da mesma semana de ensino são consolidadas em "padrões de erro" únicos.
3. Quantificação: A cobertura da coorte é calculada como a porcentagem de grupos de estudantes cujo feedback faz referência a um padrão específico, organizada por semana de ensino. Isso permite a análise de tendências interanuais.

Desenho de Avaliação

O método foi avaliado através de duas lentes:

• Confiabilidade da Classificação (RQ2): Os outputs da taxonomia baseada em dados foram comparados contra uma taxonomia de especialista desenvolvida independentemente e o julgamento humano usando o $\kappa$ de Cohen e concordância percentual.
• Utilidade Prática (RQ3): Um grupo focal com a equipe de ensino (coordenador da unidade e assistentes de ensino/TAs) revisou o output da análise interanual para avaliar validade, novidade, interpretabilidade e aplicabilidade.

3. Principais Resultados

Desempenho de Classificação

• Concordância Humano-LLM: A taxonomia baseada em dados alcançou 89,1% de concordância com o julgamento humano ($\kappa = 0,91$), superando significativamente a taxonomia projetada por especialistas, que alcançou 74,7% de concordância ($\kappa = 0,64$).
• Análise de Discrepância: A taxonomia de especialistas mostrou dificuldades operacionais generalizadas, particularmente em categorias como "Descuido" (21,4% de concordância) e "Procedimental" (12,1% de concordância). Ela também carecia de uma categoria de "Apresentação/Comunicação", forçando 5,9% dos registros em categorias inadequadas. A taxonomia baseada em dados, derivada do corpus de feedback real, manteceu distinções que os corretores naturalmente faziam.
• Mapeamento Curricular: A concordância sobre a relevância das unidades de conhecimento vinculadas permaneceu alta para ambas as taxonomias (92,0% para a baseada em dados vs. 89,7% para a de especialistas).

Insights Alinhados ao Currículo

• Distribuição de Erros: "Conteúdo Incompleto/Ausente e Justificativa" foi o tipo de erro dominante (66,5% dos erros), embora "Falhas Procedimentais/de Processo" tenha aumentado significativamente na segunda etapa de avaliação.
• Identificação de Padrões: O método identificou padrões de erro recorrentes específicos (ex: "Falta de justificativa para a velocidade de design escolhida") e os mapeou para semanas e unidades de conhecimento específicas.
• Tendências Interanuais: A análise revelou trajetórias variadas para os padrões de erro. Por exemplo, erros referentes a "dados de seção transversal" declinaram ao longo do tempo, enquanto erros referentes a "justificativa de coordenação de curva" aumentaram, fornecendo uma base para investigar o impacto de ajustes de ensino específicos.

Feedback da Equipe de Ensino

A equipe de ensino confirmou que o output era consistente com sua experiência de correção. As principais conclusões incluíram:

• Validação da Escala: A escala quantificada de erros surpreendeu a equipe, revelando que alguns problemas eram predominantes, apesar da ênfase prévia.
• Prática Reflexiva: As tendências interanuais permitiram que a equipe rastreasse o impacto de ajustes de ensino passados (ex: briefings de projeto detalhados) no desempenho dos alunos.
• Decisões Acionáveis: As evidências promoveram propostas para realocar horas de ensino de tópicos com baixos erros para tópicos com altos erros e para introduzir demonstrações específicas em sala de aula.
• Ressalvas: A equipe alertou que as taxas de erro não devem ser usadas como uma medida isolada da qualidade do ensino e observou que a análise se limita a materiais escritos, potencialmente perdendo nuances da instrução oral.

4. Principais Contribuições

1. Inovação Metodológica: O estudo apresenta um pipeline inédito que combina a geração de taxonomia baseada em dados com a Geração Aumentada por Recuperação (RAG) para mapear o feedback não estruturado ao conteúdo curricular específico.
2. Evidência Empírica sobre Design de Taxonomia: Os achados desafiam a suposição de que taxonomias projetadas por especialistas são ideais para classificação por LLM. O estudo demonstra que categorias derivadas indutivamente do corpus alvo produzem um alinhamento significativamente maior com o julgamento humano do que as categorias pré-especificadas por especialistas.
3. Reenquadramento do Feedback como Recurso de Ensino: O trabalho muda a perspectiva do feedback de avaliação de uma ferramenta de comunicação voltada ao aluno para uma fonte de dados diagnóstica para a melhoria do ensino, permitindo a identificação de falhas de alinhamento construtivo ao nível de conteúdo ensinado específico.
4. Análise com Humano no Ciclo (Human-in-the-Loop): O estudo ilustra como as equipes de ensino interpretam evidências alinhadas ao currículo, mostrando que tais dados servem como um ponto de partida para reflexão e triangulação com o conhecimento contextual, em vez de um substituto prescritivo para o julgamento profissional.

5. Significância e Alegações

O artigo afirma que esta abordagem permite que os instrutores vão além das métricas agregadas de desempenho para entender o "quê" e o "porquê" das dificuldades dos alunos em uma escala anteriormente inalcançável. Ao tornar as falhas de alinhamento empiricamente visíveis, o método apoia revisões curriculares direcionadas e a realocação do esforço de ensino.

Os autores notam modestamente que o estudo é um estudo de caso dentro de um único curso de engenharia e que a eficácia em outros disciplinas, formatos de avaliação (ex: exames individuais) e contextos institucionais requer mais testes. Eles também reconhecem limitações quanto à dependência de materiais escritos para a base de conhecimento, o que pode não capturar totalmente a instrução oral, e as restrições do processo de validação devido ao pequeno grupo de revisores experientes. No entanto, o estudo estabelece um método fundamental para aproveitar dados educacionais qualitativos para informar decisões de ensino no ensino superior.