EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

As universidades são lugares vastos e ricos em dados que frequentemente lutam para transformar o enorme volume de informações coletadas em ações significativas. Todos os anos, estudantes, professores, ex-alunos, pais e empregadores preenchem formulários, escrevem comentários e participam de comitês para discutir o quão bem um currículo está funcionando. Esse feedback é a força vital da garantia de qualidade, mas em muitas instituições, ele se perde em uma névoa de leitura manual, gráficos de porcentagem simples e atas de comitê que são difíceis de rastrear até decisões específicas. O desafio central não é a falta de informação, mas a falta de clareza: como você pega milhares de vozes individuais, cada uma com uma perspectiva diferente e uma forma diferente de falar, e as traduz em um plano de melhoria claro, justo e acionável?

É aqui que o campo da mineração de dados educacionais entra, tentando usar computadores para encontrar padrões no feedback humano. No entanto, simplesmente pedir a um computador para dizer se um comentário é "bom" ou "ruim" é frequentemente um instrumento muito bruto. Um aluno pode elogiar a energia de um professor enquanto simultaneamente reclama que o curso carece de projetos do mundo real. Para ser útil, um sistema precisa entender essas nuances, identificar exatamente qual parte do currículo está sendo discutida e explicar por que chegou a essa conclusão. Além disso, como essas decisões afetam a educação e as carreiras de pessoas reais, o sistema não pode ser uma caixa preta; ele deve ser transparente o suficiente para que líderes humanos confiem em suas sugestões e verifiquem sua justiça.

Pesquisadores da MIT Art, Design & Technology University na Índia desenvolveram um novo framework chamado EMSEIF para resolver este problema. Em vez de apenas construir outra ferramenta que prevê resultados, eles criaram um sistema completo que conecta o feedback bruto a mudanças curriculares concretas, mantendo um humano no comando da decisão final. A equipe testou seu sistema usando um conjunto de dados massivo e real: os registros anuais de garantia de qualidade de 2023–24 de sua própria universidade. Esse arquivo era um documento de 1.542 páginas contendo milhares de formulários de feedback, tabelas de classificação e cartas oficiais. Os pesquisadores converteram todo esse arquivo em uma biblioteca digital estruturada de 8.742 unidades de feedback individuais, garantindo que cada peça de dado fosse etiquetada com quem o disse, de qual departamento vinha e qual tópico específico abordava.

O coração do sistema é sua capacidade de ouvir diferentes vozes sem achatá-las. Em uma universidade típica, um aluno pode pedir mais "prática prática", enquanto um empregador pode pedir "exposição à indústria". Isso soa diferente, mas ambos estão pedindo a mesma coisa. Os pesquisadores ensinaram o sistema a reconhecer essas diferentes formas de falar e agrupá-las sob um tema comum, como "exposição prática". Eles também construíram um mapa digital, conhecido como grafo de conhecimento, que vincula esses temas a cursos específicos e objetivos de aprendizagem. Isso permite que o sistema veja que um pedido por "mais projetos" em um departamento está conectado a um pedido por "melhores equipamentos" em outro, criando uma imagem unificada do que precisa mudar.

Para garantir que o sistema seja confiável, os pesquisadores o projetaram para ser explicável. Quando o computador sugere uma mudança, ele não dá apenas uma resposta de sim ou não. Em vez disso, ele produz um "cartão de evidência" que mostra exatamente quais palavras no feedback levaram à sugestão, o quão confiante o sistema está e se pessoas de diferentes grupos — como estudantes e empregadores — concordam sobre o assunto. Se o sistema detecta que está tratando um grupo de pessoas de forma injusta, ele sinaliza isso para revisão humana antes que qualquer recomendação seja feita. Essa abordagem de "humano no circuito" (human-in-the-loop) significa que o computador lida com o trabalho pesado de classificar e analisar dados, mas um líder acadêmico humano deve sempre aprovar a ação final.

Os resultados do estudo mostraram que esta abordagem funciona significativamente melhor do que os métodos antigos. Quando testado contra modelos de computador padrão, o novo sistema foi muito mais preciso ao identificar problemas curriculares específicos e prever qual feedback era acionável. Ele identificou com sucesso três áreas principais onde todos os stakeholders concordavam sobre a necessidade de mudança: a necessidade de mais aprendizagem prática e direta; a necessidade de atualizar habilidades em inteligência artificial e ferramentas digitais; e a necessidade de preparar melhor os alunos para o mercado de trabalho. Por exemplo, o sistema descobriu que, embora os alunos de um programa de aeroespacial estivessem geralmente satisfeitos, eles especificamente queriam mais acesso a modelos de aeronaves e visitas de campo, um detalhe que poderia ser perdido em uma pontuação de satisfação geral simples.

Crucialmente, o estudo demonstrou que o sistema poderia manter a justiça entre diferentes grupos. Antes dos ajustes, o sistema mostrava pequenos vieses onde poderia ser menos preciso para certos departamentos ou funções de stakeholders. Ao aplicar correções específicas, os pesquisadores trouxeram essas lacunas para um nível que atendia aos rigorosos padrões de governança, garantindo que nenhuma voz fosse sistematicamente ignorada. O sistema também provou que poderia alinhar suas sugestões com as ações reais tomadas pela universidade. Quando os pesquisadores compararam as recomendações do computador com as cartas oficiais de "ação tomada" e as atas de comitê da universidade, encontraram uma forte correspondência, provando que o sistema não estava apenas gerando ideias, mas identificando as mesmas mudanças que a instituição já estava tentando realizar.

Os pesquisadores fazem questão de notar que isso não é uma varinha mágica que resolve todos os problemas educacionais automaticamente. O sistema é uma ferramenta de suporte, não um substitente para o julgamento humano. Ele não pode decidir qual é o melhor currículo; ele pode apenas organizar as evidências para que as pessoas que tomam essas decisões possam ver o quadro completo claramente. O estudo também destaca que, embora o sistema tenha funcionado bem dentro desta universidade específica, aplicá-lo em outros lugares exigiria ajustes locais para se adequar a diferentes culturas e regras. No entanto, o trabalho fornece um blueprint claro e reproduzível de como as universidades podem passar da coleta de feedback para o uso real deste, fechando o ciclo entre o que as pessoas dizem e o que as instituições fazem.

No fim, o estudo oferece uma nova maneira de pensar sobre a garantia de qualidade. Sugere que o valor do feedback não reside na pontuação final ou na classificação média, mas na evidência específica e acionável escondida nos comentários. Ao combinar análise computacional avançada com supervisão humana e um compromisso com a justiça, os pesquisadores mostraram que é possível transformar uma montanha caótica de papelada em um caminho claro e navegável para a melhoria. O sistema não diz apenas às universidades o que está errado; ele mostra exatamente onde olhar, por que isso importa e como consertar, mantendo a voz humana no centro do processo.