EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

Las universidades son lugares vastos y ricos en datos que a menudo luchan por convertir el enorme volumen de información que recopilan en acciones significativas. Cada año, estudiantes, profesores, exalumnos, padres y empleadores completan formularios, escriben comentarios y participan en comités para discutir qué tan bien está funcionando un currículo. Este feedback es la savia vital de la garantía de calidad, pero en muchas instituciones, se pierde en una niebla de lectura manual, gráficos de porcentajes simples y actas de comités que son difíciles de rastrear hasta decisiones específicas. El desafío central no es la falta de información, sino la falta de claridad: ¿cómo se toman miles de voces individuales, cada una con una perspectiva diferente y una forma diferente de hablar, y se traducen en un plan de mejora claro, justo y accionable?

Aquí es donde entra el campo de la minería de datos educativos, intentando usar computadoras para encontrar patrones en el feedback humano. Sin embargo, simplemente pedirle a una computadora que diga si un comentario es "bueno" o "malo" es a menudo un instrumento demasiado tosco. Un estudiante podría elogiar la energía de un profesor mientras simultáneamente se queja de que el curso carece de proyectos del mundo real. Para ser útil, un sistema necesita entender estos matices, identificar exactamente qué parte del currículo se está discutiendo y explicar por qué llegó a esa conclusión. Además, debido a que estas decisiones afectan la educación y las carreras de personas reales, el sistema no puede ser una caja negra; debe ser lo suficientemente transparente para que los líderes humanos confíen en sus sugerencias y verifiquen su imparcialidad.

Investigadores de la Universidad MIT Art, Design & Technology en la India han desarrollado un nuevo marco llamado EMSEIF para resolver este problema. En lugar de solo construir otra herramienta que prediga resultados, crearon un sistema completo que conecta el feedback bruto con cambios curriculares concretos manteniendo a un humano a cargo de la decisión final. El equipo probó su sistema utilizando un conjunto de datos masivo y real: los registros anuales de garantía de calidad de 2023–24 de su propia universidad. Este archivo era un documento de 1,542 páginas que contenía miles de formularios de feedback, tablas de calificaciones y cartas oficiales. Los investigadores convirtieron todo este archivo en una biblioteca digital estructurada de 8,742 unidades de feedback individuales, asegurando que cada pieza de datos fuera etiquetada con quién lo dijo, de qué departamento provenía y qué tema específico abordaba.

El corazón del sistema es su capacidad para escuchar diferentes voces sin aplanarlas. En una universidad típica, un estudiante podría pedir más "práctica práctica", mientras que un empleador podría pedir "exposición a la industria". Esto suena diferente, pero ambos están pidiendo lo mismo. Los investigadores enseñaron a su sistema a reconocer estas diferentes formas de hablar y agruparlas bajo un tema común, como "exposición práctica". También construyeron un mapa digital, conocido como grafo de conocimiento, que vincula estos temas con cursos específicos y objetivos de aprendizaje. Esto permite al sistema ver que una petición de "más proyectos" en un departamento está conectada con una petición de "mejor equipo" en otro, creando una imagen unificada de lo que necesita cambiar.

Para asegurar que el sistema sea confiable, los investigadores lo diseñaron para que fuera explicable. Cuando la computadora sugiere un cambio, no solo da una respuesta de sí o no. En su lugar, produce una "tarjeta de evidencia" que muestra exactamente qué palabras en el feedback llevaron a la sugerencia, qué tan segura está la computadora y si personas de diferentes grupos —como estudiantes y empleadores— están de acuerdo en el tema. Si el sistema detecta que está tratando injustamente a un grupo de personas, marca esto para revisión humana antes de que se realice cualquier recomendación. Este enfoque de "humano en el bucle" significa que la computadora se encarga del trabajo pesado de clasificar y analizar los datos, pero un líder académico humano siempre debe aprobar la acción final.

Los resultados del estudio mostraron que este enfoque funciona significativamente mejor que los métodos anteriores. Al ser probado contra modelos computacionales estándar, el nuevo sistema fue mucho más preciso al identificar problemas curriculares específicos y predecir qué feedback era accionable. Identificó con éxito tres áreas principales en las que todas las partes interesadas coincidieron en la necesidad de un cambio: la necesidad de un aprendizaje más práctico y manual; la necesidad de actualizar habilidades en inteligencia artificial y herramientas digitales; y la necesidad de preparar mejor a los estudiantes para el mercado laboral. Por ejemplo, el sistema encontró que, aunque los estudiantes de un programa de aeroespacial estaban generalmente satisfechos, específicamente querían más acceso a modelos de aeronaves y visitas de campo, un detalle que podría haberse pasado por alto en una simple puntuación de satisfacción general.

Crucialmente, el estudio demostró que el sistema podía mantener la equidad entre diferentes grupos. Antes de los ajustes, el sistema mostraba pequeños sesgos donde podía ser menos preciso para ciertos departamentos o roles de las partes interesadas. Al aplicar correcciones específicas, los investigadores redujeron estas brechas a un nivel que cumplía con estrictos estándares de gobernanza, asegurando que ninguna voz individual fuera sistemáticamente ignorada. El sistema también demostó que podía alinear sus sugerencias con las acciones reales tomadas por la universidad. Cuando los investigadores compararon las recomendaciones de la computadora con las cartas oficiales de "acción tomada" y las actas de comités de la universidad, encontraron una fuerte coincidencia, demostrando que el sistema no solo estaba generando ideas, sino identificando los mismos cambios que la institución ya estaba intentando realizar.

Los investigadores advierten cuidadosamente que esto no es una varita mágica que resuelve todos los problemas educativos automáticamente. El sistema es una herramienta de apoyo, no un reemplazo para el juicio humano. No puede decidir cuál es el mejor currículo; solo puede organizar la evidencia para que las personas que toman esas decisiones puedan ver el panorama completo con claridad. El estudio también destaca que, si bien el sistema funcionó bien dentro de esta universidad específica, aplicarlo en otros lugares requeriría ajustes locales para adaptarse a diferentes culturas y reglas. No obstante, el trabajo proporciona un plano claro y reproducible de cómo las universidades pueden pasar de la recopilación de feedback a su uso real, cerrando el ciclo entre lo que la gente dice y lo que las instituciones hacen.

Al final, el estudio ofrece una nueva forma de pensar sobre la garantía de calidad. Sugiere que el valor del feedback no reside en la puntuación final o en el promedio de calificación, sino en la evidencia específica y accionable oculta dentro de los comentarios. Al combinar el análisis computacional avanzado con la supervisión humana y un compromiso con la equidad, los investigadores han demostrado que es posible convertir una montaña caótica de papeleo en un camino claro y navegable para la mejora. El sistema no solo le dice a las universidades qué está mal; les muestra exactamente dónde mirar, por qué importa y cómo solucionarlo, manteniendo siempre la voz humana en el centro del proceso.