From Agent Labels to Accountable Deployment: Evidence Maturity and Meaningful Human Oversight for Agentic AI in Higher Education

La educación superior se encuentra en un punto de inflexión silencioso pero significativo. Durante años, la inteligencia artificial en las aulas ha funcionado de forma muy parecida a un bibliotecario muy rápido y muy culto. Un estudiante hace una pregunta y el sistema proporciona una respuesta. Si la respuesta es errónea, el estudiante simplemente vuelve a preguntar o consulta otra fuente. El riesgo se limita a un momento de confusión. Pero está empezando a surgir una nueva generación de software que hace más que solo hablar. Estos sistemas, a menudo llamados inteligencia artificial "agéntica", pueden hacer cosas. Pueden desglosar un objetivo grande en pasos más pequeños, elegir qué herramientas utilizar, recopilar información de diferentes lugares y luego ejecutar un plan sin una dirección humana constante. Imagine un sistema que no solo redacta un ensayo para un estudiante, sino uno que puede redactar el ensayo, verificar las fuentes, entregarlo en un portal de calificaciones y luego enviar un correo electrónico al profesor con un resumen del trabajo realizado. Este cambio de responder preguntas a realizar acciones cambia la naturaleza del riesgo. Cuando un sistema solo habla, un error es solo una frase incorrecta. Cuando un sistema actúa, un error puede alterar el expediente de un estudiante, exponer datos privados o desencadenar una cadena de eventos que es difícil de revertir.

La pregunta que enfrentan las universidades hoy en día no es si estas poderosas herramientas funcionan, sino si sabemos lo suficiente como para dejarlas funcionar por su cuenta. Una nueva revisión crítica del investigador Abhishek Dey, de la Universidad Estatal de los Urales del Sur, examina el estado actual de esta tecnología en la educación superior. El estudio no analiza la tecnología de forma aislada; en su lugar, plantea una pregunta ética difícil: ¿tenemos suficientes pruebas de que estos sistemas son seguros, justos y beneficiosos antes de entregarles las llaves de decisiones importantes? La revisión analiza docenas de estudios e informes existentes para averiguar qué es lo que la evidencia realmente respalda y dónde permanecen las brechas. Los hallazgos sugieren que, si bien estos sistemas pueden mejorar tareas específicas y pequeñas, la evidencia aún no es lo suficientemente sólida como para justificar permitirles tomar decisiones importantes sobre el futuro de los estudiantes.

La revisión comienza aclarando qué se considera un "agente". No todos los chatbots o herramientas automatizadas encajan en esta descripción. Para ser considerado un verdadero agente, un sistema debe ser capaz de planificar una secuencia de acciones, recordar el contexto de conversaciones anteriores, utilizar herramientas externas y verificar su propio trabajo. Muchos estudios en este campo confunden estos sistemas avanzados con otros más simples que solo generan texto. Esta confusión ha llevado a lo que el autor llama "inflación de etiquetas", donde cualquier herramienta automatizada se describe como un agente, e "inflación de resultados", donde pequeñas mejoras en la apariencia o el sonido de un sistema se confunden con mejoras reales en cuánto aprenden los estudiantes. La revisión encuentra que la literatura está saturada de estas afirmaciones amplias, pero la evidencia es a menudo frágil. La prueba más sólida existe para determinar qué tan bien estos sistemas producen artefactos específicos, como una pieza de retroalimentación sobre la escritura de un estudiante. Sin embargo, la evidencia se debilita considerablemente cuando se analiza si los estudiantes realmente aprenden más, si el sistema trata a todos con justicia o si reduce la carga de trabajo de los profesores a largo plazo.

Uno de los hallazgos más impactantes es que los estudios más prometedores suelen ser experimentos cortos de un solo sitio que no cuentan toda la historia. Por ejemplo, un estudio probó un sistema que daba retroalimentación a estudiantes de ciencias de secundaria. El sistema, utilizando dos agentes diferentes para verificar el trabajo del otro, redujo significamente la cantidad de veces que daba elogios excesivos o inventaba hechos. Este es un éxito técnico claro. Sin embargo, el estudio no mostró si los estudiantes realmente aprendieron más ciencia gracias a esta retroalimentación, o si los profesores ahorraron tiempo tras tener que verificar el trabajo del agente. Otro estudio analizó un sistema utilizado en una oficina de admisiones universitarias para responder preguntas de solicitantes. El sistema respondió miles de preguntas de forma rápida y precisa, con muy pocos errores. Pero esto fue un ensayo de dos semanas. No mostró cómo manejaría el sistema un semestre completo de admisiones, cómo afectaría a la equidad de quién es aceptado, o cómo cambiaría la carga de trabajo del personal que debe gestionar el proceso. La revisión concluye que, si bien estos sistemas son técnicamente impresionantes, todavía estamos en las primeras etapas de comprensión de su impacto en el mundo real.

La revisión también destaca una brecha crítica en la forma en que gestionamos estos sistemas. Muchos informes hablan de "supervisión humana", sugiriendo que un profesor o administrador está observando al sistema. Pero la revisión argumenta que tener a un humano presente no es lo mismo que tener un control efectivo. La verdadera supervisión significa que el humano puede ver lo que el sistema está haciendo, detenerlo si algo sale mal y revertir sus acciones si se comete un error. En muchas configuraciones actuales, el humano es solo un sello de aprobación, validando resultados sin la capacidad de comprender los complejos pasos que el sistema siguió para llegar allí. Esto es peligroso porque, si un sistema toma una mala decisión, la persona a cargo puede no tener las herramientas para corregirla. La revisión señala que, sin una supervisión sólida y probada, no podemos éticamente permitir que estos sistemas tomen decisiones que afecten la vida de las personas, como calificar exámenes o decidir quién entra en un programa.

Para resolver este desajuste entre lo que los sistemas pueden hacer y lo que sabemos de ellos, el autor propone un nuevo marco llamado Autonomía-Supervisión-Evidencia. Este marco sugiere que la libertad que le damos a una inteligencia artificial nunca debe exceder la fuerza de la prueba de que es segura, ni la fuerza del control humano que tenemos sobre ella. El marco desglosa la autonomía en niveles, desde un sistema que simplemente escribe una oración en respuesta a un comando, hasta un sistema que puede tomar decisiones trascendentales sobre el futuro de un estudiante. También desglosa la evidencia en niveles, desde una simple prueba informática hasta un ensayo de largo plazo en el mundo real a través de muchas escuelas. La regla es simple: no puedes darle a un sistema una libertad de alto nivel a menos que tengas una evidencia de alto nivel y un control humano de alto nivel. Si la evidencia es débil, o si la supervisión humana es solo una formalidad, los permisos del sistema deben mantenerse estrechos y reversibles.

Las implicaciones de este hallazgo son significativas para la forma en que las universidades avanzan. La revisión no argumenta que estos sistemas deban prohibirse. En su lugar, aboga por un enfoque cauteloso y medido. Las universidades no deben asumir que un sistema que funciona bien en un laboratorio funcionará bien en un aula real. Necesitan probar estas herramientas en sus propios contextos específicos, observando cuidadosamente quién se beneficia y quién podría ser perjudicado. Deben asegurarse de que los profesores y el personal tengan el poder de detener el sistema y que los estudiantes tengan una forma de desafiar las decisiones tomadas por la máquina. La revisión enfatiza que la carga de la prueba recae en la institución. Antes de entregar cualquier autoridad real a un agente artificial, la escuela debe demostrar que tiene la evidencia para respaldarlo y las personas necesarias para gestionarlo.

En última instancia, el artículo sirve como un llamado a la claridad y la responsabilidad. La tecnología se mueve rápido, evolucionando de herramientas que responden preguntas a sistemas que toman acciones. Pero la evidencia de su seguridad y equidad no ha seguido el mismo ritmo. La revisión encuentra que, si bien estos agentes pueden mejorar ciertas tareas, aún no estamos listos para confiarles las grandes decisiones que dan forma a la educación de un estudiante. El camino a seguir no es detener la innovación, sino reducir la velocidad y construir las salvaguardas necesarias. Al igual que el poder del sistema se equilibre con la fuerza de la evidencia y la calidad del control humano, las universidades pueden asegurar que estas poderosas herramientas sirvan a los estudiantes sin comprometer los valores de justicia, rendición de cuentas y aprendizaje. El objetivo no es prevenir el futuro, sino asegurarse de que, cuando llegue, esté construido sobre una base de verdad y confianza.