From Agent Labels to Accountable Deployment: Evidence Maturity and Meaningful Human Oversight for Agentic AI in Higher Education

L'enseignement supérieur se trouve à un tournant discret mais significatif. Pendant des années, l'intelligence artificielle dans les salles de classe a fonctionné un peu comme un bibliothécaire très rapide et très instruit. Un étudiant pose une question, et le système fournit une réponse. Si la réponse est erronée, l'étudiant n'a qu'à demander à nouveau ou à vérifier une autre source. Le risque est limité à un moment de confusion. Mais une nouvelle génération de logiciels commence à émerger, qui fait plus que simplement parler. Ces systèmes, souvent appelés intelligence artificielle « agentique », peuvent faire des choses. Ils peuvent diviser un objectif important en étapes plus petites, choisir quels outils utiliser, rassembler des informations provenant de différents endroits, puis exécuter un plan sans direction humaine constante. Imaginez un système qui ne se contente pas d'écrire une dissertation pour un étudiant, mais qui peut rédiger la dissertation, vérifier les sources, la soumettre à un portail de notation, puis envoyer un courriel au professeur avec un résumé du travail effectué. Ce passage de la réponse aux questions à l'exécution d'actions change la nature du risque. Lorsqu'un système ne fait que parler, une erreur n'est qu'une phrase incorrecte. Lorsqu'un système agit, une erreur peut altérer le dossier d'un étudiant, exposer des données privées ou déclencher une chaîne d'événements difficile à inverser.

La question à laquelle les universités sont confrontées aujourd'hui n'est pas de savoir si ces outils puissants fonctionnent, mais si nous en savons assez pour les laisser fonctionner seuls. Une nouvelle revue critique menée par le chercheur Abhishek Dey de l'Université d'État de l'Oural du Sud examine l'état actuel de cette technologie dans l'enseignement supérieur. L'étude n'examine pas la technologie de manière isolée ; elle pose plutôt une question éthique difficile : avons-nous suffisamment de preuves que ces systèmes sont sûrs, équitables et bénéfiques avant de leur remettre les clés de décisions importantes ? La revue passe au crible des dizaines d'études et de rapports existants pour découvrir ce que les preuves soutiennent réellement et où se situent les lacunes. Les conclusions suggèrent que, bien que ces systèmes puissent améliorer des tâches spécifiques et mineures, les preuves ne sont pas encore assez solides pour justifier de les laisser prendre des décisions majeures concernant l'avenir des étudiants.

La revue commence par clarifier ce qui constitue un « agent ». Tous les chatbots ou outils automatisés ne correspondent pas à cette description. Pour être considéré comme un véritable agent, un système doit être capable de planifier une séquence d'actions, de se souvenir du contexte d'une conversation précédente, d'utiliser des outils externes et de vérifier son propre travail. De nombreuses études dans le domaine confondent ces systèmes avancés avec des systèmes plus simples qui se contentent de générer du texte. Cette confusion a conduit à ce que l'auteur appelle une « inflation de l'étiquetage », où tout outil automatisé est décrit comme un agent, et une « inflation des résultats », où de petites améliorations dans l'apparence ou le ton d'un système sont confondues avec de réelles améliorations de l'apprentissage des étudiants. La revue constate que la littérature est encombrée de ces affirmations larges, mais que les preuves sont souvent fragiles. Les preuves les plus solides existent quant à la capacité de ces systèmes à produire des artefacts spécifiques, comme un commentaire sur l'écriture d'un étudiant. Cependant, les preuves s'affaiblissent considérablement lorsqu'il s'agit de savoir si les étudiants apprennent réellement davantage, si le système traite tout le monde équitablement ou s'il réduit la charge de travail des enseignants sur le long terme.

L'une des conclusions les plus frappantes est que les études les plus prometteuses sont souvent des expériences courtes et réalisées sur un seul site, qui ne racontent pas toute l'histoire. Par exemple, une étude a testé un système qui donnait des commentaires à des élèves de collège en sciences. Le système, utilisant deux agents différents pour vérifier le travail de l'autre, a considérablement réduit le nombre de fois où il faisait des éloges excessifs ou inventait des faits. Il s'agit d'un succès technique clair. Pourtant, l'étude n'a pas montré si les élèves apprenaient réellement plus de sciences grâce à ces commentaires, ou si les enseignants gagnaient du temps après avoir dû vérifier le travail de l'agent. Une autre étude a examiné un système utilisé dans un bureau d'admission universitaire pour répondre aux questions des candidats. Le système a répondu à des milliers de questions rapidement et avec précision, avec très peu d'erreurs. Mais il s'agissait d'un essai de deux semaines. Elle n'a pas montré comment le système gérerait un semestre complet d'admissions, comment il affecterait l'équité de ceux qui sont acceptés, ou comment il modifierait la charge de travail du personnel chargé de gérer le processus. La revue conclut que, bien que ces systèmes soient techniquement impressionnants, nous n'en sommes qu'aux premiers stades de la compréhension de leur impact réel.

La revue souligne également une lacune critique dans notre gestion de ces systèmes. De nombreux rapports parlent de « supervision humaine », suggérant qu'un enseignant ou un administrateur surveille le système. Mais la revue soutient que la présence d'un humain n'est pas la même chose qu'un contrôle effectif. Une véritable supervision signifie que l'humain peut voir ce que le système fait, l'arrêter s'il se trompe et inverser ses actions si une erreur est commise. Dans de nombreuses configurations actuelles, l'humain n'est qu'un tampon, approuvant les résultats sans avoir la capacité de comprendre les étapes complexes suivies par le système pour y parvenir. Cela est dangereux car si un système prend une mauvaise décision, la personne responsable peut ne pas disposer des outils nécessaires pour la corriger. La revue souligne que sans une supervision solide et testée, nous ne pouvons pas éthiquement laisser ces systèmes prendre des décisions qui affectent la vie des gens, comme la notation des examens ou la décision d'admission dans un programme.

Pour résoudre ce décalage entre ce que les systèmes peuvent faire et ce que nous savons d'eux, l'auteur propose un nouveau cadre appelé Autonomie-Supervision-Preuve. Ce cadre suggère que la liberté que nous accordons à une intelligence artificielle ne doit jamais excéder la force de la preuve qu'elle est sûre, ni la force du contrôle humain que nous exerçons sur elle. Le cadre décompose l'autonomie en niveaux, allant d'un système qui écrit simplement une phrase en réponse à une consigne, jusqu'à un système capable de prendre des décisions conséquentes sur l'avenir d'un étudiant. Il décompose également les preuves en niveaux, allant d'un simple test informatique à un essai de longue durée dans le monde réel à travers de nombreuses écoles. La règle est simple : vous ne pouvez pas donner à un système une liberté de haut niveau à moins d'avoir des preuves de haut niveau et un contrôle humain de haut niveau. Si les preuves sont faibles, ou si la supervision humaine n'est qu'une formalité, les permissions du système doivent rester étroites et réversibles.

Les implications de ce constat sont significatives pour la manière dont les universités progressent. La revue ne plaide pas pour l'interdiction de ces systèmes. Elle plaide plutôt pour une approche prudente et mesurée. Les universités ne doivent pas supposer qu'un système qui fonctionne bien en laboratoire fonctionnera bien dans une salle de classe réelle. Elles doivent tester ces outils dans leurs contextes spécifiques, en examinant attentivement qui en bénéficie et qui pourrait être lésé. Elles doivent s'assurer que les enseignants et le personnel ont le pouvoir d'arrêter le système et que les étudiants ont un moyen de contester les décisions prises par la machine. La revue souligne que la charge de la preuve incombe à l'institution. Avant de confier toute autorité réelle à un agent artificiel, l'établissement doit démontrer qu'il possède les preuves pour le soutenir et les personnes en place pour le gérer.

En fin de compte, l'article est un appel à la clarté et à la responsabilité. La technologie évolue rapidement, passant d'outils qui répondent à des questions à des systèmes qui prennent des mesures. Mais les preuves de leur sécurité et de leur équité n'ont pas suivi le même rythme. La revue conclut que, bien que ces agents puissent améliorer certaines tâches, nous ne sommes pas encore prêts à leur confier les grandes décisions qui façonnent l'éducation d'un étudiant. La voie à suivre n'est pas d'arrêter l'innovation, mais de ralentir et de construire les garde-fous nécessaires. En faisant correspondre la puissance du système avec la force de la preuve et la qualité du contrôle humain, les universités peuvent s'assurer que ces outils puissants servent les étudiants sans compromettre les valeurs d'équité, de responsabilité et d'apprentissage. L'objectif n'est pas d'empêcher l'avenir, mais de s'assurer que, lorsqu'il arrive, il soit construit sur un fondement de vérité et de confiance.