Hybrid E-Assessment in Higher Education: Semi-Automated Grading of Paper-Based Written Examinations

Résumé technique : L'évaluation électronique hybride dans l'enseignement supérieur

Problématique
L'article identifie une tension critique dans la transition vers l'évaluation électronique sommative dans l'enseignement supérieur : le conflit entre le besoin d'efficacité automatisée et la nécessité didactique de tâches de résolution de problèmes complexes et ouvertes. Les approches entièrement numériques, bien qu'offrant une automatisation élevée, sont souvent limitées à des formats de questions fermées (par exemple, des choix multiples) en raison de l'incapacité des systèmes actuels à noter de manière fiable les textes libres, les dérivations mathématiques, les croquis ou les processus de raisonnement complexes. Cette limitation impose un « rétrécissement didactique », où les tâches d'évaluation sont redessinées pour s'adapter aux contraintes techniques plutôt qu'aux objectifs pédagogiques. De plus, les examens sommatifs entièrement numériques imposent des charges organisationnelles et techniques importantes, notamment l'exigence d'un grand nombre de postes de travail synchronisés, des protocoles de surveillance stricts et une sécurité robuste contre la manipulation, ce qui est particulièrement difficile pour de larges cohortes d'étudiants. À l'inverse, les approches partiellement numériques (par exemple, les systèmes basés sur le scan) souffrent souvent de mises en page rigides et d'une faible densité de questions, ne parvenant pas à reproduire la flexibilité des examens papier traditionnels.

Méthodologie
Les auteurs proposent une approche d'évaluation électronique hybride qui conserve la flexibilité didactique des examens sur papier tout en introduisant une notation semi-automatisée. La méthodologie repose sur les principes suivants :

1. Codage de lacunes structuré : Les tâches d'examen sont conçues comme des problèmes ouverts et orientés sur les problèmes (par exemple, des dérivations en physique ou des requêtes de bases de données). Cependant, des résultats intermédiaires spécifiques pertinents pour l'évaluation sont encodés dans un format structuré. Les étudiants effectuent l'intégralité du raisonnement et du calcul à la main, mais doivent transférer leurs réponses finales pour des étapes spécifiques dans des champs de réponse prédéfinis.
2. Options de réponse basées sur des lettres : Au lieu d'une saisie de texte libre, chaque lacune correspond à un ensemble fixe d'options basées sur des lettres (par exemple, A–Z). Ce large éventail d'options minimise la probabilité de bonnes réponses par hasard sans forcer l'ensemble de la tâche dans un format fermé.
3. Capture de données et reconnaissance : Les lettres manuscrites saisies par les étudiants dans le tableau de réponses sont capturées par numérisation. Le principal défi technique abordé est la reconnaissance fiable de ces caractères manuscrits dans des conditions d'examen réalistes.
4. Mécanisme de validation : Le système utilise un principe de validation en deux passages combiné à des modèles de langage de grande taille (LLM) dotés de capacités de vision. Le processus de reconnaissance compare les caractères capturés à une clé de correction pour réduire les erreurs de classification.

Principales contributions

• Architecture hybride : L'article introduit un flux de travail qui découple la conception de la tâche (qui reste ouverte et sur papier) de la capture de la réponse (qui est structurée pour l'automatisation). Cela permet l'évaluation de processus de raisonnement complexes sans sacrifier l'efficacité de la notation automatisée.
• Intégration de LLM dotés de capacités de vision : Les auteurs soulignent l'application des récents modèles de langage de grande taille capables de vision pour résoudre le goulot d'étranglement de la reconnaissance de caractères manuscrits dans un environnement de test à enjeux élevés, allant au-delà des limitations traditionnelles de l'OCR (reconnaissance optique de caractères).
• Préservation didactique : En utilisant un « format de codage » pour les résultats intermédiaires, l'approche préserve la nature orientée vers l'apprentissage de l'examen (où les étudiants doivent dériver la solution) tout en permettant l'automatisation du flux de travail de notation.

Résultats et affirmations
L'article ne présente pas de données empiriques issues d'un déploiement à grande échelle, mais propose plutôt une analyse théorique et technique du cadre proposé. Les auteurs affirment que cette approche :

• Réduit les erreurs de classification : La combinaison de LLM dotés de capacités de vision, d'un principe de validation en deux passages et de la comparaison avec une clé de correction améliore considérablement la fiabilité de la reconnaissance des caractères manuscrits.
• Améliore la validité et l'équité : En permettant de noter des tâches complexes et orientées sur les problèmes de manière semi-automatique, le système soutient une mesure plus valide des compétences des étudiants par rapport aux formats restreints des examens entièrement numériques.
• Améliore l'évolutivité : La méthode répond aux contraintes organisationnelles des larges cohortes en automatisant la notation des résultats intermédiaires structurés sans nécessiter un environnement d'examen entièrement numérique.

Signification
La signification de ce travail réside dans sa proposition de concilier les demandes opposées de l'évaluation moderne : le besoin de notation automatisée et évolutive, et l'exigence de tâches riches didactiquement et ouvertes. L'article soutient que la technologie doit soutenir la notation et le post-traitement des examens sans contraindre la conception même des tâches. En maintenant le format papier pour le processus de résolution de problèmes et en ne numérisant que la capture structurée des résultats, ce modèle hybride offre une voie viable pour la mise en œuvre de la notation semi-automatisée dans les évaluations sommatives où les solutions entièrement numériques sont actuellement insuffisantes.