Thinking-Visibility: An Interventionist Reconceptualisation of Assessment in the Age of AI Co-Production

Résumé technique : La visibilité de la pensée : une reconceptualisation interventionniste de l'évaluation à l'ère de la co-production par l'IA

Problématique
L'article traite d'un paradoxe structurel dans l'éducation contemporaine : alors que les éducateurs intègrent de plus en plus l'IA générative (IAGen) dans leur pratique professionnelle, les critères d'évaluation restent conçus pour une autorship humaine indépendante. La littérature actuelle se concentre lourdement sur la surveillance de l'intégrité, la détection de la triche et le recadrage de la validité, mais ne parvient pas à fournir de comptes rendus empiriquement fondés sur la manière dont les critères d'évaluation se transforment lorsque la co-production par l'IA est structurellement intégrée au travail de l'étudiant. Les solutions existantes, telles que la documentation du processus, s'avèrent elles-mêmes vulnérables à la génération par l'IA, laissant les praticiens sans cadres exploitables et les décideurs sans fondement probant. Le problème central est l'incapacité des critères traditionnels à déterminer si les étudiants évaluent réellement leur propre pensée ou s'ils délèguent ce jugement à l'IA, créant ainsi une crise d'authenticité et de validité.

Méthodologie
L'étude utilise la Théorie de l'Activité Culturelle-Historique (CHAT) comme lentille analytique et le Laboratoire de Changement comme méthodologie interventionniste. Cette approche traite les contradictions systémiques non pas comme des erreurs à éliminer, mais comme des moteurs de transformation.

• Participants : 11 éducateurs provenant de neuf pays (notamment le Royaume-Uni, la Nouvelle-Zélande, l'Indonésie et l'Arabie saoudite) issus des secteurs primaire, secondaire et tertiaire. Ils ont été positionnés comme co-chercheurs plutôt que comme sujets.
• Conception de l'intervention : Une intervention de cinq ateliers s'étalant sur trois semaines, structurée autour du cycle d'apprentissage expansif en sept étapes d'Engeström (Questionnement, Analyse, Modélisation, Examen, Mise en œuvre, Réflexion, Consolidation).
• Génération de données : Des « données miroirs » composées de trois copies d'étudiants présentant divers degrés d'utilisation de l'IA ont été introduites lors de l'Atelier 1 afin de faire émerger les contradictions entre les valeurs professionnelles et les critères existants. Les sources de données comprenaient les transcriptions d'ateliers, les artefacts collaboratifs (critères redessinés), les journaux de discussion (chat logs) et les réflexions pré/post-entretiens.
• Analyse : L'étude a suivi la transformation de l'« objet d'évaluation » (le but de l'activité) à travers l'intervention. Les perturbations observées dans les données miroirs ont été cartographiées selon des contradictions (primaires, secondaires, tertiaires et quaternaires) au sein du système d'activité, traçant une trajectoire allant du questionnement initial à un objet redéfini.

Résultats clés
L'intervention a révélé que les contradictions de l'évaluation ne sont pas de simples glitches techniques, mais des tensions systémiques profondes.

1. La trajectoire de l'objet (O1–O7) : L'étude a retracé empiriquement l'évolution de l'objet d'évaluation à travers sept étapes :
   • O1–O2 : Tentatives initiales de créer de meilleurs critères pour détecter l'IA et calibrer les niveaux cognitifs (taxonomie de Bloom).
   • O3–O4 : Un glissement vers l'évaluation de la rigueur du processus, où un produit défaillant résultant d'un processus rigoureux est perçu comme un accomplissement. Cependant, les participants ont découvert que la documentation du processus elle-même pouvait être générée par l'IA, menant à la réintroduction du jugement de l'enseignant comme un outil épistémique nécessaire, bien que risqué.
   • O5–O7 : La réalisation que la seule réforme des critères est insuffisante. L'objet s'est étendu pour inclure une évaluation à double voie (processus formatif + compétence sommative) et a finalement reconnu qu'une transformation complète nécessite une réforme institutionnelle et politique.
2. Le paradoxe processus-preuve : L'étude a conclu que la documentation du processus n'est pas une solution de validité sûre car elle est susceptible de subir la même génération par l'IA que le produit final.
3. Déplacement des contradictions : Bien que l'intervention ait partiellement traité les contradictions clés en déplaçant l'accent du produit vers le processus, la plupart des contradictions ont été déplacées plutôt que résolues. La fragmentation des politiques et le manque de soutien institutionnel sont restés inchangés.
4. Visibilité de la pensée : L'étude a identifié la nécessité de rendre la pensée de l'étudiant visible plutôt que de se limiter au produit ou aux étapes du processus. Cela a été opérationnalisé par des mécanismes tels que l'interrogation orale, l'annotation de prompts et les dialogues de responsabilité en direct.

Contributions clés
L'article apporte quatre contributions spécifiques à la littérature sur l'évaluation médiée par l'IA :

1. Opérationnalisation empirique de l'apprentissage expansif : Il fournit un compte rendu empirique de la trajectoire de l'objet O1–O7, démontrant comment les rencontres des praticiens avec les tensions systémiques remodèlent progressivement l'objet d'évaluation, allant au-delà de l'identification théorique des contradictions pour tracer leurs conséquences développementales.
2. Résolution du paradoxe processus-preuve : Il démontre que la documentation du processus ne peut garantir la validité de l'évaluation car elle est vulnérable à la génération par l'IA. Par conséquent, le jugement de l'enseignant est identifié comme une exigence irréductible — un mécanisme non substituable pour interpréter la cognition réelle, malgré ses risques inhérents d'incohérence et de biais.
3. Nécessité institutionnelle : Il établit que la réforme des critères ne peut réussir sans un changement institutionnel et politique parallèle. L'étude expose la profondeur de la résistance institutionnelle et la fragmentation des politiques (par exemple, les règles variables entre les examinateurs) qui rendent inefficaces les changements pédagogiques isolés.
4. La « visibilité de la pensée » comme construit théorique : L'article propose la « visibilité de la pensée » comme un construit provisoire pour nommer ce que l'évaluation doit positivement devenir dans les contextes médiés par l'IA. Il déplace l'accent de ce que l'évaluation doit cesser d'être (la surveillance) vers ce qu'elle doit devenir (rendre visibles le raisonnement de l'étudiant et l'appropriation des résultats de l'IA).

Signification et affirmations
L'article affirme que l'intégration de l'IA ne produit pas une amélioration linéaire simple de l'évaluation, mais crée un mouvement entre une stabilisation partielle et une régression, selon que les contradictions dans les critères, l'authenticité, l'équité et les politiques sont traitées collectivement.

• Portée modeste : Les auteurs reconnaissent que l'intervention n'a pas pleinement résolu toutes les contradictions ; beaucoup ont été déplacées. L'étude ne conclut pas par une solution achevée, mais par une « ouverture » pour une seconde intervention.
• Ancrage théorique : La signification réside dans la fourniture d'un ancrage théorique (« visibilité de la pensée ») pour reconceptualiser l'objet d'évaluation lui-même, dépassant la simple conception de principes de critères.
• Directions futures : L'article stipule explicitement que la définition de la « pensée » dans ce contexte et l'opérationnalisation de la visibilité de la pensée par des mécanismes plus résistants à la substitution par l'IA (par exemple, la présence en temps réel plutôt que la documentation) restent des questions ouvertes nécessitant de nouveaux tests empiriques. Il recommande une seconde intervention pour aborder la politique, la littératie des enseignants et le calibrage de la taxonomie de Bloom.