Framing, Judging, Steering: An Assessable Competency Model for Teach-ing Students to Reason With Generative AI

Résumé Technique : CoRe-3 – Un modèle de compétences évaluable pour enseigner aux étudiants le raisonnement avec l'IA générative

1. Le Problème

Les évaluations éducatives actuelles de l'utilisation de l'IA générative (GenAI) sont « sous-résolues ». Les cadres existants regroupent généralement la spécification de la tâche et l'affinement itératif en une seule compétence de « prompting » (incitation), ou se concentrent sur la littératie générale de l'IA (compréhension des mécanismes du système) plutôt que sur la performance. Cette résolution grossière crée un angle mort diagnostique : lorsqu'un apprenant produit de mauvais résultats avec l'IA, un score unique ne peut distinguer trois modes de défaillance distincts :

1. Échec de Cadrage (Framing Failure) : L'apprenant a mal spécifié la tâche, causant le fait que le modèle résolve le mauvais problème.
2. Échec de Jugement (Judging Failure) : L'apprenant n'a pas réussi à détecter des erreurs factuelles ou logiques dans un résultat plausible.
3. Échec de Pilotage (Steering Failure) : L'apprenat a détecté des erreurs mais a émis des corrections vagues ou inefficaces.

De plus, l'utilisation non critique de l'IA est corrélée au « déchargement cognitif » et à la « paresse métacognitive », où les apprenants contournent le travail cognitif de diagnostic et de révision. À mesure que les modèles absorbent davantage de capacités d'exécution, le rôle humain passe de l'exécution aux opérations que les systèmes ne peuvent effectuer de manière autonome : cadrer des tâches mal définies, juger les résultats et piloter le modèle. Les évaluations actuelles échouent à mesurer ces compétences distinctes et séparables.

2. Méthodologie

Les auteurs proposent le CoRe-3 (Co-Reasoning), un modèle de compétences décomposant l'utilisation productive de l'IA en trois compétences temporellement et cognitivement distinctes : le Cadrage (F - Framing), le Jugement (J - Judging) et le Pilotage (S - Steering).

Fondement Théorique :
Le modèle repose sur une architecture de surveillance-contrôle (étendant Nelson & Narens, 1990) où le niveau méta de l'apprenant supervise un niveau objet externe (l'IA).

• Cadrage : Une phase de définition de la tâche pré-génération (apprentissage auto-régulé) qui établit les normes de la solution.
• Jugement : Une phase de surveillance où l'apprenant évalue la sortie de l'IA par rapport à des normes internes (vigilance épistémique).
• Pilotage : Une phase de contrôle où l'apprenant émet un feedback correctif pour rediriger l'IA.
  Crucialement, le CoRe-3 sépare la compétence de pré-génération (Cadrage) de la compétence de correction post-génération (Pilotage), une distinction que les cadres précédents fusionnent.

Démonstration de l'instrument et de la faisabilité :
Les auteurs ont instancié le CoRe-3 dans CoReasoningLab, une plateforme web open-source. Pour démontrer la faisabilité sans dépendre d'une validation humaine immédiate, ils ont mené une expérience contrôlée utilisant des apprenants simulés :

• Design : Un plan factoriel croisé avec 80 apprenants simulés à travers 10 sujets distincts (ex: algorithmes, chimie organique, droit).
• Manipulation de la compétence : La compétence de chaque apprenant en F, J et S a été définie indépendamment comme « forte » ou « faible ».
• Génération et Notation : Les réponses des apprenants ont été générées par un modèle (gpt-4o-mini) et notées par un autre modèle (gpt-4o) pour éviter l'auto-notation. Trois backends de notation (incluant llama-3.3-70b) ont été utilisés pour tester la robustesse.
• Mécanisme de notation :
  • Cadrage : Évalué par rapport à un cadrage de référence et une grille de correction.
  • Jugement : Évalué par rapport à une vérité terrain injectée par machine contenant des défauts (mesurant le rappel/précision).
  • Pilotage : Évalué par rapport à la trajectoire d'amélioration de la sortie à travers les cycles.

3. Contributions Clés

1. Un Modèle de Compétences Décomposé : Le CoRe-3 est le premier modèle théoriquement fondé qui sépare l'utilisation productive de la GenAI en trois compétences indépendantes et évaluables (FJS), distinguant explicitement le Cadrage de pré-génération du Pilotage de post-génération.
2. Unification Théorique : Le modèle associe ces compétences à des théories établies (surveillance/contrôle métacognitif, apprentissage auto-régulé, vigilance épistémique) sous une seule architecture de surveillance-contrôle « exo-dirigée ».
3. Propositions Testables : L'article propose cinq hypothèses, incluant la relation de « filtrage » (le Cadrage limite la boucle ; le Jugement limite le Pilotage) et la Proposition de Dissociation (P3), qui affirme que la maîtrise d'une compétence n'implique pas la maîtrise d'une autre.
4. Démonstration de Faisabilité : Les auteurs fournissent un instrument et des données montrant que ces trois compétences peuvent être notées automatiquement et qu'elles sont empiriquement séparables.
5. Artéfact Ouvert : La publication de la plateforme CoReasoningLab, du moteur de notation (16 prompts), du jeu de données et d'un protocole pour la validation par des évaluateurs humains.

4. Résultats

La démonstration de faisabilité a fourni des preuves soutenant la Proposition de Dissociation (P3) et la validité de l'instrument :

• Discrimination : Les notes ont évolué de manière monotone avec la compétence manipulée. Lorsqu'une compétence spécifique était définie comme « forte », la note pour cette compétence augmentait significativement, tandis que les notes pour les autres compétences restaient stables.
• Dissociation : Les effets de la « propre compétence » étaient forts et statistiquement significatifs (Cadrage : +0,62 ; Pilotage : +0,43 sur une échelle de 3 points), tandis que les effets de « compétence croisée » étaient proches de zéro (moyenne +0,01). Cela indique que le correcteur distingue les compétences plutôt que de s'appuyer sur un seul facteur général d'« aptitude à l'IA ».
• Validité Convergente et Discriminante :
  • Convergente : La même compétence notée par différents backends de modèles présentait une forte concordance (corrélation de rang moyenne +0,57 pour le Cadrage, +0,67 pour le Jugement).
  • Discriminante : Différentes compétences notées par le même backend présentaient une corrélation proche de zéro.
  • Sensibilité de la population : Lorsque les apprenants simulés partageaient des niveaux de compétence identiques (tous forts ou tous faibles), l'instrument rapportait correctement des corrélations positives. Lorsque les compétences étaient indépendantes, il rapportait des corrélations proches de zéro, prouvant que l'instrument ne fabrique pas artificiellement de dissociation.
• Relation de Filtrage (Gating) : La corrélation entre le Jugement et le Pilotage était positive (+0,25), ce qui est cohérent avec la Proposition P2 (le Jugement agit comme un plafond pour le Pilotage), tandis que le Cadrage et le Jugement étaient non corrélés, démontrant leur indépendance.

5. Signification et Revendications

L'article affirme que le CoRe-3 offre un cadre de diagnostic qui dépasse la simple mesure de « l'accès à l'IA » ou de la « fluidité du prompting » pour mesurer les opérations cognitives spécifiques requises pour une collaboration humaine-IA productive.

• Modestie des Revendications : Les auteurs précisent explicitement qu'il s'agit d'une démonstration de faisabilité, et non d'une étude complète d'efficacité. Les résultats prouvent que les construits sont séparables et que l'instrument automatisé peut les détecter.
• Limites : L'étude utilise des apprenants simulés et des sorties notées par machine ; la concordance avec des experts humains et l'impact sur les résultats d'apprentissage réels (efficacité de l'apprentissage) sont réservés à de futures études de validation (Section 9.3).
• Argument Central : La signification réside dans la séparation elle-même. En découplant le Cadrage, le Jugement et le Pilotage, les éducateurs peuvent identifier exactement où le processus de l'apprenant échoue (ex: « l'étudiant a bien cadré la tâche mais a échoué à juger le résultat ») et fournir un enseignement ciblé. À mesure que les modèles d'IA s'améliorent et absorbent davantage d'exécution, la « compétence humaine évaluable » se déplace entièrement vers ces trois opérations, faisant du CoRe-3 un cadre durable pour l'avenir de l'éducation.