💻 computer science

Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

Cette étude emploie la recherche basée sur la conception pour démontrer qu'un assistant de codage GPT personnalisé, lorsqu'il est intégré à des invites structurées et à un flux de travail collaboratif centré sur l'humain, soutient efficacement le codage déductif des dialogues de classe tout en soulignant que le succès de la collaboration humain-IA dépend de l'interaction dynamique entre l'architecture des invites, le séquençage du flux de travail et la posture du chercheur envers l'IA.

Auteurs originaux : Luwei Bai, Dongkeun Han, Sara Hennessy

Publié 2026-07-13

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luwei Bai, Dongkeun Han, Sara Hennessy

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de décoder un langage secret parlé dans une salle de classe. Des enseignants et des élèves ont une conversation profonde et complexe, et votre travail consiste à classer chaque phrase dans des catégories spécifiques comme « Raisonnement », « Invitation à la réflexion » ou « Accord ». Le faire à la main, c'est comme essayer de boire à l'aide d'une lance à incendie : c'est épuisant, cela prend un temps infini et votre cerveau fatigue.

Entrez le Customised GPT Coding Assistant (CGCA). Ne voyez pas cette IA comme un robot magique qui sait tout, mais comme un stagiaire très intelligent et très rapide à qui l'on a donné un manuel de règles spécifique (appelé le Cambridge Dialogue Analysis Scheme) et quelques phrases d'exemple pour étudier. Les chercheurs de l'Université de Cambridge voulaient voir : Pouvons-nous entraîner ce stagiaire à faire le gros du travail ? Et comment travailler ensemble sans que le stagiaire ne prenne le dessus ou que l'humain ne s'agace ?

Voici ce qu'ils ont trouvé, présenté avec quelques métaphores pour que ce soit clair.

1. L'« stagiaire » a besoin des bonnes instructions (Prompt Engineering)

Au début, les chercheurs ont simplement tendu l'intégralité du manuel de règles à l'IA en disant : « Allez-y ! ». Le résultat ? L'IA était confuse. C'était comme donner à un nouvel employé un manuel de 500 pages et s'attendre à ce qu'il sache exactement quoi faire dès le premier jour. La précision de l'IA était faible, descendant parfois jusqu'à 6,7 % pour certaines catégories.

Les chercheurs ont réalisé que l'IA possède un « cerveau » qui fonctionne différemment de celui d'un humain. Elle est submergée si vous lui donnez trop de texte à la fois. Ils ont donc commencé le prompt engineering. Cela revient à réécrire les instructions pour le stagiaire. Au lieu d'un immense mur de texte, ils ont :

Décomposé les règles en un « arbre de décision » (Si X se produit, alors fais Y).
Donné à l'IA moins d'exemples, mais de meilleurs exemples (environ 5 à 15 soigneusement choisis au lieu de centaines).
Rendu les instructions étape par étape.

Le Résultat : Après ces ajustements, la précision de l'IA a bondi à 64,9 %. Ce n'est pas parfait (les humains sont généralement d'accord entre eux environ 70 à 75 % du temps), mais c'est suffisant pour être un assistant utile. L'article suggère que le simple fait de copier-coller le manuel de formation d'un humain dans un prompt informatique ne fonctionne pas ; il faut restructurer les instructions pour qu'elles correspondent à la façon dont l'IA réfléchit.

2. Qui commence ? La danse « Humain-Premier » vs « IA-Premier »

Les chercheurs ont testé deux façons de travailler avec cet assistant IA. Ils ont fait tester aux six chercheurs en éducation (certains nouveaux dans le codage, d'autres experts) les deux méthodes sur 55 tours de dialogue de classe.

Condition A (Humain-Premier) : L'humain code la phrase en premier, puis demande à l'IA : « Qu'en penses-tu ? »
Condition B (IA-Premier) : L'humain demande à l'IA : « Qu'en penses-tu ? » en premier, puis l'humain décide s'il est d'accord.

Les Résultats :
Lorsque l'humain passait en premier, l'accord entre l'humain et le « standard de référence » (le codeur expert original) était d'environ 0,40 (une mesure de leur correspondance).
Lorsque l'IA passait en premier, ce chiffre est monté légèrement à 0,45.
Note : L'article précise que cette différence est faible et n'est pas statistiquement « prouvée » comme étant une grande victoire car le groupe était très petit, mais la tendance suggère que commencer par l'IA peut aider les gens à mieux respecter les règles.

De plus, lorsque l'IA passait en premier, les humains terminaient le travail plus rapidement. Cependant, les chercheurs ont remarqué quelque chose de subtil : dans le groupe « IA-Premier », certaines personnes avaient l'impression de simplement vérifier le travail de l'IA, tandis que dans le groupe « Humain-Premier », elles avaient l'impression d'être vérifiées par l'IA.

3. L'ingrédient secret : Comment vous traitez l'IA

C'est la partie la plus intéressante. Les chercheurs ont découvert que la façon dont l'humain se sentait vis-à-vis de l'IA importait plus que l'ordre des opérations. Ils ont identifié deux « personnalités » distinctes dans la manière dont les codeurs travaillaient :

Le Partenaire « Dialogique » (Les Collaborateurs)
Environ la moitié de l'équipe (Participants C, D et E) traitait l'IA comme un ami critique ou un partenaire de débat.

La Métaphore : Imaginez jouer au tennis avec un partenaire qui vous renvoie la balle pour que vous puissiez la frapper plus fort. Ils ne faisaient pas une confiance aveugle à l'IA, mais utilisaaient ses suggestions pour tester leur propre réflexion. « Hmm, l'IA dit que c'est un 'Raisonnement'. Pourquoi ? Ah, je vois, à cause du mot 'parce que'. D'accord, je suis d'accord. »
Le Résultat : Même si certains de ces gens étaient des débutants en codage, ils ont en fait le plus progressé. Ils ont utilisé l'IA comme un outil pour les aider à apprendre et à affiner leurs décisions.

Le Guetteur « Supervisé » (Les Sceptiques)
L'autre moitié (Participants A, B et F) traitait l'IA comme un suspect ou une machine qui nécessite une vérification constante.

La Métaphore : Imaginez un agent de sécurité qui pense que la caméra est cassée et qui essaie constamment de prouver qu'elle a tort. Ils disaient des choses comme : « Je vérifie ChatGPT » ou « Je ne pense pas que ce soit un collègue ». Ils gardaient leurs distances, refusant d'avoir une « conversation » avec l'outil.
Le Résultat : Ces personnes n'ont pas autant progressé. Leur précision de codage est restée plus basse, et elles ont passé moins de temps à s'engager dans le raisonnement de l'IA. Elles étaient tellement concentrées sur la vérification de l'IA qu'elles ont manqué l'occasion de collaborer avec elle.

4. Ce que l'article écarte

Il est important de savoir ce que cette étude ne fonctionne pas :

Ce n'est PAS une solution magique : Vous ne pouvez pas simplement jeter une énorme pile de données et un manuel de règles standard dans une IA et vous attendre à ce qu'elle fonctionne parfaitement. L'article soutient explicitement que « le transfert direct d'un code de formation humain dans un prompt est insuffisant ».
Ce n'est PAS un remplacement pour la compétence : L'étude ne prétend pas que l'IA transforme instantanément les humains en experts. En fait, un participant (Participant E) a commencé par se soumettre à l'IA par manque de confiance, avant d'apprendre plus tard à juger le travail de l'IA de manière critique. L'article suggère que cela pourrait être un boost temporaire de confiance, et non nécessairement un saut permanent vers une compétence indépendante.
Ce n'est PAS une solution « taille unique » : L'article soutient qu'il n'existe pas de manière parfaite pour utiliser l'IA. Ce qui fonctionne pour un partenaire « dialogique » peut ne pas fonctionner pour un guetteur « supervisé ».

5. À quel point sommes-nous sûrs ?

Les chercheurs sont prudents dans leurs propos. Ils disent que leurs résultats suggèrent qu'une approche « dialogique » (traiter l'IA comme un partenaire) mène à de meilleurs résultats. Ils suggèrent que commencer par l'IA (IA-premier) peut aider à la cohérence.

Le niveau de confiance : L'étude est une exploration à « petite échelle » avec seulement six personnes. Les auteurs admettent qu'en raison de la petite taille du groupe, ils ne peuvent pas affirmer avec certitude que la méthode « IA-premier » est définitivement meilleure ; ils peuvent seulement dire que les chiffres tendent vers cela.
La précision : L'IA a atteint une précision de 64,9 %. L'article précise que cela « approche » le niveau d'accord humain de 70–75 %, mais n'y est pas encore. C'est un « outil de support à la décision structuré », et non un corrigé final.

La vue d'ensemble

Cette étude dépeint la collaboration humain-IA non pas comme un simple scénario de « l'humain contre la machine » ou de « la machine faisant le travail », mais comme une danse dynamique.

Le succès de la danse dépend de trois éléments qui bougent ensemble :

Les Pas (La conception de l'IA) : Les instructions doivent être simples, étape par étape et adaptées au cerveau de l'IA (comme un arbre de décision).
La Musique (Le contexte) : L'ordre des opérations (qui commence en premier) change le rythme.
L'État d'esprit du Danseur (L'humain) : Si vous traitez l'IA comme un partenaire pour apprendre, vous dansez mieux. Si vous la traitez comme un ennemi à surveiller, vous trébuchez.

L'article conclut que l'IA dans la recherche est un processus socio-technique. Il ne s'agit pas seulement du code, mais aussi de la façon dont l'humain se sent, pense et interagit avec l'outil. Pour un adolescent curieux, la leçon est la suivante : l'outil n'est aussi bon que la relation que vous construisez avec lui. Si vous le traitez comme un coéquipier intelligent, il vous aide à grandir. Si vous le traitez comme un étranger suspect, il reste simplement là, attendant d'être vérifié.

Résumé technique : Collaboration humain–IA dans le codage déductif des dialogues de classe

Énoncé du problème
Le dialogue en classe est un mécanisme critique pour la co-construction des connaissances et le développement cognitif, pourtant son analyse systématique via le codage déductif constitue un goulot d'étranglement. Le codage manuel utilisant des cadres établis comme le Cambridge Dialogue Analysis Scheme (CDAS) est cognitivement exigeant, chronophage et difficile à passer à l'échelle. Bien que les modèles de langage de grande taille (LLM) offrent un potentiel pour automatiser l'analyse qualitative, les approches supervisées conventionnelles nécessitent de grands ensembles de données annotées, souvent indisponibles dans la recherche éducative spécialisée. De plus, il existe un manque de compréhension empirique sur la manière de mettre en œuvre de manière pratique des systèmes conversationnels légers et configurés pour le codage déductif, ainsi que sur la façon dont le processus de collaboration humain–IA se déroule dans ce contexte spécifique.

Méthodologie
L'étude a employé une approche de recherche basée sur la conception (DBR) combinée à un plan quasi-expérimental intra-sujet pour répondre à trois questions de recherche : (1) comment optimiser un Assistant de Codage GPT Personnalisé (CGCA) pour le codage déductif avec des données limitées ; (2) comment la séquence de flux de travail (Humain-d'abord vs IA-d'abord) affecte la collaboration ; et (3) quels facteurs au niveau de l'utilisateur influencent les modèles de collaboration.

Développement du système (RQ1) : Les chercheurs ont développé de manière itérative un CGCA fondé sur le cadre CDAS. Les tentatives initiales utilisant un transfert direct du codebook humain n'ont pas permis d'atteindre une performance fiable. Les itérations suivantes se sont concentrées sur des stratégies d'ingénierie de prompt, incluant :
- Architecture d'instruction : Passer de simples listes de règles à une logique d'arbre de décision, des structures si–alors (if–else) et une segmentation modulaire pour réduire la charge cognitive et s'aligner sur les contraintes de traitement des LLM.
- Sélection d'exemplaires : Sélectionner un petit ensemble d'exemples de haute qualité et diversifiés (5 à 15 par catégorie, incluant des cas de base, ambigus et limites) plutôt que de compter sur de grands volumes de données non différenciées.
- Boucles de rétroaction : Incorporer des étapes de vérification interactives pour encourager la classification basée sur des règles plutôt que sur la simple reconnaissance de formes de surface.
- Évaluation : Le CGCA final a été testé contre 1 386 tours de parole de dialogues authentiques codés par des humains issus de leçons d'écoles primaires, évalué selon la précision, le rappel, l'exactitude et le score F1.
Étude de collaboration (RQ2 & RQ3) : Six chercheurs en éducation (aux niveaux de compétence de codage et d'expérience en IA variés) ont participé à deux conditions de flux de travail :
- Condition A (Humain-d'abord) : Les codeurs assignent les étiquettes de manière indépendante avant de consulter le CGCA.
- Condition B (IA-d'abord) : Les codeurs examinent les sorties du CGCA avant de finaliser leurs propres étiquettes.
- Collecte de données : Les données comprenaient des registres de codage, des journaux de discussion GPT complets, des protocoles de pensée à voix haute (think-aloud) et des entretiens post-tâche (incluant le rappel stimulé).
- Analyse : L'analyse quantitative a mesuré la fiabilité inter-juges (kappa de Cohen, $\kappa$ ) par rapport à un codage de référence. L'analyse qualitative a utilisé une approche thématique inductive pour identifier les facteurs façonnant la collaboration, caractérisés sur une échelle ordinale (faible–modérée–forte) basée sur les preuves discursives.

Résultats clés

Performance du système (RQ1) : Le CGCA de base initial présentait une faible précision (6,7 % – 38,2 %). Grâce à l'affinement itératif de la structure du prompt et de la sélection des exemplaires, le système final a atteint une précision de 64,9 % au niveau du tour de parole, approchant l'accord inter-codeurs de 70–75 % typique des experts humains. L'étude a montré que la clartie structurelle (arbres de décision, raisonnement par étapes) et des exemples riches en contexte étaient plus critiques que le volume pur d'exemples.
Impact du flux de travail (RQ2) : La condition IA-d'abord (Condition B) a produit des valeurs moyennes de kappa de Cohen légèrement plus élevées (M $\approx$ 0,45) que la condition Humain-d'abord (M $\approx$ 0,40), bien que la différence ne soit pas statistiquement significative en raison de la petite taille de l'échantillon. La Condition B était associée à une réduction du temps de codage par tour. L'analyse qualitative a révélé que la Condition B déclenchait souvent des effets d'ancrage, où les sorties initiales de l'IA influençaient le jugement humain ultérieur, tandis que la Condition A impliquait un raisonnement propre et une négociation basées sur les règles plus approfondis.
Facteurs utilisateurs et modèles de collaboration (RQ3) : L'étude a identifié deux orientations distinctes dans la manière dont les chercheurs interagissaient avec le CGCA :
1. Orientation dialogique : Les participants traitaient l'IA comme un « ami critique » ou un interlocuteur collaboratif. Ils utilisaient les sorties de l'IA pour externaliser leur raisonnement et recalibrer leurs décisions. Ce groupe, qui comprenait des codeurs novices, a démontré les améliorations de codage et les gains d'apprentissage les plus forts.
2. Orientation de supervision : Les participants considéraient l'IA comme un objet d'examen, maintenant une distance épistémique et se concentrant sur la vérification de la fiabilité du modèle plutôt que sur l'engagement dans le dialogue. Ce groupe a montré un raisonnement itératif moindre et de plus faibles gains de performance.
- Changement dynamique : La position n'était pas statique ; par exemple, un participant novice est passé d'une posture de déférence à une posture plus critique et négociée à mesure que sa confiance augmentait par l'interaction.

Contributions clés

Ingénierie de prompt pour le codage déductif : L'étude démontre qu'un codage déductif assisté par l'IA efficace nécessite d'adapter les procédures de codage humain pour s'ajuster aux contraintes des LLM. Plus précisément, décomposer les jugements complexes en logique d'arbre de décision et utiliser des exemplaires diversifiés et sélectionnés produit de meilleurs résultats que la simple insertion de codebooks volumineux ou d'exemples étendus.
Cadre socio-technique : L'article propose un cadre préliminaire conceptualisant la collaboration humain–IA dans le codage qualitatif comme un processus dynamique et réciproque. Il postule que les résultats sont conjointement déterminés par la conception du système CGCA (architecture du prompt), les conditions contextuelles (séquençage du flux de travail) et les caractéristiques du codeur humain (positionnalité, confiance, connaissances préalables).
Rôle de la positionnalité : Les résultats remettent en question l'idée que l'autorité humaine doive être strictement supervisée. Au lieu de cela, une posture « dialogique » — où l'humain conserve le contrôle évaluatif final mais traite l'IA comme un partenaire de raisonnement — semble produire une meilleure précision de codage et des gains d'apprentissage, particulièrement pour les codeurs moins expérimentés.

Signification et affirmations
Les auteurs affirment que le codage de dialogue assisté par l'IA doit être compris non pas simplement comme une tâche d'automatisation technique, mais comme un processus socio-technique dynamique. L'étude suggère que :

Implications de conception : Construire des outils d'IA efficaces demande plus que la traduction des règles humaines ; cela exige des architectures de prompts qui s'alignent sur la théorie de la charge cognitive et les limites de traitement des LLM.
Dynamiques de collaboration : L'efficacité de la collaboration humain–IA est fortement influencée par la positionnalité du codeur (la façon dont il perçoit sa relation avec l'IA). Traiter l'IA comme un partenaire collaboratif plutôt que comme un outil subordonné peut mener à de meilleurs résultats analytiques et à des gains d'apprentissage.
Équité dans le codage : Le CGCA peut fonctionner comme un « mécanisme de nivellement », réduisant l'écart de performance entre les codeurs novices et expérimentés lorsque le novice adopte une orientation dialogique.

Les auteurs restent modestes dans leurs affirmations, reconnaissant la petite échelle de l'étude (n=6), le contexte spécifique des classes primaires du Royaume-Uni et l'absence de preuves à long terme concernant le développement indépendant des compétences. Ils soulignent que les stratégies de mise en œuvre uniformes sont peu susceptibles d'être efficaces et que des recherches futures sont nécessaires pour valider ces résultats sur des échantillons plus larges et différents cadres de codage.