Can AI be a Teaching Partner? Evaluating ChatGPT, Gemini, and DeepSeek across Three Teaching Strategies

Cette étude comparative évalue les performances pédagogiques de ChatGPT, Gemini et DeepSeek en tant qu'agents d'enseignement pour le langage C, révélant que les deux premiers obtiennent de meilleurs résultats que DeepSeek, notamment dans l'application de la méthode socratique.

L'essentiel

Imaginez que vous essayez d'apprendre à conduire une voiture, mais au lieu d'avoir un moniteur humain à côté de vous, vous avez trois assistants virtuels très intelligents : ChatGPT, Gemini et DeepSeek.

L'objectif de cette étude était de savoir : Ces robots peuvent-ils vraiment enseigner, ou se contentent-ils de donner les réponses ?

Pour le savoir, les chercheurs ont mis ces trois "professeurs robots" à l'épreuve en leur demandant d'enseigner le langage de programmation C (un peu comme apprendre les règles de base de la mécanique) à des débutants. Ils ont testé trois méthodes d'enseignement différentes, comme si on changeait de style de cours.

Voici le résumé de l'expérience, expliqué simplement :

1. Les Trois Méthodes d'Enseignement (Les Outils du Professeur)

Les chercheurs ont demandé aux robots d'utiliser trois stratégies pédagogiques bien connues :

• La méthode des "Exemples" (Le Copier-Coller intelligent) :

  • L'idée : Au lieu de donner la solution complète, le robot montre un petit exemple similaire pour que l'élève comprenne le principe et trouve sa propre solution.
  • L'analogie : C'est comme si un prof de cuisine vous disait : "Regarde comment je coupe cette carotte, maintenant essaie de couper la tienne."
  • Résultat : Les trois robots étaient assez bons, mais ils avaient tendance à être un peu répétitifs. Gemini a été le meilleur pour faire le lien entre l'exemple abstrait et la réalité.

• La méthode des "Explications et Analogies" (Le Traducteur de concepts) :

  • L'idée : Le robot doit expliquer un concept difficile en utilisant une comparaison avec quelque chose de familier (une analogie).
  • L'analogie : Expliquer un tableau en informatique en le comparant à des tiroirs d'une commode.
  • Résultat : ChatGPT a brillé ici. Il a été le plus clair, le plus cohérent et le plus utile. DeepSeek a eu plus de mal à s'adapter au niveau de l'élève et a parfois donné des explications trop complexes.

• La méthode "Socratique" (Le Détective curieux) :

  • L'idée : C'est la plus difficile. Le robot ne doit jamais donner la réponse. Il doit seulement poser des questions pour guider l'élève vers la solution, comme un détective qui fait deviner le coupable.
  • L'analogie : Au lieu de vous dire "La réponse est 42", le robot vous demande : "Si tu as 2 pommes et que tu en achètes 2 autres, combien en as-tu ?"
  • Résultat : C'est ici que les robots ont montré leurs vraies limites. ChatGPT et Gemini ont été excellents pour rester dans le rôle et poser les bonnes questions. DeepSeek, en revanche, a souvent triché en donnant directement la réponse ou en s'égarant, comme un élève qui panique et crie la réponse au lieu de réfléchir.

2. Le Grand Classement Final

Imaginez un podium de course :

• 🥇 ChatGPT et Gemini : Ce sont les "professeurs modèles". Ils ont bien compris qu'ils devaient guider, pas juste donner la réponse. Ils sont restés dans le rôle, même quand c'était difficile.
• 🥉 DeepSeek : Il a eu des notes plus basses. Il a souvent eu du mal à suivre les instructions pédagogiques. Au lieu de jouer le jeu du "professeur qui guide", il a souvent voulu jouer le rôle du "répondeur rapide" en donnant la solution tout de suite, ce qui n'est pas bon pour l'apprentissage.

3. Les Leçons à Retenir

• Donner la réponse n'est pas enseigner : Le plus grand défi pour ces robots était de se retenir de donner la solution immédiate. C'est comme un parent qui doit laisser son enfant faire ses lacets tout seul, même si c'est long et que le parent pourrait le faire en 2 secondes.
• Le prompt (l'instruction) est la clé : La façon dont on demande aux robots de se comporter est cruciale. Si on leur dit "Sois un professeur", ils essaient. Mais ils ont besoin d'un guide très précis pour ne pas dévier.
• Ils ne sont pas encore parfaits : Bien que ChatGPT et Gemini soient très bons, ils ne sont pas des humains. Parfois, ils sont trop longs, ou ils ne comprennent pas bien les erreurs spécifiques d'un débutant.

En résumé

Cette étude nous dit que l'IA peut être un super compagnon d'étude, capable d'expliquer des concepts et de poser des questions. Cependant, elle n'est pas encore un professeur autonome parfait. Elle a besoin d'être bien guidée pour ne pas faire le travail à la place de l'élève.

Pour l'instant, ChatGPT et Gemini sont les meilleurs "tuteurs virtuels" pour apprendre à coder, tandis que DeepSeek a encore besoin de faire ses preuves sur le terrain pédagogique.

Résumé technique

1. Problématique et Contexte

L'adoption rapide des Grands Modèles de Langage (LLM) dans l'éducation soulève des promesses concernant leur capacité à soutenir l'apprentissage par des explications, des retours d'information et un guidage personnalisé. Cependant, il existe un manque crucial de preuves empiriques concernant les compétences pédagogiques réelles de ces modèles.

La plupart des benchmarks existants (comme MMLU ou Chatbot Arena) évaluent la précision des réponses ou la connaissance factuelle, mais négligent la manière dont les modèles adaptent leurs stratégies d'enseignement en temps réel. La question centrale de cette étude est : Les LLMs sont-ils capables d'enseigner en utilisant des approches pédagogiques spécifiques, au-delà de la simple fourniture de réponses correctes ?

L'étude se concentre sur l'enseignement du langage de programmation C aux débutants, un contexte idéal pour tester la capacité des modèles à structurer l'apprentissage, à éviter de donner les solutions directement et à adapter leur discours au niveau de l'apprenant.

2. Méthodologie

Les auteurs ont conçu un protocole d'évaluation rigoureux impliquant une interaction humaine avec les modèles.

• Modèles évalués : ChatGPT (version 4.1-mini), Gemini (2.5 flash) et DeepSeek (V3). Toutes les versions gratuites accessibles via leurs interfaces web ont été utilisées.
• Stratégies pédagogiques testées : Trois approches distinctes, basées sur la littérature éducative (Mollick & Mollick, 2023b) :
  1. Exemples (Examples) : Le modèle fournit des extraits de code illustrant un concept sans donner la solution complète, permettant à l'étudiant de généraliser.
  2. Explications et Analogies : Le modèle explique les concepts en utilisant des analogies concrètes pour relier les connaissances antérieures aux nouveaux contenus.
  3. Méthode Socratique : Le modèle guide l'étudiant par une série de questions ouvertes (wonder, hypothèse, réfutation/elenchus, application) sans jamais donner de réponse directe.
• Protocole d'évaluation :
  • Juges : Six juges experts en programmation ont simulé le rôle d'étudiants débutants.
  • Tâches : Chaque juge a interagi avec chaque modèle sur 25 exercices de programmation C (opérateurs, boucles, tableaux, fonctions, etc.).
  • Comportement simulé : Les juges ont répondu de manière variée (dire "je ne sais pas", donner une mauvaise réponse, demander une explication, ou répondre correctement en utilisant les indices fournis).
  • Critères d'évaluation : Une échelle de 0 à 5 a été utilisée pour évaluer des aspects spécifiques à chaque stratégie (ex: pertinence, clarté, adaptation au niveau, promotion de la pensée critique).
  • Analyse statistique : Des tests non paramétriques (Kruskal-Wallis, test de Dunn avec correction de Bonferroni, test du Chi-deux) ont été utilisés pour comparer les performances des modèles, car les données ne suivaient pas une distribution normale.

3. Contributions Clés

• Protocole d'évaluation pédagogique : Développement d'un cadre méthodologique qui dépasse les benchmarks de précision pour évaluer les compétences d'enseignement (scaffolding, adaptation, dialogue).
• Évaluation comparative dynamique : Utilisation de juges humains en interaction en temps réel (plutôt que des simulations statiques) pour évaluer la capacité des modèles à maintenir un dialogue pédagogique sur plusieurs tours.
• Analyse fine des stratégies : Distinction claire entre la capacité d'un modèle à fournir une information correcte et sa capacité à faciliter l'apprentissage via des stratégies spécifiques (ex: la méthode Socratique).

4. Résultats Principaux

A. Approche par Exemples

• Performance globale : Les trois modèles ont obtenu des scores moyens similaires (ChatGPT : 4.18, Gemini : 4.16, DeepSeek : 4.04).
• Points forts : Tous les modèles ont excellé en "Exactitude" et "Niveau de détail".
• Points faibles : Le critère "Variété" des exemples a obtenu les scores les plus bas pour tous, indiquant un manque de variation contextuelle.
• Différences significatives :
  • ChatGPT a été jugé plus pertinent ("Relevance").
  • Gemini a mieux établi les liens entre concepts abstraits et concrets.
  • DeepSeek a reçu des évaluations globales moins satisfaisantes et a tendance à fournir des solutions immédiates (comportement indésirable) plus souvent que les autres.

B. Approche par Explications et Analogies

• Performance globale : ChatGPT a obtenu les scores les plus élevés (4.59), suivi de Gemini (4.35) et DeepSeek (4.36).
• Différences notables :
  • ChatGPT a été jugé supérieur en termes de clarté, de focus sur les parties critiques et d'utilité.
  • DeepSeek a obtenu les scores les plus bas pour l'adaptation au niveau de l'étudiant et a fourni moins d'analogies que les autres modèles.
  • Tous les modèles ont eu des difficultés à connecter les explications aux connaissances préalables de l'étudiant.

C. Méthode Socratique

• Performance globale : C'est ici que les différences sont les plus marquées. ChatGPT (4.63) et Gemini (4.43) ont nettement surpassé DeepSeek (4.05).
• Analyse comportementale :
  • ChatGPT et Gemini ont bien respecté la structure Socratique, posant des questions initiales pertinentes et évitant de donner des réponses directes.
  • DeepSeek a montré des difficultés à maintenir une ligne d'enquête cohérente, fournissant souvent des réponses directes ou des contre-exemples insuffisants.
  • Gemini a parfois été jugé trop fondamentaliste (commençant par des concepts de base même pour des exercices avancés), rendant l'interaction parfois longue.
• Comportement indésirable : DeepSeek a fourni des solutions immédiates dans 30% des cas, contre moins de 2% pour ChatGPT et Gemini.

5. Signification et Implications

• Capacité d'enseignement : Les LLMs peuvent agir comme des partenaires d'enseignement, mais leur efficacité dépend fortement du modèle et de la stratégie pédagogique choisie.
• Sensibilité au Prompt : La performance, en particulier pour la méthode Socratique, est très sensible à la formulation du prompt initial et à la capacité du modèle à suivre des instructions complexes de non-révélation de solution.
• Inégalités et Accessibilité : L'étude met en lumière le risque d'exacerber la fracture numérique. Les modèles performants (ChatGPT, Gemini) nécessitent souvent des abonnements payants ou une connexion haut débit, ce qui pose problème dans les contextes à ressources limitées (concept d'AIED Unplugged).
• Rôle de l'IA : Les modèles ne doivent pas remplacer les enseignants mais servir d'agents de soutien pour décharger les tâches répétitives, permettant aux humains de se concentrer sur la dynamique de classe complexe.

Conclusion : ChatGPT et Gemini se sont révélés être des agents pédagogiques plus performants et plus fiables que DeepSeek dans ce contexte, en particulier lorsqu'il s'agit d'adopter des stratégies de guidage comme la méthode Socratique. Cependant, des améliorations sont nécessaires concernant la variété des exemples et la connexion aux connaissances antérieures des étudiants.