Human-Guided AI Interaction in Task-Based Language Teaching: Effects of ChatGPT and Embodied Multimodal Conversational AI in Mixed Reality on ESL Learners’ Job Interview Anxiety and Oral Performance

Résumé technique : Interaction homme-IA guidée par l'humain dans l'enseignement des langues basé sur des tâches

Problématique
Les apprenants de l'anglais de spécialité (ESP), en particulier ceux qui se préparent à des scénarios à enjeux élevés comme les entretiens d'embauche, sont confrontés à des barrières significatives pour développer leur compétence orale. L'enseignement traditionnel souffre souvent de classes surchargées, d'un manque de personnalisation et d'opportunités limitées d'interaction authentique, ce qui exacerbe l'anxiété liée à la langue étrangère (FLA). Bien que diverses interventions existent, il existe une lacune critique dans la recherche intégrée comparant comment différentes modalités d'interaction médiatisées par l'IA — spécifiquement l'IA générative vocale par rapport aux agents multimodaux incarnés en Réalité Mixte (RM) — impactent simultanément la performance orale et l'anxiété. De plus, les études existantes reposent souvent uniquement sur des mesures d'anxiété auto-déclarées, manquant de données physiologiques pour capturer les états affectifs en temps réel.

Méthodologie
Cette étude a employé un plan quasi-expérimental à méthodes mixtes sur une intervention de six semaines impliquant 75 apprenants adultes d'anglais langue seconde (ESL) inscrits dans un cours « Skills for Success ». Les participants ont été répartis dans l'un des trois groupes suivants :

1. Groupe de contrôle : Instruction traditionnelle dirigée par un instructeur.
2. Groupe ChatGPT : Interaction via le mode vocal de ChatGPT, utilisant le way de l'ingénierie de requêtes (prompt engineering) pour simuler un formateur en entretien d'embauche ESL.
3. Groupe MECAI (IA conversationnelle multimodale incarnée) : Interaction avec un agent d'IA incarné dans un environnement de Réalité Mixte (utilisant des casques Meta Quest Pro et les SDKs Unity/Convai). L'agent présentait des fonctions de regard, de gestuelle et d'interaction vocale au sein d'un bureau simulé.

Collecte et analyse des données :

• Performance : Des simulations d'entretiens d'embauche pré- et post-intervention ont été évaluées à l'aide d'une grille analytique standardisée couvrant la fluidité, la prononciation, la grammaire, le vocabulaire, le contenu et la pertinence. Les scores ont été agrégés pour obtenir une métrique de performance globale.
• Anxiété : Mesurée via l'échelle FLCAS (Foreign Language Classroom Anxiety Scale) et par la surveillance physiologique de la fréquence cardiaque (Polar OH1) pendant les entretiens.
• Qualitatif : Des entretiens structurés avec les participants ont été analysés de manière thématique pour comprendre les perceptions des apprenants.
• Statistique : Une ANOVA à deux mesures répétées a été utilisée pour analyser les différences de performance, de fréquence cardiaque et de scores FLCAS entre les groupes et au fil du temps.

Résultats clés

• Performance orale : Tous les groupes ont montré une amélioration significative entre le pré-test et le post-test. Cependant, le groupe MECAI a démontré les gains les plus importants (pré : 9,36 ; post : 18,52), suivi du groupe ChatGPT (pré : 8,96 ; post : 15,52), et du groupe de contrôle (pré : 7,92 ; post : 12,88). Les comparaisons par paires ont confirmé des différences statistiquement significatives entre les trois conditions ($p < 0,001$).
• Anxiété (FLCAS et fréquence cardiaque) : Bien que des tendances descriptives suggèrent une réduction de l'anxiété pour le groupe MECAI (tant dans les auto-évaluations que pour la fréquence cardiaque), ni le FLCAS ni les mesures de fréquence cardiaque n'ont atteint une signification statistique entre les groupes ou au fil du temps. L'étude note que l'amélioration des performances peut précéder la réduction mesurable de l'anxiété, ou que la nature à enjeux élevés de la tâche maintient l'éveil physiologique malgré l'amélioration des compétences.
• Résultats qualitatifs : L'analyse thématique a révélé quatre thèmes clés :
  1. Le rôle de l'IA dans la confiance : L'IA offre un environnement d'entraînement sans jugement, bien que l'absence d'indices non verbaux dans le groupe exclusivement vocal ait été notée comme une limite.
  2. Immersion et présence : Le groupe MECAI a fait état d'un fort sentiment de « présence » et de réalisme, l'agent incarné étant perçu comme une « vraie personne » ou un conseiller de confiance.
  3. L'instructeur humain indispensable : Tous les groupes ont souligné que l'IA sert de complément, et non de remplacement, aux enseignants humains qui apportent l'ajustement émotionnel et les orientations culturelles.
  4. Gestion de l'anxiété : Les apprenants considéraient une anxiété modérée comme potentiellement productive et ont noté que l'IA réduisait la peur de l'évaluation négative par rapport aux interlocuteurs humains.

Signification et affirmations
L'article affirme que l'IA conversationnelle incarnée en Réalité Mixte offre des avantages significatifs pour le développement de l'expression orale en ESP, surpassant à la fois l'instruction traditionnelle et l'IA uniquement vocale en termes de gains de performance orale. L'étude suggère que « l'incarnation » de l'agent d'IA — fournissant des indices visuels, des gestes et un sentiment de présence sociale — contribue à ces gains plus efficacement qu'une interaction uniquement audio.

Cependant, l'auteur maintient une position modeste concernant la réduction de l'anxiété. Il stipule explicitement que l'étude ne fournit pas de preuves solides que la pratique médiatisée par l'IA réduit l'anxiété au cours de la période de six semaines, car la signification statistique n'a pas été atteinte pour les mesures d'anxiété. La portée de ce travail réside dans la démonstration que, bien que l'IA (particulièrement celle basée sur la RM) puisse considérablement améliorer la performance, elle fonctionne mieux comme un outil pédagogique guidé par des instructeurs humains plutôt que comme une solution autonome. La recherche souligne la nécessité de recherches supplémentaires sur les mécanismes de la présence sociale et le transfert à long terme des compétences vers des contextes d'emploi authentiques.