🤖 AI

LLM-assisted sentiment analysis for integrated computational and qualitative mixed methods education research: A case study of students' written reflection assignments

Cet article présente une étude de cas à méthodes mixtes démontrant comment l'analyse des sentiments assistée par les modèles de langage (LLM) des réflexions étudiantes peut identifier et expliquer efficacement l'impact de multiples variables démographiques sur les expériences de mobilité internationale, révélant spécifiquement que l'expérience antérieure de vie à l'étranger influence de manière unique les sentiments des étudiants concernant la langue et la communication.

Auteurs originaux : Xiomara Gonzalez, Gabriella Coloyan Fleming, Andrew Katz, Maya Denton, Jessica Deters

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiomara Gonzalez, Gabriella Coloyan Fleming, Andrew Katz, Maya Denton, Jessica Deters

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant tentant de comprendre comment 51 étudiants se sont sentis lors de leur voyage d'un mois au Japon. Vous avez 151 journaux manuscrits remplis de leurs réflexions, de leurs inquiétudes et de leurs moments de « eureka ! ». Lire chaque mot pour y déceler des motifs revient à essayer de boire à un tuyau d'incendie : c'est accablant, chronophage, et vous risquez de manquer les courants subtils de l'eau.

Ce document traite de la création d'un assistant numérique intelligent pour aider les chercheurs à boire à ce tuyau d'incendie sans se noyer.

Le Problème : L'Aiguille dans la Botte de Foin

Les chercheurs voulaient savoir : Les étudiants ressentent-ils différemment la communication dans une langue étrangère selon qui ils sont ? (Par exemple, le fait d'avoir déjà vécu à l'étranger modifie-t-il votre ressenti face à la barrière linguistique ?)

Traditionnellement, un chercheur humain devrait lire chaque journal, surligner les parties pertinentes, deviner l'« humeur » (positive, négative ou neutre), puis tenter de compter les résultats. Faire cela pour plusieurs groupes d'étudiants revient à essayer de trier un immense tas de briques Lego mélangées par couleur et par taille entièrement à la main. Cela prend une éternité, vous pouvez vous fatiguer et commettre des erreurs.

La Solution : Le Robot « Détective des Sentiments »

Les chercheurs ont introduit un Modèle de Langage à Grande Échelle (LLM) — un type d'intelligence artificielle avancée — en tant que co-enquêteur. Considérez l'IA non pas comme un remplacement de l'humain, mais comme un stagiaire ultra-rapide et infatigable capable de lire des milliers de pages en quelques secondes.

Voici comment ils ont utilisé ce « stagiaire numérique » :

L'Humain Fixe les Règles : Le chercheur humain a d'abord lu les journaux et extrait les phrases spécifiques concernant la parole et la communication.
L'IA Fait le Gros du Travail : Ils ont soumis ces phrases à l'IA (spécifiquement un modèle open-source appelé Llama3) et lui ont demandé de classer chaque phrase comme Heureuse (Positive), Triste/Anxieuse (Négative) ou Purement Factuelle (Neutre).
L'Humain Vérifie : L'IA n'est pas parfaite. Parfois, elle se trompe, comme un élève qui pense qu'une affirmation neutre est en réalité une opinion. Le chercheur humain a examiné le travail de l'IA, corrigeant les erreurs. C'est comme un enseignant qui corrige le devoir du stagiaire pour s'assurer que la logique tient la route.

Les Résultats : Ce que le « Tuyau d'Incendie » a Révélé

Une fois que l'IA a aidé à trier les données, les chercheurs ont enfin pu voir des motifs trop petits pour être repérés à l'œil nu. Ils ont examiné sept identités étudiantes différentes (comme le genre, le revenu ou le statut de première génération) pour voir si l'une d'elles modifiait la façon dont les étudiants ressentaient la communication.

La Grande Découverte :
Parmi tous les différents milieux qu'ils ont vérifiés, une seule chose comptait : L'étudiant avait-il déjà vécu à l'étranger ?

Les « Vétérans » (Étudiants ayant déjà vécu à l'étranger) :
- Au début : Ils étaient en réalité plus nerveux que les autres. Ils savaient que la barrière linguistique était réelle et s'inquiétaient de faire des erreurs ou d'offenser des gens.
- À la fin : Ils ont réalisé que leurs craintes étaient fondées mais gérables. Ils ont vu les aides à la communication (comme les applications de traduction) comme un « dernier recours » lorsqu'ils étaient bloqués.
Les « Nouveaux Arrivants » (Étudiants n'ayant jamais vécu à l'étranger) :
- Au début : Ils étaient optimistes mais avaient des attentes irréalistes. Ils pensaient que ce serait facile ou que tout le monde parlait anglais.
- Au milieu : Ils ont heurté un mur. Ils étaient frustrés car leur préparation ne fonctionnait pas et ils se sentaient impréparés.
- À la fin : Ils ont connu un tournant majeur. Ils sont passés de la frustration à la confiance. Ils ont réalisé que la lutte faisait partie du processus d'apprentissage et ont commencé à voir les applications de traduction comme des outils utiles plutôt que comme des béquilles.

L'Enseignement : Une Nouvelle Façon de Cuisiner

L'article soutient que cette équipe « Humain + IA » est une nouvelle façon puissante de mener des recherches.

L'IA est le mixeur : Elle traite les données brutes rapidement et de manière cohérente.
L'Humain est le chef : Il décide quels ingrédients utiliser, goûte le plat et ajuste l'assaisonnement lorsque l'IA met trop de sel.

Les chercheurs ont constaté que, bien que l'IA soit rapide et globalement précise (elle était d'accord avec les humains environ 60 à 67 % du temps, ce qui est considéré comme « substantiel » dans ce domaine), elle avait encore besoin d'un humain pour nettoyer son désordre. L'IA devenait parfois bavarde ou classait les choses incorrectement, si bien que l'humain devait effectuer le « post-traitement » final.

En bref : Cette étude montre qu'en laissant l'IA faire le comptage ennuyeux et répétitif des émotions, les chercheurs humains peuvent consacrer leur temps à comprendre l'histoire derrière les chiffres. Dans ce cas précis, l'histoire était que l'expérience de voyage antérieure modifie la façon dont vous gérez le choc d'une nouvelle langue, transformant un obstacle effrayant en une opportunité d'apprentissage.

Résumé technique : Analyse de sentiment assistée par les LLM pour la recherche éducative en méthodes mixtes intégrées, combinant approches computationnelles et qualitatives

Énoncé du problème

Les devoirs de réflexion écrite constituent un outil pédagogique essentiel dans l'enseignement de l'ingénierie, offrant aux étudiants des opportunités d'auto-évaluation critique et fournissant des données qualitatives riches aux chercheurs. Cependant, l'analyse de ces ensembles de données qualitatifs est traditionnellement chronophage, particulièrement lorsqu'il s'agit de comparer les résultats selon plusieurs variables démographiques (par exemple, le genre, le revenu, l'expérience antérieure de voyage). L'analyse qualitative conventionnelle limite souvent les comparaisons à une seule variable en raison du travail impliqué. Bien que les grands modèles de langage (LLM) aient émergé comme assistants de recherche potentiels pour l'analyse de sentiment et le codage, leur intégration dans des workflows rigoureux et longitudinaux de méthodes mixtes — spécifiquement pour des données sensibles d'étudiants — reste sous-explorée. Il est nécessaire de déterminer comment les LLM peuvent efficacement compléter les chercheurs humains dans l'identification des tendances de sentiment à travers plusieurs variables d'identité sans compromettre la confidentialité des données ni la rigueur analytique.

Méthodologie

L'étude adopte une conception de méthodes mixtes « quasi-convergente parallèle », appliquant des analyses quantitatives et qualitatives au même ensemble de données qualitatives (réflexions d'étudiants). La recherche utilise une étude de cas longitudinale de 51 étudiants en ingénierie de premier cycle participant à un programme d'études à l'étranger d'un mois au Japon.

Collecte de données :

Ensemble de données : 151 réflexions écrites collectées à trois moments (début, milieu et fin du programme).
Focus : Les réponses traitant spécifiquement du langage verbal et des comportements de communication ont été extraites.
Variables : Sept variables d'identité/vécu des étudiants ont été analysées : expérience antérieure de vie à l'étranger, connaissance des langues étrangères, parents nés à l'étranger, statut de faible revenu, première génération à fréquenter le collège, statut de première génération américaine, et identité asiatique/américaine d'origine asiatique.

Pipeline d'analyse (six étapes) :

Traitement des données et familiarisation : Des chercheurs humains ont lu toutes les réflexions et rédigé des mémos analytiques.
Extraction manuelle de citations : Les chercheurs ont isolé manuellement les citations relatives au langage verbal et à la communication.
Étiquetage hybride du sentiment :
- Humain : Un chercheur a attribué des étiquettes de sentiment initiales (Positif, Négatif, Neutre).
- LLM : Un LLM open-source (Llama3 de MetaAI, 8 milliards de paramètres) a été sollicité pour attribuer des étiquettes de sentiment aux mêmes citations. Le modèle a été exécuté localement via Ollama pour garantir la confidentialité des données et la conformité éthique, car les participants n'ont pas consenti au partage de données avec des tiers.
- Résolution des divergences : Le chercheur humain a examiné les sorties du LLM. Les divergences ont été discutées et les étiquettes humaines ont été révisées si l'interprétation initiale était jugée inexacte. Le LLM n'a pas été relancé.
- Fiabilité : La fiabilité inter-juges a été mesurée à l'aide du kappa de Cohen ( $\kappa$ ).
Analyse qualitative : Un codage thématique inductif a été effectué sur les citations pour identifier les thèmes majeurs (par exemple, expériences antérieures, préparation, dynamiques linguistiques, résultats perçus).
Analyse quantitative : Des tests statistiques (test t de Student ou test de somme des rangs de Wilcoxon, selon la normalité) ont été réalisés pour comparer les comptes de sentiment selon les sept variables d'identité. Les tailles d'effet (d de Cohen ou corrélation bisérielle de rang de Glass) ont été calculées.
Interprétation : Les résultats qualitatifs ont été interprétés dans le contexte des résultats quantitatifs statistiquement significatifs.

Résultats clés

1. Performance du LLM et workflow (RQ1) :

Efficacité : Le LLM a traité les citations significativement plus rapidement que le chercheur humain (environ 2 à 3 citations pour le temps de codage humain).
Fiabilité : La fiabilité inter-juges entre le codeur humain et Llama3 était « substantielle » à tous les moments ( $\kappa = 0,52$ pour la Réflexion 1 ; $\kappa = 0,64$ pour la Réflexion 3 ; $\kappa = 0,67$ pour la Réflexion 4).
Valeur collaborative : Les divergences entre les étiquettes humaines et celles du LLM n'étaient pas aléatoires. Le LLM attribuait souvent des étiquettes affectives (positif/négatif) à des déclarations que le codeur humain considérait comme neutres/descriptives. Ces divergences ont suscité des discussions réflexives plus approfondies et un affinage des critères de codage, agissant comme un « second codeur » qui a approfondi l'engagement interprétatif.
Limites : Le workflow a nécessité une configuration technique initiale importante (scripting Python) et une ingénierie de prompt itérative. Le LLM a occasionnellement généré du texte superflu ou mal interprété les instructions du prompt, nécessitant un post-traitement humain.

2. Résultats de l'étude de cas (RQ2) :

Variable significative : Parmi les sept variables d'identité testées, l'expérience antérieure de vie à l'étranger était le seul facteur montrant des différences statistiquement significatives dans l'expression du sentiment à tous les moments.
Tendances longitudinales :
- Étudiants avec expérience antérieure de vie à l'étranger (LA) : Ont exprimé des sentiments plus négatifs concernant la communication dans la Réflexion 1 (début) par rapport à ceux sans expérience. Ils ont eu du mal à exploiter leurs compétences linguistiques antérieures dans le contexte japonais et se sont sentis inquiets quant aux malentendus potentiels. À la Réflexion 4, leurs sentiments sont restés relativement stables mais ont évolué vers une vision des aides à la communication comme un « dernier recours ».
- Étudiants sans expérience antérieure de vie à l'étranger (Non-LA) : Ont exprimé des sentiments plus négatifs au milieu du programme (Réflexion 3) par rapport aux étudiants LA, en raison d'attentes inadaptées quant à la facilité de naviguer dans les barrières linguistiques et de la frustration liée aux efforts de préparation. Cependant, à la Réflexion 4, ce groupe a montré un changement significatif vers des sentiments positifs, exprimant une confiance accrue et recadrant les défis de communication comme des opportunités d'apprentissage précieuses.

Importance et affirmations

L'article affirme que ce workflow offre une méthode viable pour que les chercheurs qualitatifs sondent simultanément plusieurs variables démographiques, une tâche souvent limitée par les contraintes de temps de l'analyse traditionnelle.

Contribution méthodologique : L'étude démontre que les LLM peuvent servir de partenaires collaboratifs efficaces dans la recherche qualitative, spécifiquement pour l'étiquetage du sentiment, à condition qu'ils soient utilisés dans une capacité « humain dans la boucle ». L'utilisation de modèles open-source exécutés localement répond aux préoccupations éthiques critiques concernant la confidentialité des données et le consentement des participants.
Insight éducatif : Les résultats mettent en évidence que l'expérience internationale antérieure façonne considérablement la façon dont les étudiants perçoivent et naviguent dans les barrières de communication lors d'études à l'étranger. Les étudiants sans telle expérience suivent une trajectoire émotionnelle distincte, passant de la frustration à la croissance, tandis que les étudiants expérimentés font face à des défis différents liés à l'applicabilité de leurs compétences existantes.
Implication pratique : L'étude suggère que les éducateurs et les administrateurs peuvent utiliser ces insights pour adapter le soutien pré-départ : encourager les étudiants ayant une expérience antérieure à réfléchir sur la transférabilité interculturelle de leurs compétences, tout en aidant les étudiants sans telle expérience à gérer leurs attentes et à se concentrer sur des stratégies de communication pratiques plutôt que sur le simple vocabulaire.

Les auteurs adoptent une position modeste, reconnaissant que les tailles d'effet observées étaient faibles à moyennes, limitant la généralisabilité à d'autres contextes (par exemple, des programmes plus longs ou des programmes spécifiques à l'immersion linguistique). Ils soulignent que les LLM ne remplacent pas l'analyse qualitative mais peuvent accélérer l'identification des tendances pour guider une interprétation humaine plus approfondie.