So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis
Cette étude compare les modèles de langage de grande taille (LLM) à l'apprentissage automatique traditionnel pour l'analyse de réponses à des enquêtes ouvertes, concluant que si les LLM atteignent une précision de classification supérieure dans la compréhension des thèmes complexes et des sentiments, ils présentent des compromis importants concernant la cohérence et l'explicabilité de leur raisonnement.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous ayez une boîte géante contenant des milliers de lettres d'étudiants, toutes écrites de leur propre écriture manuscrite désordonnée et émotionnelle. Certaines sont joyeuses, d'autres sont colériques, certaines sont sarcastiques et d'autres sont simplement totalement confuses. Votre travail ? Les lire toutes et les trier dans six bacs d'émotions : Joie, Surprise, Amour, Colère, Tristesse et Peur.
Pendant longtemps, des chercheurs ont essayé de faire cela avec des programmes informatiques « à l'ancienne ». Pensez à ces programmes comme à un bibliothécaire très strict qui ne connaît que le comptage de mots spécifiques. Si le bibliothécaire voit le mot « génial », il colle une étiquette « Joie » sur la lettre. S'il voit « mauvais », il colle une étiquette « Tristesse ». C'est rapide, et vous voyez exactement pourquoi le bibliothécaire a fait ce choix. Mais voici le problème : ces bibliothécaires sont facilement dupés. Ils ratent le sarcasme, l'épuisement caché derrière un « merci », ou les indices subtils qu'un étudiant est en réalité furieux même s'il utilise des mots polis.
Dans cette étude, les chercheurs ont décidé de tester une nouvelle équipe d'assistants : les Modèles de Langage de Grande Taille (LLM). Vous pouvez voir ces derniers comme des robots super intelligents et très cultivés qui ont lu presque tout sur Internet. Contrairement aux bibliothécaires stricts, ces robots essaient de comprendre la « vibe » et le contexte de la phrase, pas seulement les mots individuels.
Le Grand Duel
Les chercheurs ont opposé ces deux équipes en utilisant de vraies données de sondages d'étudiants de 2019 et 2021 (293 lettres de 2021 et 142 de 2019). Ils n'ont rien appris de nouveau aux robots ; ils leur ont simplement demandé de trier les lettres en utilisant une instruction simple, une méthode appelée « zero-shot » prompting.
Ce que les vieux bibliothécaires ont fait
Les modèles informatiques traditionnels (comme les classificateurs à vecteurs de support et les forêts aléatoires) étaient corrects pour trier les lettres lorsqu'ils étaient entraînés sur un ensemble spécifique d'exemples. Ils obtenaient environ 90 % de précision lors de leurs tests d'entraînement. Mais lorsqu'ils ont été confrontés aux véritables lettres d'étudiants, qui sont désordonnées, ils ont commencé à agir de manière un peu folle.
- Dans le lot de 2019, un modèle a décidé que 99,3 % des lettres étaient de la « Joie ». Il a pratiquement ignoré toutes les autres émotions !
- Dans le lot de 2021, les modèles étaient en total désaccord. L'un pensait qu'une lettre était de l'« Amour », tandis qu'un autre pensait qu'il s'agissait de « Tristesse ».
- Les chercheurs ont constaté que ces vieux modèles étaient trop sensibles à des mots spécifiques (comme « génial » ou « bon ») et ne pouvaient pas gérer le côté complexe et humain du langage. Ils étaient fragiles, ce qui signifie que si les données changeaient ne serait-ce qu'un peu, leur tri s'effondrait.
Ce que les nouveaux robots ont fait
L'équipe de LLM (incluant GPT-4-Turbo, Claude 3.5, LLaMA 3 de Meta et Perplexity Sonar Pro) a fait quelque chose de différent. Ils ne se sont pas contentés de compter les mots ; ils ont essayé de comprendre le sentiment.
- Ils étaient d'accord entre eux : Lorsque les quatre robots ont examiné la même pile de lettres, ils ont majoritairement trié les lettres de la même manière. Par exemple, dans les données de 2021, les quatre robots étaient exactement d'accord sur le nombre de lettres exprimant la « Colère » (46 lettres).
- Ils géraient la nuance : Ils étaient bien meilleurs pour repérer les émotions complexes, comme lorsqu'un étudiant est sarcastique ou quand son « merci » est en réalité empreint d'épuisement.
- Les chiffres : Bien que l'article ne donne pas un score de précision unique pour les robots (car il n'y a pas de corrigé humain pour les comparer), leur cohérence suggère qu'ils sont beaucoup plus fiables pour ce genre de données réelles et désordonnées que les anciens modèles.
Le revers de la médaille
Les robots ne sont pas des magiciens parfaits. Les chercheurs soulignent quelques points de vigilance :
- Le bug de l'« Amour » : Les quatre robots semblaient classer plus de lettres comme « Amour » que comme « Joie ». Les chercheurs soupçonnent que c'est parce que les robots ont appris via les réseaux sociaux, où les gens disent « J'adore ce cours ! » pour signifier « J'aime beaucoup cela », et non pour expriment des sentiments amoureux profonds.
- La boîte noire : Contrairement aux vieux bibliothécaires, vous ne pouvez pas toujours voir pourquoi le robot a fait un choix. Il est plus difficile d'auditer leur travail.
- Coût et mises à jour : Ces robots coûtent cher à faire fonctionner, et les entreprises qui les fabriquent les mettent souvent à jour. Si vous utilisez le même prompt l'année prochaine, le robot pourrait donner une réponse légèrement différente parce qu'il s'agit d'une « nouvelle version ».
Le Verdict
L'étude suggère que si vous voulez analyser des milliers de réponses ouvertes d'étudiants, les nouveaux robots d'IA sont le meilleur outil. Ils sont bien plus aptes à comprendre le côté complexe et humain du langage et sont plus cohérents à travers différents groupes d'étudiants.
Cependant, les chercheurs ne disent pas que le problème est « résolu ». Ils suggèrent que pour les décisions à enjeux élevés (comme changer les politiques scolaires), la meilleure approche est un travail d'équipe : laisser les robots faire le gros du travail pour trier les lettres, mais faire vérifier le travail par des humains pour s'assurer que les robots ne sont pas dupés par le sarcasme ou les biais. C'est une nouvelle façon puissante d'écouter les étudiants, mais elle nécessite toujours une main humaine sur le volant.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.