Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods
Cet article introduit un cadre d'évaluation cognitive basé sur l'oculométrie qui révèle que les formules de lisibilité traditionnelles, les méthodes de TAL, les systèmes commerciaux et les LLM de pointe sont de faibles prédicteurs de la facilité de lecture en temps réel par rapport aux propriétés psycholinguistiques des mots, soulignant la nécessité de nouvelles approches de notation pilotées par la cognition.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de déterminer si un livre est facile à lire. Depuis plus de cent ans, des scientifiques et des enseignants tentent de construire des « formules de lisibilité » — des recettes mathématiques qui analysent un texte et recrachent un niveau scolaire, du type « ceci est un texte de niveau CM2 » ou « ceci est un texte de niveau terminale ». Ils le font généralement en comptant des éléments tels que la longueur des phrases ou le nombre de mots longs. Mais voici la partie délicate : ce n'est pas parce qu'un texte possède des phrases courtes qu'un être humain aura réellement l'impression qu'il est facile à lire pendant la lecture. Pour savoir vraiment si un texte est facile, il faut observer comment le cerveau d'une personne fonctionne en temps réel. C'est là qu'intervient l'« eye tracking » (l'oculométrie). C'est comme placer une minuscule caméra sur l'œil d'une personne pour voir exactement où elle regarde, combien de temps elle fixe un mot et si elle doit revenir en arrière (régression) parce qu'elle a été confuse. C'est la différence entre deviner la vitesse d'une voiture en regardant la taille de son moteur et conduire réellement la voiture pour ressentir la vitesse.
Cet article, intitulé « Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods », est un véritable rappel à la réalité pour le monde de l'analyse de texte. Les chercheurs, dirigés par Keren Gruteke Klein et son équipe au Technion en Israël, ont décidé de tester les méthodes les plus populaires que nous utilisons actuellement pour juger la difficulté d'un texte. Ils ont réuni un groupe massif de 638 lecteurs adultes — certains locuteurs natifs anglais et d'autres ayant appris l'anglais comme langue seconde — et leur ont fait lire des articles de presse sur un ordinateur pendant que leurs yeux étaient suivis à une vitesse super rapide de 1 000 fois par seconde. Ils ont utilisé une astuce ingénieuse : ils ont pris les mêmes articles de presse et ont demandé à des enseignants humains de les réécrire pour les simplifier. Cela a permis aux chercheurs de comparer la version « difficile » et la version « facile » du même contenu exact, isolant ainsi le style d'écriture du sujet.
L'équipe a ensuite posé une question simple : Quel programme informatique est le meilleur pour prédire à quel point la version « facile » a réellement semblé facile aux lecteurs ? Ils ont tout testé, des anciennes formules mathématiques (comme le score de Flesch Reading Ease) aux systèmes d'IA modernes, en passant par les outils commerciaux utilisés dans les écoles et les modèles de langage de pointe (LLM). Notamment, l'étude a évalué des modèles comme GPT-4o et d'autres systèmes de pointe (incluant des versions marquées avec des dates futures comme 2025 dans l'article) en utilisant des prompts spécifiques demandant à l'IA d'attribuer un niveau scolaire ou un score de difficulté de 1 à 100. Ils ont comparé ces outils de haute technologie à des mesures très simples et traditionnelles issues de la psychologie, comme la fréquence d'utilisation d'un mot dans la langue ou à quel point un mot est surprenant lorsqu'on le voit apparaître.
Les résultats ont été un choc. Malgré toute la technologie sophistiquée et la puissance incroyable de l'IA moderne, les outils de lisibilité populaires étaient terriblement inefficaces pour prédire la facilité de lecture réelle en temps réel. Les vieilles formules, les outils commerciaux scolaires et même les modèles d'IA de pointe ont tous échoué à correspondre aux mouvements oculaires des lecteurs. En fait, les meilleurs prédicteurs se sont avérés être les choses les plus simples : la longueur d'un mot, sa fréquence d'utilisation et une mesure appelée « surprisal » (qui est essentiellement une façon mathématique de dire « à quel point ce mot est inattendu ? »). L'étude suggère que, bien que nos outils actuels soient excellents pour deviner le niveau scolaire d'un texte, ils passent à côté de l'expérience humaine réelle de la lecture. Les auteurs concluent que nous devons cesser de nous appuyer sur ces anciennes méthodes pour des décisions à enjeux élevés et commencer à construire de nouveaux systèmes qui sont réellement guidés par la façon dont nos cerveaux traitent les mots sur le moment.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.