Exploring Functional Shifts in Pos Tagging Across Various NLP Libraries: A Study of NLTK, spaCy and Textblob
Cette étude compare la performance de NLTK, TextBlob et spaCy dans le traitement des phrases à détournement (garden path sentences) causées par des glissements fonctionnels, concluant que spaCy surpasse significativement les deux autres bibliothèques en matière de précision syntaxique et offrant des perspectives pour l'amélioration des outils de TAL, y compris ceux destinés aux langues africaines.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot à lire un livre d'histoires. Vous voulez qu'il comprenne non seulement les mots, mais aussi comment ces mots se comportent dans une phrase. Est-ce que « courir » est un ordre de se déplacer vite, ou est-ce un nom décrivant une longue période de temps ? Dans le monde de l'informatique, ce travail s'appelle l'étiquetage de la classe grammaticale (POS tagging). C'est comme un surligneur numérique qui colore chaque mot dans une phrase pour montrer s'il s'agit d'un nom, d'un verbe, d'un adjectif ou d'autre chose. Cela semble facile pour nous, humains, mais pour les ordinateurs, cela devient complexe lorsque les mots changent de costume en pleine phrase. C'est ce qu'on appelle un changement de fonction (functional shift). Imaginez cela comme un acteur qui commence une pièce en tant que roi, puis met soudainement un chapeau de chef et commence à cuisiner, tout cela sans changer de nom. L'ordinateur doit deviner le nouveau rôle en se basant sur les autres mots qui les entourent.
Plus délicates encore sont les phrases à détour (garden path sentences). Ce sont des phrases qui vous mènent sur un « chemin détourné » de pensée, pour finalement vous faire trébucher à la fin. Par exemple, « The old man the boat » (Les vieux manœuvrent le bateau). Votre cerveau veut lire « old man » comme une personne, mais la phrase signifie en réalité « Les personnes âgées opèrent le bateau ». Ici, « man » est un verbe, et non un nom ! Si un ordinateur est confus par ces pièges, il pourrait mal comprendre toute l'histoire, ce qui est un problème majeur pour des choses comme les applications de traduction ou les moteurs de recherche. Ainsi, les scientifiques testent toujours différents programmes informatiques pour voir lequel est le meilleur pour repérer ces changements de mots sournois.
Dans cette étude, un chercheur nommé Kayode Victor Amusan a décidé de mettre à l'épreuve trois programmes informatiques populaires : NLTK, TextBlob et SpaCy. Imaginez ces trois-là comme des étudiants différents dans un cours de langue. Le professeur (le chercheur) leur a donné une pile de 56 phrases complexes conçues pour les dérouter. Ces phrases comprenaient des énigmes de type « chemin détourné », des mots qui avaient été transformés en noms (comme « chant » devenant une chose que l'on fait) et des mots qui avaient changé de position pour changer de sens. Le but était simple : voir quel étudiant pouvait identifier correctement quel rôle chaque mot jouait dans la phrase.
Les résultats étaient un peu comme une course où un coureur prend nettement l'avantage. Sur les 56 phrases complexes, SpaCy en a réussi 32. NLTK et TextBlob ont terminé ex æquo à la deuxième place, mais ils n'ont réussi que 21 phrases chacun. Cela signifie que SpaCy était nettement meilleur pour comprendre les « changements de costume » des mots dans des phrases complexes.
L'étude a examiné de près des exemples spécifiques pour voir où les programmes trébuchaient. Par exemple, prenez le mot « round » (tour/rond). Il peut être un nom (un cercle), un adjectif (une forme), un verbe (tourner) ou un adverbe (tourner en rond). Dans des phrases comme « The earth turns round once » (La terre tourne autour une fois), SpaCy a correctement identifié « round » comme un adverbe. Cependant, NLTK et TextBlob se sont trompés et l'ont étiqueté comme un nom. De même, pour le mot « that » (qui peut être un pronom, une conjonction ou un adjectif), SpaCl a montré qu'il pouvait faire la différence dans presque tous les contextes, tandis que les deux autres bibliothèques manquaient souvent la cible.
Le chercheur a constaté que, bien que les trois programmes aient eu des difficultés avec les phrases à détour les plus déroutantes (comme « The complex houses married and single students »), SpaCy parvenait tout de même à en réussir davantage que les autres. Par exemple, dans une phrase où « houses » est en fait un verbe (signifiant « loger »), SpaCy était plus susceptible de comprendre qu'il ne s'agissait pas d'un bâtiment. L'étude suggère que si NLTK et TextBlob sont bons pour des tâches générales, SpaCy est l'outil le plus puissant lorsque la langue devient compliquée et que les mots commencent à changer de rôle.
L'article ne prétend pas que SpaCy est parfait ou que le problème est résolu. En fait, il souligne que même SpaCy s'est trompé sur 24 phrases sur 56. Il suggère simplement que si vous avez besoin qu'un ordinateur gère des phrases complexes et tortueuses, SpaCy est actuellement le choix le plus fiable parmi les trois. Le chercheur espère que cette information aidera les enseignants, les étudiants et d'autres scientifiques à construire de meilleurs outils pour comprendre le langage humain, et peut-être même aidera les futurs programmes à parler les langues africaines avec la même aisance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.