Using Morphological Lexicons for Weakly Supervised Subword Vocabulary Learning and Bias-Aware Evaluation

Dans le monde de l'intelligence artificielle moderne, les ordinateurs ne lisent pas les mots comme les humains le font. Ils voient le texte comme une longue chaîne de caractères et, pour lui donner du sens, ils doivent diviser cette chaîne en morceaux plus petits et gérables. Ces morceaux sont appelés sous-mots. Imaginez un ordinateur essayant de comprendre le mot « unhappiness » (malheur). Il pourrait le diviser en « un », « happi » et « ness », ou peut-être simplement « unhappiness » comme un bloc unique. La manière dont un ordinateur décide où couper ces mots est appelée la tokenisation. Pendant des années, la méthode standard a consisté à laisser l'ordinateur apprendre ces coupes par lui-même en observant la fréquence d'apparition de certaines combinaisons de lettres dans de vastes quantités de texte. Cette approche statistique est efficace, mais elle possède un angle mort : elle tranche souvent au milieu des parties significatives d'un mot, coupant entre un préfixe et une racine, ou entre une racine et un suffixe, simplement parce que ces coupes sont courantes dans les données. Cela rend la compréhension du langage par l'ordinateur moins transparente et parfois moins précise, surtout lorsqu'il traite des mots complexes.

Une équipe de chercheurs de l'Université de Tongji à Shanghai a exploré une voie différente. Ils se sont demandé si un ordinateur pouvait apprendre à couper les mots à des endroits plus sensibles sur le plan linguistique si on lui donnait un léger coup de pouce grâce à un dictionnaire de parties de mots. Au lieu de se reposer uniquement sur les statistiques brutes, ils ont introduit un système qui utilise un lexique morphologique — une base de données spécialisée qui répertorie les préfixes, les racines et les suffixes de milliers de mots anglais — comme guide durant le processus d'apprentissage. Les chercheurs n'ont pas forcé l'ordinateur à suivre le dictionnaire parfaitement, et ils n'ont pas non plus exigé qu'ils étiquettent manuellement chaque mot de leurs données d'entraînement. Au lieu de cela, ils ont traité le dictionnaire comme un signal faible, un indice subtil qui dit : « Si vous êtes sur le point de couper un mot ici, et que cette coupe correspond à un préfixe ou un suffixe connu, vous pourriez envisager de la maintenir. » Ils ont testé cette idée sur trois types différents de tokeniseurs informatiques, qui sont les outils effectuant la découpe. Les résultats ont montré que ce simple guidage a aidé les ordinateurs à aligner leurs coupes avec les véritables blocs de construction des mots bien mieux qu'ils ne l'auraient fait seuls.

L'étude s'est concentrée sur trois méthodes spécifiques que les ordinateurs utilisent pour apprendre à diviser les mots. La première, connue sous le nom de Byte Pair Encoding (encodage par paire d'octets), est une méthode très populaire qui commence par fusionner les paires de lettres les plus fréquentes. La seconde est un style d'entraînement similaire à celui qui alimente de nombreux grands modèles de langage, qui examine la manière dont les combinaisons de lettres s'assemblent en fonction de leur association. La troisième est une méthode probabiliste qui calcule la probabilité de différents segments de mots. Les chercheurs ont pris une grande base de données appelée MorphoLex, qui contient des analyses d'environ 70 000 mots anglais, et l'ont transformée en trois listes simples : une pour les préfixes, une pour les racines ou les bases, et une pour les suffixes. Pendant la phase d'entraînement, lorsque l'ordinateur essayait de décider quelles combinaisons de lettres conserver dans son vocabulaire, le système vérifiait ces listes. Si une coupe potentielle correspondait à un préfixe, une racine ou un suffixe connu, l'ordinateur donnait à cette option un léger coup de pouce dans son classement. Cela signifiait que les unités linguistiquement significatives étaient légèrement plus susceptibles d'être choisies, mais l'ordinateur restait libre de suivre les modèles statistiques du texte si les données étaient suffisamment fortes.

Les résultats de cette expérience ont été clairs et cohérents à travers les trois méthodes. Lorsque les chercheurs ont mesuré la capacité des coupes de l'ordinateur à correspondre aux véritables frontières morphologiques des mots, les versions guidées ont obtenu de meilleurs résultats que les versions standard. L'amélioration a été plus spectaculaire pour la méthode Byte Pair Encoding, qui a vu sa précision dans l'identification des frontières de mots correctes bondir de cinq points de pourcentage. La méthode probabiliste a également connu un gain significatif de plus de trois points de pourcentage. La troisième méthode, l'approche basée sur l'association, a montré une amélioration plus faible mais toujours positive de juste plus d'un point de pourcentage. Ces gains n'étaient pas un simple coup de chance de la configuration des tests. Les chercheurs ont conçu leur évaluation avec soin pour s'assurer que les résultats n'étaient pas simplement dus au fait que l'ordinateur avait mémorisé les mots spécifiques testés. Ils ont créé deux ensembles de tests différents : l'un incluant chaque préfixe et suffixe possible de leur guide, et un autre qui n'en comprenait aucun. Ils ont également divisé leur dictionnaire en deux parties, utilisant une partie pour enseigner à l'ordinateur et une partie totalement distincte pour le tester. Même lorsque l'ordinateur était testé sur des mots qu'il n'avait jamais vus dans le dictionnaire, les améliorations se sont maintenues, suggérant que le système avait véritablement appris une meilleure façon de segmenter les mots.

L'une des découvertes les plus intéressantes fut la manière dont les différentes méthodes informatiques ont réagi au même guidage. La méthode qui reposait purement sur la fréquence a modifié son vocabulaire le plus radicalement, remplaçant beaucoup de ses coupes standards par les nouvelles coupes guidées par la linguistique, et cela a conduit à la plus grande amélioration de la précision. La méthode probabiliste a moins changé son vocabulaire, mais a tout de même obtenu un gain de performance solide. La méthode basée sur l'association, qui possédait déjà une certaine logique interne sur la façon dont les mots s'assemblent, a changé son vocabulaire de la manière la plus drastique mais a connu le plus faible gain de précision. Cela suggère que la valeur du guide du dictionnaire dépend de la manière dont l'ordinateur essayait initialement d'apprendre. Pour un ordinateur qui apprend uniquement par comptage, le dictionnaire fournit une structure cruciale qui lui manquait. Pour un ordinateur qui recherche déjà des modèles d'association, le dictionnaire offre une correction utile mais moins transformative.

Les chercheurs ont également examiné la manière dont le système gérait les mots simples par rapport aux mots complexes. Pour la méthode basée sur la fréquence, l'amélioration était exactement la même, que le mot ait une ou trois parties. Pour la méthode probabiliste, l'amélioration a été principalement observée dans les mots simples, tandis que les mots complexes étaient déjà bien gérés par la méthode standard. Cette analyse détaillée montre que le bénéfice de l'utilisation d'un lexique morphologique n'est pas uniforme ; il interagit avec la manière spécifique dont l'ordinateur apprend. L'étude conclut que ces ressources linguistiques peuvent servir un double usage. Elles peuvent agir comme un guide léger pour aider les ordinateurs à mieux apprendre les structures de vocabulaire sans nécessiter de données étiquetées manuellement et coûteuses. Parallèlement, elles fournissent un moyen d'évaluer ces systèmes de manière plus équitable, garantissant que les améliorations sont réelles et ne sont pas de simples artefacts résultant de l'utilisation des mêmes données pour l'enseignement et le test. Ce travail démontre que même un indice simple et discret provenant d'un dictionnaire peut aider l'intelligence artificielle à comprendre plus clairement les blocs de construction du langage humain.