Résumé technique : Un pipeline à grande échelle pour la détection automatique de néologismes

Énoncé du problème

La détection automatique de néologismes (innovations lexicales) fait face à un défi fondamental d'évolutivité. Bien que les corpus massifs de médias sociaux offrent des sources riches de changement linguistique, la grande majorité des jetons absents des dictionnaires standards ne sont pas des néologismes, mais plutôt des erreurs de frappe, des fautes d'orthographe, des chaînes concaténées, des fragments de code ou du matériel en langue étrangère. Dans un corpus de 527 millions de publications Reddit en anglais, 124,6 millions de jetons uniques ont été extraits. Classifier chacun de ces jetons individuellement à l'aide de modèles de langage de grande taille (LLM) est computationnellement irréalisable. De plus, les systèmes de détection existants reposent souvent sur des dictionnaires d'exclusion statiques et spécifiques à une langue, qui manquent de portabilité et nécessitent une vérification manuelle extensive de grands ensembles de candidats. Le problème central consiste à concevoir un pipeline qui réduit cet immense ensemble de candidats à une taille gérable pour une vérification par des experts, tout en maintenant un taux de rappel élevé pour les innovations lexicales authentiques.

Méthodologie

Les auteurs présentent un pipeline évolutif et modulaire qui combine un filtrage déterministe basé sur des règles avec une classification par LLM multi-modèles. Le système s'appuie sur deux cadres complémentaires de formation des mots :

1. Formation grammaticale des mots : Basée sur la théorie onomasiologique de Štekauer, couvrant des processus régis par des règles comme l'affixation et la composition.
2. Formation extra-grammaticale des mots : Basée sur le cadre de Mattiello, couvrant des processus non régis par des règles comme le mot-valise (blending), l'abréviation (clipping) et la morphologie expressive (par exemple, doggo).

Le pipeline fonctionne via une cascade de filtrage multi-étapes :

1. Tokenisation et prétraitement : En utilisant spaCy, le système supprime le contenu non lexical (URLs, mentions, émojis) et normalise le texte.
2. Filtrage du vocabulaire : Les jetons présents dans des vocabulaires de référence compilés exclusivement à partir de sources antérieures à 2015 (16,3 millions de formes de surface provenant de sources telles que WordNet, Wiktionary et Urban Dictionary) sont exclus.
3. Nettoyage basé sur les motifs : Des règles indépendantes de la langue et spécifiques à la langue éliminent le bruit, tel que la répétition excessive de caractères, les chaînes à faible entropie et les clusters phonotactiques improbables.
4. Détection des erreurs de frappe et de la concaténation : En utilisant SymSpell, le système signale les jetons susceptibles d'être des erreurs de frappe ou des concaténations sans espace de mots existants, basés sur la distance d'édition et la segmentation par rapport à un dictionnaire de fréquence.
5. Seuil de fréquence et réintégration : Les jetons signalés comme des erreurs sont réexaminés s'ils apparaissent fréquemment (seuil ≥100 occurrences) dans le corpus. Ce mécanisme empêche le rejet prématuré de vrais néologismes à haute fréquence qui pourraient ressembler à des erreurs de frappe (par exemple, vtuber).
6. Détection de langue étrangère : Un détecteur de langue (Lingua) filtre les jetons identifiés comme non anglais, bien qu'un seuil de confiance permette aux cas ambigus de passer à la classification.
7. Classification par LLM : Les candidats restants sont classés en quatre catégories : Néologisme (nouveaux mots/argot), Entité (noms propres), Étranger (mots non anglais) et Aucun (bruit résiduel).
   • Vote d'ensemble : Trois modèles open-source (Qwen 2.5 72B, LLaMA 3.3 70B, Mistral Large 2 123B) classent indépendamment les jetons. Un vote majoritaire détermine l'étiquette.
   • Vérification : Un quatrième modèle (Claude 4.5 Haiku) agit comme un filtre de vérification strict, réévaluant les candidats néologismes issus du vote majoritaire pour réduire les faux positifs.

Contributions clés

1. Architecture de pipeline évolutif : Un système modulaire capable de traiter des centaines de millions de jetons, réduisant un ensemble de 124,6 millions de jetons à 1 021 candidats (un taux de compression de 122 031:1) adapté à une vérification manuelle par des experts.
2. Fondement théorique : Le schéma de classification est explicitement dérivé des théories de formation grammaticale et extra-grammaticale des mots, garantissant que l'étiquette « néologisme » capture à la fois les innovations basées sur des règles et les innovations analogiques.
3. Évaluation comparative des LLM : Une évaluation systématique de plusieurs LLM sur une tâche de classification de néologismes en quatre classes, révélant un désaccord significatif entre les modèles et démontrant la valeur des méthodes d'ensemble.
4. Jeu de données annoté : La publication d'une liste manuellement annotée de 1 021 candidats issus de la sortie du pipeline, incluant des étiquettes de référence, une analyse des erreurs et une classification par processus de formation des mots.

Résultats

Appliqué aux 527 millions de publications Reddit (2005–2024), le pipeline a produit les résultats suivants :

• Efficacité du filtrage : Les étapes basées sur des règles ont réduit l'ensemble initial de 124,6 millions de jetons uniques de 99,86 %, laissant 174 973 candidats pour la classification par LLM.
• Désaccord des modèles : Il y a eu un désaccord substantiel entre les trois modèles open-source. LLaMA a été le plus agressif dans la prédiction de néologismes (12,2 %), tandis que Mistral a été le plus conservateur (attribuant 59,9 % à « aucun »). Un accord unanime n'a été observé que dans 45,8 % des cas.
• Impact de la vérification : Le vote majoritaire a produit 10 499 candidats néologismes. L'étape de vérification utilisant Claude 4.5 Haiku a rejeté 90,3 % de ceux-ci, confirmant uniquement 897 en tant que néologismes.
• Sortie finale : Après vérification, 1 021 candidats sont restés. L'annotation manuelle a confirmé que 599 (58,7 %) étaient de véritables innovations lexicales (465 néologismes et 134 entités). Les 422 restants étaient des faux positifs (361 « aucun » et 61 jetons en langue étrangère).
• Motifs de formation des mots : Les 599 néologismes confirmés ont présenté des processus de formation diversifiés, incluant des processus grammaticaux standards (préfixation, suffixation, composition) et des processus extra-grammaticaux (mot-valise, morphologie expressive et formations analogiques comme finfluencer et tradwife).
• Estimation du rappel : Sur la base d'une liste de référence de 103 néologismes documentés, le pipeline a détecté 20 vrais positifs. Cependant, 48 ont été correctement exclus en tant que formes antérieures à 2015, et 33 étaient des faux négatifs. Le rappel pour les éléments véritablement postérieurs à 2015 était de 37,7 % (20/53), la principale source de faux négatifs étant les conflits d'homographes dans le vocabulaire (par exemple, rizz en tant que nom de personnage vs le terme d'argot).

Importance et affirmations

L'article positionne le pipeline non pas comme un classificateur parfait, mais comme un générateur de candidats à haut rappel. Sa signification principale réside dans la faisabilité de la tâche de détection de néologismes pour les experts humains en compressant un jeu de données ingérable en un ensemble petit et vérifiable.

Les auteurs affirment que :

• Le pipeline opérationnalise avec succès des théories linguistiques complexes (Štekauer et Mattiello) dans un flux de travail computationnel.
• La combinaison d'un pré-filtrage basé sur des règles et d'une classification par LLM multi-modèles est nécessaire pour gérer le bruit inhérent aux données des médias sociaux.
• Le jeu de données résultant de 599 néologismes vérifiés constitue une ressource précieuse pour l'étude des processus contemporains de formation des mots, capturant des motifs allant de la composition standard aux formes combinatoires « sécrétées » analogiques (par exemple, -fluencer, -pilled).
• L'analyse des erreurs met en évidence que les améliorations futures devraient se concentrer sur les premières étapes de filtrage (vocabulaire et tokenisation) plutôt que sur la classification en aval, en particulier concernant les glissements sémantiques et les conflits d'homographes.

Les auteurs notent explicitement des limitations, notamment l'incapacité à détecter des expressions multi-mots, des glissements sémantiques (par exemple, Karen) ou des innovations non alphabétiques (algospeak), et reconnaissent que l'instanciation actuelle est spécifique à l'anglais, bien que l'architecture soit conçue pour être transférable.