Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline

Résumé technique : Opérationnaliser les méthodes linguistiques par les compétences de l'ingénierie de prompts

Énoncé du problème
Les néologismes du web chinois — nouveaux mots et expressions émergeant de l'usage de la langue en ligne — représentent un défi persistant pour la lexicographie computationnelle. Bien que la linguistique chinoise traditionnelle offre des comptes rendus descriptifs bien développés des principes de formation de mots (ex. : modification, structures verbe-objet, affixation) et des frontières entre les créations nouvelles et l'inventaire lexical existant, ces comptes rendus sont restés largement descriptifs. Ils sont utilisés par les linguistes pour l'identification manuelle plutôt que pour la détection automatique. Combler le fossé entre la connaissance linguistique descriptive et les procédures de détection automatique est un objectif de longue date dans le domaine du TAL (Traitement Automatique du Langage) chinois. De plus, bien que les grands modèles de langage (LLM) offrent de nouvelles possibilités pour opérationnaliser la connaissance linguistique via des prompts, demander simplement à un LLM de « juger si ceci est un nouveau mot » ne revient pas à encoder des principes linguistiques sous une forme reproductible et structurée.

Méthodologie
Les auteurs proposent un pipeline entièrement automatique en quatre étapes pour la détection des néologismes du web chinois à partir du corpus BAAI CCI 3.0 (267 millions de documents). L'innovation centrale est l'opérationnalisation des principes d'identification linguistiques traditionnels sous forme de compétences d'ingénierie de prompts (prompt-engineering skills). Une « compétence » est définie ici comme une interface de tâche de LLM structurée combinant des spécifications de règles explicites, des exemples représentatifs et des contraintes de format.

Le pipeline procède comme suit :

1. Étape 1 : Génération de candidats indépendante du tokenizer. Pour éviter le biais lexical inhérent aux pipelines dépendants du tokenizer, la méthode extrait des n-grammes de caractères (longueurs 2, 3 et 4) directement via le comptage de fréquences, conservant les 400 000 meilleurs candidats pour chaque longueur (1,2 million au total).
2. Étape 2 : Ancrage dictionnairique et pré-filtrage statistique. Les candidats sont filtrés par rapport au Dictionnaire de chinois moderne (5ème édition, 2005) pour éliminer les mots préexistants. Un pré-filtre de l'information mutuelle ponctuelle (PMI) est appliqué (PMI > 2 pour 2/3 caractères ; > 4 pour 4 caractères) pour contrôler les coûts en aval, bien que les auteurs reconnaissent que cela puisse écarter certains néologismes à faible cohésion.
3. Étape 3 : Compétence de bien-fondé structurel (LLM). Utilisant le modèle Qwen3.5-27B, les candidats sont classés comme BIEN_FORMÉ (WELL_FORMED) ou FRAGMENT. Le prompt encode les principes de formation de mots chinois (modification, verbe-objet, parallèle, modèles quadrisyllabiques, affixation). Cette étape garantit la validité structurelle plutôt que la reconnaissance basée sur la mémoire.
4. Étape 4 : Classification tripartite.
   • 4A (Basée sur des règles) : Une chaîne de cinq règles de position de caractères filtre les non-mots évidents (ex. : préfixes/suffixes de mots fonctionnels).
   • 4B (Compétence LLM) : Les candidats restants subissent une classification tripartite (NÉOLOGISME, ENTITÉ, AUCUN) via une compétence de LLM. La compétence inclut des définitions de classes, des exemples et des règles de décision (ex. : l'incertitude par défaut est AUCUN).

Protocole d'évaluation
Au lieu de rapporter un score de rappel agrégé unique, les auteurs développent une décomposition du rappel conditionnel par étape. En traçant la survie des entrées du dictionnaire des nouveaux mots chinois de Hou (2023) (4 199 entrées) à travers chaque étape, ils calculent le rappel conditionnel ($R_k$) pour chaque étape. Le rappel strict global est mathématiquement le produit de ces rappels d'étape ($R_1 \times R_2 \times R_3 \times R_{4A} \times R_{4B}$). Cela permet une comparaison diagnostique au niveau du sous-pipeline.

Résultats clés

• Sortie du pipeline : Appliqué au corpus CCI 3.0, le pipeline a produit 226 959 candidats classifiés, incluant 4 853 néologismes étiquetés, 21 119 entités et 200 987 non-mots.
• Analyse des goulots d'étranglement : La décomposition du rappel par étape révèle une structure de goulot d'étranglement bimodale.
  • Étape 1 (Couverture des candidats) : $R = 41,5 \%$
  • Étape 4B (Classification sémantique) : $R = 60,0 \%$
  • Les étapes intermédiaires (2, 3, 4A) sont quasi-sans perte ($R > 97 \%$).
  • Ensemble, l'Étape 1 et l'Étape 4B représentent 83,7 % des faux négatifs.
• Diagnostic stratifié par longueur : Une conclusion critique est la dissociation entre les deux compétences de LLM concernant la longueur des candidats :
  • Bien-fondé structurel (Étape 3) : Invariant à la longueur, conservant ~97–100 % des entrées de 2, 3 et 4 caractères.
  • Classification de la nouveauté sémantique (Étape 4B) : Dépendante de la longueur, avec un rappel chutant significativement à mesure que la longueur augmente (65,6 % pour 2 caractères, 59,0 % pour 3 caractères, 44,1 % pour 4 caractères).
• Comparaison translingue : Le rappel de l'Étape 4B (60,0 %) correspond étroitement au taux de nouveauté réelle de 58,7 % rapporté par Rossini et van der Plas (2026) pour la détection de néologismes anglais, suggérant un potentiel plafond translingue pour la classification actuelle basée sur les LLM.

Signification et revendications
L'article présente quatre contributions méthodologiques :

1. Opérationnalisation : Il démontre une méthode pour convertir la connaissance linguistique descriptive en procédures de détection automatiques reproductibles via des compétences d'ingénierie de prompts.
2. Évaluation diagnostique : Il introduit un protocole d'évaluation de rappel conditionnel par étape qui décompose la performance du pipeline en facteurs multiplicatifs, permettant une attribution granulaire des erreurs.
3. Libération de ressources : Il publie une ressource de 226 959 candidats classifiés issus d'un vaste corpus web chinois.
4. Cartographie des limites : Il identifie une limite spécifique dans l'opérationnalisation linguistique par compétences : alors que les LLM peuvent juger de manière fiable la formation structurelle des mots (invariante à la longueur), leur capacité à juger la nouveauté sémantique se dégrade significativement à mesure que la longueur des candidats augmente.

Les auteurs affirment modestement que ce travail n'introduit pas le concept de « compétences » (qui est une pratique établie) mais qu'il étudie la fiabilité et les limites de l'opérationnalisation des connaissances d'identification linguistique à travers ce paradigme. Les résultats suggèrent que si l'aspect structurel de la détection de néologismes est bien géré par les LLM actuels, le jugement de la nouveauté sémantique reste un défi important, particulièrement pour les candidats plus longs.