Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline

Technische Samenvatting: Het operationaliseren van linguïstische methoden door middel van prompt-engineering vaardigheden

Probleemstelling
Chinese web-neologismen—nieuwe woorden en uitdrukkingen die voortkomen uit online taalgebruik—vormen een hardnekkige uitdaging voor de computationele lexicografie. Hoewel de traditionele Chinese taalkunde beschikt over goed ontwikkelde beschrijvende verhandelingen over woordvormingsprincipes (bijv. modificatie, werkwoord-objectstructuren, affixatie) en de grenzen tussen nieuwe creaties en de bestaande lexicale inventaris, zijn deze beschrijvingen grotendeels descriptief gebleven. Ze worden door taalkundigen gebruikt voor handmatige identificatie in plaats van voor automatische detectie. Het overbruggen van de kloof tussen descriptieve taalkundige kennis en automatische detectieprocedures is een langdurig doel binnen de Chinese NLP geweest. Bov�ertendien bieden Large Language Models (LLM's) nieuwe mogelijkheden voor het operationaliseren van taalkundige kennis via prompts, maar het simpelweg vragen aan een LLM om "te beoordelen of dit een nieuw woord is" komt niet overeen met het coderen van taalkundige principes in een reproduceerbare, gestructureerde vorm.

Methodologie
De auteurs stellen een vierfasige, volledig automatische pijplijn voor om Chinese web-neologismen te detecteren uit het BAAI CCI 3.0 corpus (267 miljoen documenten). De kerninnovatie is het operationaliseren van traditionele taalkundige identificatieprincipes als prompt-engineering vaardigheden (skills). Een "vaardigheid" wordt hier gedefinieerd als een gestructureerde LLM-taakinterface die expliciete regelspecificaties, representatieve voorbeelden en formaatbeperkingen combineert.

De pijplijn verloopt als volgt:

1. Fase 1: Tokenizer-onafhankelijke kandidaatgeneratie. Om de lexicale bias te vermijden die inherent is aan tokenizer-afhankelijke pijlijnen, extraheert de methode karakter n-grammen (lengtes 2, 3 en 4) direct via frequentietelling, waarbij de top 400.000 kandidaten voor elke lengte worden behouden (1,2 miljoen in totaal).
2. Fase 2: Woordenboekverankering en statistische pre-filtering. Kandidaten worden gefilterd tegen het Modern Chinese Dictionary (5e editie, 2005) om reeds bestaande woorden te verwijderen. Een Pointwise Mutual Information (PMI) pre-filter wordt toegepast (PMI > 2 voor 2/3-karakters; > 4 voor 4-karakters) om de kosten voor de downstream-processen te beheersen, hoewel de auteurs erkennen dat dit enkele laag-cohesieve neologismen kan weggooien.
3. Fase 3: Structurele welgevormdheid-vaardigheid (LLM). Met behulp van het Qwen3.5-27B model worden kandidaten geclassificeerd als WELL_FORMED of FRAGMENT. De prompt codeert Chinese woordvormingsprincipes (modificatie, werkwoord-object, parallel, vierlettergrepige sjablonen, affixatie). Deze fase waarborgt structurele validiteit in plaats van geheugen-gebaseerde herkenning.
4. Fase 4: Drie-weg classificatie.
   • 4A (Regelgebaseerd): Een keten van vijf karakterpositie-regels filtert overduidelijke geen-woorden uit (bijv. functiewoord-voorvoegsels/achtervoegsels).
   • 4B (LLM Vaardigheid): De resterende kandidaten ondergaan een drie-weg classificatie (NEOLOGISM, ENTITY, NONE) via een LLM-vaardigheid. De vaardigheid bevat klassendefinities, voorbeelden en beslisregels (bijv. onzekerheid resulteert standaard in NONE).

Evaluatieprotocol
In plaats van één enkel geaggregeerd recall-cijfer te rapporteren, ontwikkelen de auteurs een per-fase conditionele recall-decompositie. Door de overleving van items uit het Hou (2023) New Chinese Words woordenboek (4.199 items) door elke fase te volgen, berekenen zij de conditionele recall ($R_k$) voor elke fase. De totale strikte recall is wiskundig gezien het product van deze fase-recalls ($R_1 \times R_2 \times R_3 \times R_{4A} \times R_{4B}$). Dit maakt een diagnostische vergelijking op sub-pijlijnniveau mogelijk.

Belangrijkste Resultaten

• Pijplijn Output: Toegepast op het CCI 3.0 corpus produceerde de pijplijn 226.959 geclassificeerde kandidaten, inclus respectievelijk 4.853 gelabelde neologismen, 21.119 entiteiten en 200.987 geen-woorden.
• Bottleneck Analyse: De per-fase decompositie onthult een bimodale bottleneck-structuur.
  • Fase 1 (Kandidaat Dekking): $R = 41,5\%$
  • Fase 4B (Semantische Classificatie): $R = 60,0\%$
  • Tussenliggende fasen (2, 3, 4A) zijn nagenoeg verliesvrij ($R > 97\%$).
  • Samen zijn Fase 1 en Fase 4B verantwoordelijk voor 83,7% van de fout-negatieven.
• Lengte-gestratificeerde Diagnose: Een cruciale bevinding is de dissociatie tussen de twee LLM-vaardigheden met betrekking tot de kandidaat-lengte:
  • Structurele Welgevormdheid (Fase 3): Lengte-invariant, behoudt ~97–100% van de 2, 3 en 4-karakter items.
  • Semantische Nieuwheid Classificatie (Fase 4B): Lengte-afhankelijk, waarbij de recall significant daalt naarmate de lengte toeneemt (65,6% voor 2-karakters, 59,0% voor 3-karakters, 44,1% voor 4-karakters).
• Cross-linguale Vergelijking: De Fase 4B recall (60,0%) komt nauw overeen met de 58,7% echte-nieuwheidsgraad gerapporteerd door Rossini en van der Plas (2026) voor Engelse neologisme-detectie, wat suggereert dat er een mogelijke cross-linguale plafond bestaat voor huidige LLM-gebaseerde classificatie.

Betekenis en Claims
Het artikel doet vier methodologische bijdragen:

1. Operationalisering: Het demonstreert een methode om descriptieve taalkundige kennis om te zetten in reproduceerbare, automatische detectieprocedures via prompt-engineering vaardigheden.
2. Diagnostische Evaluatie: Het introduceert een per-fase conditionele recall-evaluatieprotocol dat de prestaties van de pijplijn ontleedt in multiplicatieve factoren, wat een fijnmazige fouttoerekening mogelijk maakt.
3. Resource Release: Het stelt een publieke bron vrij van 226.959 geclassificeerde kandidaten uit een massief Chinees web-corpus.
4. Grensbepaling: Het identificeert een specifieke grens in de vaardigheid-gebaseerde taalkundige operationalisering: terwijl LLM's betrouwbaar de structurele woordvorming kunnen beoordelen (lengte-invariant), neemt hun vermogen om semantische nieuwheid te beoordelen significant af naarmate de kandidaat-lengte toeneemt.

De auteurs beweren bescheiden dat dit werk niet het concept van "vaardigheden" introduceert (wat een gevestigde praktijk is), maar eerder onderzoekt hoe betrouwbaar het operationaliseren van taalkundige identificatiekennis via dit paradigma is. De resultaten suggereren dat hoewel het structurele aspect van neologisme-detectie goed wordt afgehandeld door huidige LLM's, het oordelen over semantische nieuwheid een significante uitdaging blijft, met name voor langere kandidaten.