Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline

Sintesi Tecnica: Operazionalizzare i Metodi Linguistici attraverso Competenze di Prompt-Engineering

Problematica
I neologismi del web cinese — nuove parole ed espressioni che emergono dall'uso del linguaggio online — rappresentano una sfida persistente per la lessicografia computazionale. Sebbene la linguistica cinese tradizionale offra descrizioni ben sviluppate dei principi di formazione delle parole (ad esempio, modificazione, strutture verbo-oggetto, affissazione) e dei confini tra nuovi neologismi e l'inventario lessicale esistente, tali descrizioni sono rimaste ampiamente descrittive. Esse vengono utilizzate dai linguisti per l'identificazione manuale piuttosto che per il rilevamento automatico. Colmare il divario tra la conoscenza linguistica descrittiva e le procedure di rilevamento automatico è stato un obiettivo di lungo corso nella NLP cinese. Inoltre, sebbene i Large Language Models (LLM) offrano nuove possibilità per operazionalizzare la conoscenza linguistica tramite prompt, chiedere semplicemente a un LLM di "giudicare se questa è una nuova parola" non equivale a codificare i principi linguistici in una forma strutturata e riproducibile.

Metodologia
Gli autori propongono una pipeline a quattro fasi, completamente automatica, per il rilevamento di neologismi del web cinese dal corpus BAAI CCI 3.0 (267 milioni di documenti). L'innovazione principale è l'operazionalizzazione dei principi di identificazione linguistica tradizionale come competenze di prompt-engineering (prompt-engineering skills). Una "competenza" (skill) è definita qui come un'interfaccia di task per LLM strutturata che combina specifiche regole esplicite, esempi rappresentativi e vincoli di formato.

La pipeline procede come segue:

1. Fase 1: Generazione di Candidati Indipendente dal Tokenizer. Per evitare il bias lessicale inerente alle pipeline dipendenti dal tokenizer, il metodo estrae n-grammi di caratteri (lunghezze 2, 3 e 4) direttamente tramite il conteggio delle frequenze, trattenendo i primi 400.000 candidati per ogni lunghezza (1,2 milioni totali).
2. Fase 2: Ancoraggio al Dizionario e Pre-filtraggio Statistico. I candidati vengono filtrati rispetto al Modern Chinese Dictionary (5ª edizione, 2005) per rimuovere le parole preesistenti. Viene applicato un pre-filtro di Informazione Mutua Punto a Punto (PMI) (PMI > 2 per 2/3 caratteri; > 4 per 4 caratteri) per controllare i costi a valle, sebbene gli autori riconoscano che ciò possa scartare alcuni neologismi a bassa coesione.
3. Fase 3: Competenza sulla Benformazione Strutturale (LLM). Utilizzando il modello Qwen3.5-27B, i candidati vengono classificati come WELL_FORMED (ben formato) o FRAGMENT (frammento). Il prompt codifica i principi di formazione delle parole cinesi (modificazione, verbo-oggetto, parallelo, template tetrasillabici, affissazione). Questa fase assicura la validità strutturale piuttosto che il riconoscimento basato sulla memoria.
4. Fase 4: Classificazione a Tre Vie.
   • 4A (Basata su regole): Una catena di cinque regole di posizione dei caratteri filtra le parole non-parole ovvie (ad esempio, prefissi/suffissi di parole funzionali).
   • 4B (Competenza LLM): I candidati rimanenti sono sottoposti a una classificazione a tre vie (NEOLOGISM, ENTITY, NONE) tramite una competenza LLM. La competenza include definizioni di classe, esempi e regole decisionali (ad esempio, l'incertezza decade in NONE).

Protocollo di Valutazione
Invece di riportare un singolo punteggio di recall aggregato, gli autori sviluppano una decomposizione della recall condizionale per fase. Tracciando la sopravvivenza delle voci dal dizionario New Chinese Words di Hou (2023) (4.199 voci) attraverso ogni fase, calcolano la recall condizionale ($R_k$) per ogni fase. La recall rigorosa complessiva è matematicamente il prodotto di queste recall di fase ($R_1 \times R_2 \times R_3 \times R_{4A} \times R_{4B}$). Ciò consente un confronto diagnostico a livello di sub-pipeline.

Risultati Chiave

• Output della Pipeline: Applicata al corpus CCI 3.0, la pipeline ha prodotto 226.959 candidati classificati, inclusi 4.853 neologismi etichettati, 21.119 entità e 200.987 non-parole.
• Analisi del Collo di Bottiglia: La decomposizione per fase rivela una struttura di collo di bottiglia bimodale.
  • Fase 1 (Copertura dei Candidati): $R = 41,5\%$
  • Fase 4B (Classificazione Semantica): $R = 60,0\%$
  • Le fasi intermedie (2, 3, 4A) sono quasi prive di perdite ($R > 97\%$).
  • Insieme, la Fase 1 e la Fase 4B sono responsabili dell'83,7% dei falsi negativi.
• Diagnosi Stratificata per Lunghezza: Un risultato critico è la dissociazione tra le due competenze LLM rispetto alla lunghezza del candidato:
  • Benformazione Strutturale (Fase 3): Invariante rispetto alla lunghezza, trattiene circa il 97–100% delle voci di 2, 3 e 4 caratteri.
  • Classificazione della Novità Semantica (Fase 4B): Dipendente dalla lunghezza, con la recall che diminuisce significativamente all'aumentare della lunghezza (65,6% per 2 caratteri, 59,0% per 3 caratteri, 44,1% per 4 caratteri).
• Confronto Cross-Linguale: La recall della Fase 4B (60,0%) corrisponde strettamente al tasso di vera novità del 58,7% riportato da Rossini e van der Plas (2026) per il rilevamento di neologismi inglesi, suggerendo un potenziale limite trans-linguistico per l'attuale classificazione basata su LLM.

Significatività e Rivendicazioni
Il lavoro apporta quattro contributi metodologici:

1. Operazionalizzazione: Dimostra un metodo per convertire la conoscenza linguistica descrittiva in procedure di rilevamento automatiche e riproducibili tramite competenze di prompt-engineering.
2. Valutazione Diagnostica: Introduce un protocollo di valutazione della recall condizionale per fase che decompone le prestazioni della pipeline in fattori moltiplicativi, consentendo un'attribuzione granulare degli errori.
3. Rilascio di Risorse: Rilascia una risorsa pubblica di 226.959 candidati classificati da un massiccio corpus web cinese.
4. Mappatura dei Confini: Identifica un confine specifico nell'operazionalizzazione linguistica basata su competenze: mentre gli LLM possono giudicare in modo affidabile la formazione strutturale delle parole (invariante rispetto alla lunghezza), la loro capacità di giudicare la novità semantica degrada significativamente all'aumentare della lunghezza del candidato.

Gli autori affermano con modestia che questo lavoro non introduce il concetto di "competenze" (che è una pratica consolidata), ma piuttosto investiga l'affidabilità e i confini dell'operazionalizzazione della conoscenza di identificazione linguistica attraverso questo paradigma. I risultati suggeriscono che, mentre l'aspetto strutturale del rilevamento dei neologismi è gestito bene dagli attuali LLM, il giudizio sulla novità semantica rimane una sfida significativa, particolarmente per i candidati più lunghi.