Riepilogo Tecnico: Una Pipeline su Larga Scala per il Rilevamento Automatico dei Neologismi

Enunciato del Problema

Il rilevamento automatico dei neologismi (innovazioni lessicali) affronta una sfida fondamentale di scalabilità. Sebbene i corpora su larga scala dei social media offrano fonti ricche di cambiamento linguistico, la stragrande maggioranza dei token assenti dai dizionari standard non sono neologismi, bensì errori di battitura, errori di ortografia, stringhe concatenate, frammenti di codice o materiale in lingua straniera. In un corpus di 527 milioni di post in inglese di Reddit, sono stati estratti 124,6 milioni di token unici. Classificare ciascuno di questi individualmente utilizzando Modelli Linguistici di Grande Dimensione (LLM) è computazionalmente non fattibile. Inoltre, i sistemi di rilevamento esistenti spesso fanno affidamento su dizionari di esclusione statici e specifici per lingua, che mancano di portabilità e richiedono un'ampia verifica manuale di grandi insiemi di candidati. Il problema centrale è progettare una pipeline che riduca questo enorme insieme di candidati a una dimensione gestibile per la verifica da parte di esperti, mantenendo al contempo un'elevata sensibilità per le genuine innovazioni lessicali.

Metodologia

Gli autori presentano una pipeline scalabile e modulare che combina un filtraggio deterministico basato su regole con una classificazione LLM multi-modello. Il sistema si fonda su due framework complementari di formazione delle parole:

1. Formazione Grammaticale delle Parole: Basata sulla teoria onomasiologica di Štekauer, che copre processi regolati da regole come l'affissazione e la composizione.
2. Formazione Extra-Grammaticale delle Parole: Basata sul framework di Mattiello, che copre processi non regolati da regole come la fusione (blending), l'accorciamento (clipping) e la morfologia espressiva (ad esempio, doggo).

La pipeline opera attraverso una cascata di filtraggio multi-stadio:

1. Tokenizzazione e Preprocessing: Utilizzando spaCy, il sistema rimuove contenuti non lessicali (URL, menzioni, emoji) e normalizza il testo.
2. Filtraggio del Vocabolario: I token presenti nei vocabolari di riferimento compilati esclusivamente da fonti pre-2015 (16,3 milioni di forme superficiali da fonti come WordNet, Wiktionary e Urban Dictionary) vengono esclusi.
3. Pulizia Basata su Modelli: Regole indipendenti dalla lingua e specifiche per lingua rimuovono il rumore, come la ripetizione eccessiva di caratteri, stringhe a bassa entropia e cluster fonotattici implausibili.
4. Rilevamento di Errori di Battitura e Concatenazioni: Utilizzando SymSpell, il sistema segnala i token che sono probabilmente errori di ortografia o concatenazioni senza spazi di parole esistenti, basandosi sulla distanza di编辑 e sulla segmentazione rispetto a un dizionario di frequenza.
5. Soglia di Frequenza e Reintegrazione: I token segnalati come errori vengono riesaminati se appaiono frequentemente (soglia ≥100 occorrenze) nel corpus. Questo meccanismo previene l'eliminazione prematura di genuini neologismi ad alta frequenza che potrebbero assomigliare a errori di battitura (ad esempio, vtuber).
6. Rilevamento della Lingua Straniera: Un rilevatore di lingua (Lingua) filtra i token identificati come non inglesi, sebbene una soglia di confidenza permetta ai casi ambigui di procedere alla classificazione.
7. Classificazione LLM: I candidati rimanenti vengono classificati in quattro categorie: Neologismo (parole nuove/gergo), Entità (nomi propri), Straniero (parole non inglesi) e Nessuno (rumore residuo).
   • Voto d'Insieme: Tre modelli open-source (Qwen 2.5 72B, LLaMA 3.3 70B, Mistral Large 2 123B) classificano indipendentemente i token. Un voto di maggioranza determina l'etichetta.
   • Verifica: Un quarto modello (Claude 4.5 Haiku) agisce come un filtro di verifica rigoroso, rivalutando i candidati neologismo del voto di maggioranza per ridurre i falsi positivi.

Contributi Chiave

1. Architettura di Pipeline Scalabile: Un sistema modulare capace di elaborare centinaia di milioni di token, riducendo un insieme di 124,6 milioni di token a 1.021 candidati (un rapporto di compressione di 122.031:1) adatto alla verifica manuale da parte di esperti.
2. Fondamento Teorico: Il sistema di classificazione è esplicitamente derivato dalle teorie di formazione grammaticale ed extra-grammaticale delle parole, assicurando che l'etichetta "neologismo" catturi sia innovazioni basate su regole sia analogiche.
3. Valutazione Comparativa degli LLM: Una valutazione sistematica di più LLM su un compito di classificazione dei neologismi a quattro classi, rivelando un significativo disaccordo inter-modello e dimostrando il valore dei metodi d'insieme.
4. Dataset Annotato: Il rilascio di un elenco manualmente annotato di 1.021 candidati in uscita dalla pipeline, includendo etichette gold, analisi degli errori e classificazione per processo di formazione delle parole.

Risultati

Applicata ai 527 milioni di post di Reddit (2005–2024), la pipeline ha prodotto i seguenti risultati:

• Efficienza di Filtraggio: Gli stadi basati su regole hanno ridotto l'iniziale insieme di 124,6 milioni di token unici del 99,86%, lasciando 174.973 candidati per la classificazione LLM.
• Disaccordo tra Modelli: C'è stato un sostanziale disaccordo tra i tre modelli open-source. LLaMA è stato il più aggressivo nel prevedere neologismi (12,2%), mentre Mistral è stato il più conservativo (assegnando il 59,9% a "nessuno"). L'accordo unanime si è verificato solo nel 45,8% dei casi.
• Impatto della Verifica: Il voto di maggioranza ha prodotto 10.499 candidati neologismo. Lo stadio di verifica utilizzando Claude 4.5 Haiku ha respinto il 90,3% di questi, confermando solo 897 come neologismi.
• Output Finale: Dopo la verifica, sono rimasti 1.021 candidati. L'annotazione manuale ha confermato che 599 (58,7%) erano genuine innovazioni lessicali (465 neologismi e 134 entità). I restanti 422 erano falsi positivi (361 "nessuno" e 61 token in lingua straniera).
• Modelli di Formazione delle Parole: I 599 neologismi confermati hanno esibito processi di formazione diversificati, inclusi processi grammaticali standard (prefissazione, suffissazione, composizione) e processi extra-grammaticali (fusione, morfologia espressiva e formazioni analogiche come finfluencer e tradwife).
• Stima della Sensibilità (Recall): Basata su un elenco di riferimento di 103 neologismi documentati, la pipeline ha rilevato 20 veri positivi. Tuttavia, 48 sono stati correttamente esclusi come forme pre-2015 e 33 sono stati falsi negativi. La sensibilità per gli elementi genuinamente post-2015 è stata del 37,7% (20/53), con la principale fonte di falsi negativi che sono stati i conflitti di omonimia lessicale (ad esempio, rizz come nome di personaggio rispetto al termine gergale).

Significato e Affermazioni

Il documento posiziona la pipeline non come un classificatore perfetto, ma come un generatore di candidati ad alta sensibilità. Il suo significato principale risiede nel rendere fattibile il compito del rilevamento dei neologismi per gli esperti umani, comprimendo un dataset ingestibile in un piccolo insieme verificabile.

Gli autori affermano che:

• La pipeline opera con successo complesse teorie linguistiche (Štekauer e Mattiello) in un flusso di lavoro computazionale.
• La combinazione di pre-filtraggio basato su regole e classificazione LLM multi-modello è necessaria per gestire il rumore intrinseco nei dati dei social media.
• Il dataset risultante di 599 neologismi verificati fornisce una risorsa preziosa per lo studio dei processi di formazione delle parole contemporanei, catturando modelli dalla composizione standard alle forme combinatorie "secrete" analogiche (ad esempio, -fluencer, -pilled).
• L'analisi degli errori evidenzia che i futuri miglioramenti dovrebbero concentrarsi sugli stadi di filtraggio più precoci (vocabolario e tokenizzazione) piuttosto che sulla classificazione a valle, in particolare per quanto riguarda i cambiamenti semantici e i conflitti di omonimia.

Gli autori notano esplicitamente le limitazioni, inclusa l'incapacità di rilevare espressioni multi-parola, cambiamenti semantici (ad esempio, Karen) o innovazioni non alfabetici (algospeak), e riconoscono che l'istanza corrente è specifica per l'inglese, sebbene l'architettura sia progettata per essere trasferibile.