Technische Samenvatting: Een Grootschalige Pipeline voor Automatische Detectie van Neologismen

Probleemstelling

De automatische detectie van neologismen (lexicale innovaties) staat voor een fundamentele schaalbaarheidsuitdaging. Hoewel grootschalige corpora van sociale media rijke bronnen van taalkundige verandering bieden, is de overgrote meerderheid van de tokens die ontbreken in standaardwoordenboeken geen neologismen, maar eerder typefouten, verkeerde spellingen, samengevoegde strings, codefragmenten of materiaal in vreemde talen. In een corpus van 527 miljoen Engelstalige Reddit-posts werden 124,6 miljoen unieke tokens geëxtraheerd. Het individueel classificeren van elk van deze tokens met Large Language Models (LLM's) is computatief onuitvoerbaar. Bovendien vertrouwen bestaande detectiesystemen vaak op statische, taalspecifieke uitsluitingswoordenboeken die niet-portabel zijn en uitgebreide handmatige verificatie van grote kandidaatsets vereisen. Het kernprobleem is het ontwerpen van een pipeline die deze enorme kandidaatset reduceert tot een beheersbare grootte voor expertverificatie, terwijl tegelijkertijd een hoge recall voor echte lexicaal innovaties wordt behouden.

Methodologie

De auteurs presenteren een schaalbare, modulaire pipeline die deterministische regelgebaseerde filtering combineert met multi-model LLM-classificatie. Het systeem is gebaseerd op twee complementaire woordvormingskaders:

1. Grammaticale Woordvorming: Gebaseerd op Štekauer's onomasiologische theorie, die regelgeleide processen zoals affigatie en composities omvat.
2. Extra-grammaticale Woordvorming: Gebaseerd op Mattiello's kader, dat niet-regelgeleide processen zoals blending, clipping en expressieve morfologie omvat (bijv. doggo).

De pipeline werkt via een meerstaps filtercascade:

1. Tokenisatie & Preprocessing: Met spaCy verwijdert het systeem niet-lexicale inhoud (URL's, vermeldingen, emoji's) en normaliseert het tekst.
2. Woordenschatfiltering: Tokens die aanwezig zijn in referentiewoordenschatten, uitsluitend samengesteld uit bronnen van voor 2015 (16,3 miljoen oppervlaktevormen uit bronnen zoals WordNet, Wiktionary en Urban Dictionary), worden uitgesloten.
3. Patroongebaseerde Schoonmaak: Taalonafhankelijke en taalspecifieke regels verwijderen ruis, zoals excessieve karaktersherhaling, strings met lage entropie en onwaarschijnlijke fonotactische clusters.
4. Typefout- en Concatenatiedetectie: Met SymSpell markeert het systeem tokens die waarschijnlijk typefouten zijn of spatieloos samengevoegde bestaande woorden, gebaseerd op edit-afstand en segmentatie tegen een frequentiewoordenschat.
5. Frequentiedrempel & Re-integratie: Tokens die als fouten zijn gemarkeerd, worden opnieuw overwogen als ze frequent voorkomen (drempel ≥100 occurrences) in het corpus. Dit mechanisme voorkomt het voortijdig wegwerpen van echte hoogfrequente neologismen die op typefouten kunnen lijken (bijv. vtuber).
6. Vreemde Taaldetectie: Een taaldetector (Lingua) filtert tokens die als niet-Engels zijn geïdentificeerd, hoewel een betrouwbaarheidstrempel toelaat dat dubbelzinnige gevallen doorgaan naar classificatie.
7. LLM-classificatie: De overgebleven kandidaten worden geclassificeerd in vier categorieën: Neologisme (nieuwe woorden/slang), Entiteit (eigennamen), Vreemd (niet-Engelse woorden) en Geen (residuale ruis).
   • Ensemble Voting: Drie open-source modellen (Qwen 2.5 72B, LLaMA 3.3 70B, Mistral Large 2 123B) classificeren tokens onafhankelijk. Een meerderheidsstem bepaalt het label.
   • Verificatie: Een vierde model (Claude 4.5 Haiku) fungeert als een strenge verificatiefilter, die de meerderheidsstem-neologismekandidaten opnieuw evalueert om vals-positieven te verminderen.

Belangrijkste Bijdragen

1. Schaalbare Pipeline-architectuur: Een modulair systeem dat in staat is honderden miljoenen tokens te verwerken, waarbij een set van 124,6 miljoen tokens wordt gereduceerd tot 1.021 kandidaten (een compressieverhouding van 122.031:1) die geschikt is voor handmatige expertverificatie.
2. Theoretische Grondslag: Het classificatieschema is expliciet afgeleid van grammaticale en extra-grammaticale woordvormingstheorieën, zodat het label "neologisme" zowel regelgebaseerde als analogische innovaties omvat.
3. Vergelijkende LLM-evaluatie: Een systematische evaluatie van meerdere LLM's op een vier-klassen neologismeclassificatietaken, waarbij aanzienlijke meningsverschillen tussen modellen worden blootgelegd en de waarde van ensemble-methoden wordt aangetoond.
4. Geannoteerd Dataset: De release van een handmatig geannoteerde lijst van 1.021 pipeline-uitvoerkandidaten, inclusief gouden labels, foutenanalyse en classificatie per woordvormingsproces.

Resultaten

Toegepast op de 527 miljoen Reddit-posts (2005–2024), leverde de pipeline de volgende resultaten op:

• Filterefficiëntie: De regelgebaseerde stadia reduceerden de initiële 124,6 miljoen unieke tokens met 99,86%, waardoor 174.973 kandidaten overbleven voor LLM-classificatie.
• Modelmeningsverschillen: Er was aanzienlijke onenigheid tussen de drie open-source modellen. LLaMA was het meest agressief in het voorspellen van neologismen (12,2%), terwijl Mistral het meest conservatief was (59,9% toegewezen aan "geen"). Unanieme overeenkomst trad slechts in 45,8% van de gevallen op.
• Verificatie-impact: De meerderheidsstem produceerde 10.499 neologismekandidaten. De verificatiestap met Claude 4.5 Haiku verwierp 90,3% hiervan, waarbij slechts 897 als neologismen werden bevestigd.
• Eindoutput: Na verificatie bleven 1.021 kandidaten over. Handmatige annotatie bevestigde dat 599 (58,7%) echte lexicaal innovaties waren (465 neologismen en 134 entiteiten). De overige 422 waren vals-positieven (361 "geen" en 61 tokens in vreemde talen).
• Woordvormingspatronen: De 599 bevestigde neologismen vertoonden diverse vormingsprocessen, waaronder standaard grammaticale processen (prefixatie, suffixatie, composities) en extra-grammaticale processen (blending, expressieve morfologie en analogische vormen zoals finfluencer en tradwife).
• Recall-schatting: Gebaseerd op een referentielijst van 103 gedocumenteerde neologismen, detecteerde de pipeline 20 ware positieven. Echter, 48 werden correct uitgesloten als vormen van voor 2015, en 33 waren vals-negatieven. De recall voor echt post-2015 items was 37,7% (20/53), waarbij de primaire bron van vals-negatieven lexicaal homograafconflicten waren (bijv. rizz als een karakternamen versus de slangterm).

Betekenis en Claims

Het artikel positioneert de pipeline niet als een perfecte classifier, maar als een kandidaatgenerator met hoge recall. De primaire betekenis ligt in het haalbaar maken van de taak van neologismedetectie voor menselijke experts door een onbeheersbare dataset te comprimeren tot een kleine, verifieerbare set.

De auteurs beweren dat:

• De pipeline complexe linguïstische theorieën (Štekauer en Mattiello) succesvol operationaliseert in een computationele workflow.
• De combinatie van regelgebaseerde pre-filtering en multi-model LLM-classificatie noodzakelijk is om de ruis inherent aan sociale mediadata te hanteren.
• Het resulterende dataset van 599 geverifieerde neologismen een waardevolle bron biedt voor het bestuderen van hedendaagse woordvormingsprocessen, waarbij patronen worden vastgelegd van standaard composities tot analogische "gescheiden" combinerende vormen (bijv. -fluencer, -pilled).
• De foutenanalyse benadrukt dat toekomstige verbeteringen zich moeten richten op de vroegste filterstadien (woordenschat en tokenisatie) in plaats van downstream classificatie, met name met betrekking tot semantische verschuivingen en homograafconflicten.

De auteurs wijzen expliciet op beperkingen, waaronder het onvermogen om meerwoorduitdrukkingen, semantische verschuivingen (bijv. Karen) of niet-alphabetische innovaties (algospeak) te detecteren, en erkennen dat de huidige instantiatie specifiek voor het Engels is, hoewel de architectuur is ontworpen om overdraagbaar te zijn.