MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages

Technische Samenvatting: MultiLexNorm++: Een verenigde benchmark en een generatief model voor lexicale normalisatie voor Aziatische talen

Probleemstelling
Sociale media-data vormen aanzienlijke uitdagingen voor Natural Language Processing (NLP) vanwege hun informele, spontane en diverse aard, wat vaak leidt tot een verslechtering van de modelprestaties. Lexicale normalisatie—de taak om uitingen woord voor woord om te zetten naar standaardvormen—is voorgesteld als een oplossing om het gat tussen ruisachtige input en standaard trainingsdata te overbruggen. Hoewel de bestaande MultiLexNorm-benchmark gezamenlijke inspanningen op dit gebied verenigde, was deze sterk bevooroordeeld naar Indo-Europese talen met het Latijnse schrift. Bijgevolg is er een gebrek aan begrip over hoe normalisatiemodellen generaliseren naar Aziatische talen, die diverse taalfamilies, schriften en morfologische structuren kennen.

Methodologie
De auteurs stellen MultiLexNorm++ voor, een uitbreiding van de oorspronkelijke benchmark, evenals een nieuwe LLM-gebaseerde pipeline voor lexicale normalisatie.

1. Benchmark-uitbreiding (MultiLexNorm++):

   • De dataset is uitgebreid met 5 nieuwe Aziatische talen (Indonesisch, Japans, Koreaans, Thais, Vietnamees) naast de oorspronkelijke 12 talen.
   • Deze nieuwe talen beslaan 5 taalfamilies en 4 verschillende schriften (Latijn, Japans, Koreaans, Thais).
   • Databronnen omvatten bestaande geannoteerde corpora (bijv. CIL voor Indonesisch, WRIME voor Japans) en nieuwe annotaties gemaakt door moedertaalsprekers voor datasets verzameld van platforms zoals Twitter, Instagram, Facebook en TikTok.
   • De taakdefinitie blijft consistent met de originele: het transformeren van informele tekst naar standaardvormen, waarbij rekening wordt gehouden met één-op-veel en veel-naar-één vervangingen.

2. Voorgestelde LLM-gebaseerde Pipeline:

   • In het besef dat ruwe LLM's zonder specifieke afstemming moeite hebben met deze taak, hebben de auteurs een drietraps pipeline ontworpen:
     • Span Detectie: Een encoder-gebaseerd model (XLM-R) identificeert specifieke woorden die normalisatie vereisen. Deze stap vermindert de computationele belasting en voorkomt "over-normalisatie" door de focus van de LLM enkel op relevante tokens te leggen.
     • Lookup Tabel: Een op woordenboeken gebaseerd component dat gebruikmaakt van statistieken uit trainingsdata (met Miller-Madow entropie selectie voor ambigue gevallen) lost veelvoorkomende, laag-entropie vervangingen op.
     • In-Context Prompting: De resterende moeilijke gevallen worden verwerkt door Large Language Models (LLMs) via few-shot in-context learning. De pipeline maakt gebruik van vier modellen: gemma-3-27b-it, gpt-4o, Llama-3.3-70B-Instruct en Qwen2.5-72B-Instruct. Het systeem hanteert een 8-shot prompt strategie, die empirisch werd bepaald als de beste afweging tussen prestaties en kosten.

Belangrijkste Bijdragen

• MultiLexNorm++ Dataset: De release van een handmatig geannoteerde benchmark die 5 Aziatische talen en 4 schriften beslaat, waardoor de reikwijdte van onderzoek naar lexicale normalisatie aanzienlijk wordt gediversifieerd buiten de Indo-Europese talen.
• Generatief Normalisatiekader: Een nieuwe architectuur die traditionele heuristieken (detectie en lookup) combineert met moderne LLM's. Deze aanpak adresseert de inefficiëntie van het gebruiken van LLM's op volledige zinnen en maakt gebruik van hun few-shot capaciteiten voor complexe normalisatiegevallen.
• Uitgebreide Evaluatie: Een rigoureuze analyse van de huidige state-of-the-art (SOTA) model (ÚFAL/ByT5) tegenover de voorgestelde LLM-gebaseerde methoden over 17 talen.

Resultaten

• Prestatiekloven: Het bestaande SOTA-model (ÚFAL) presteert aanzienlijk slechter op de nieuwe Aziatische talen, met name Thais en Koreaans. De auteurs schrijven dit toe aan de inefficiëntie van byte-gebaseerde representaties (ByT5) voor niet-Latijnse schriften met complexe segmentatievereisten.
• Effectiviteit van LLM's: Hoewel open-source LLM's over het algemeen onderpresteren vergeleken met de gefinetuned ÚFAL-baseline voor talen met het Latijnse schrift, evenaart GPT-4o de prestaties van ÚFAL of overtreft deze op de meeste talen, en presteert het specifiek beter dan ÚFAL op Thais, Vietnamees en Indonesisch.
• Foutanalyse: De primaire foutcategorie voor LLM's is het selecteren van de verkeerde normalisatiekandidaat. Andere problemen zijn over-normalisatie en onder-normalisatie (weigering om te genereren). De analyse laat zien dat niet-Latijnse schriften (Japans, Koreaans, Thais) uitdagend blijven, met lagere Error Reduction Rates (ERR) vergeleken met talen met het Latijnse schrift.
• Efficiëntie: De span detectie module vermindert het aantal tokens met ongeveer 95%, waardoor het framework computationeel haalbaar is. De geschatte kosten voor de volledige meertalige setup met GPT-4o bedragen ongeveer $9,30.

Betekenis en Claims
Het artikel beweert dat het uitbreiden van lexicale normalisatie naar Aziatische talen kritieke beperkingen in de huidige SOTA-modellen blootlegt, met name wat betreft schriftverwerking en segmentatie. De voorgestelde LLM-gebaseerde pipeline demonstreert dat generatieve modellen, wanneer ze worden gestuurd door detectie- en lookup-mechanismen, een robuustere oplossing bieden voor diverse schriften dan eerdere encoder-decoder benaderingen.

De auteurs behouden echter een bescheiden standpunt door op te merken dat:

• Open-source LLM's niet consistent presteren ten opzichte van gefinetuned baselines, wat wijst op een kloof tussen open- en closed-source modellen.
• Er uitdagingen blijven bestaan bij het omgaan met slang, spelfouten en getranslitereerde leenwoorden.
• De taak nog steeds moeilijk is, met aanzienlijke ruimte voor verbetering in het omgaan met niet-Latijnse orthografieën, wat potentieel taal-specifieke technieken vereist zoals sub-karakter of stroke-level representaties (zoals gesuggereerd door de in het artikel besproken StrokeNet aanpak).

Dit werk dient als een fundamentele stap voor het ontwikkelen van effectieve, taalspecifieke en meertalige tekstnormalisatiemethoden, en biedt een verenigde benchmark om toekomstig onderzoek in dit onderbelichte gebied te stimuleren.