MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages

Sintesi Tecnica: MultiLexNorm++: Un Benchmark Unificato e un Modello Generativo per la Normalizzazione Lessicale per le Lingue Asiatiche

Problematica
I dati dei social media presentano sfide significative per l'Elaborazione del Linguaggio Naturale (NLP) a causa della loro natura informale, spontanea e diversificata, che spesso causa un deterioramento delle prestazioni dei modelli. La normalizzazione lessicale — il compito di trasformare le espressioni in forme standard parola per parola — è stata proposta come una soluzione per colmare il divario tra l'input rumoroso e i dati di addestramento standard. Sebbene l'esistente benchmark MultiLexNorm abbia unificato gli sforzi in questo dominio, esso era fortemente sbilanciato verso le lingue indo-europee che utilizzano l'alfabeto latino. Di conseguenza, vi è una mancanza di comprensione su come i modelli di normalizzazione si generalizzino alle lingue asiatiche, che presentano famiglie linguistiche, alfabeti e strutture morfologiche diverse.

Metodologia
Gli autori propongono MultiLexNorm++, un'estensione del benchmark originale, e una nuova pipeline basata su LLM per la normalizzazione lessicale.

1. Estensione del Benchmark (MultiLexNorm++):

   • Il dataset è stato ampliato includendo 5 nuove lingue asiatiche (indonesiano, giapponese, coreano, thailandese, vietnamita) insieme alle 12 lingue originali.
   • Queste nuove lingue abbracciano 5 famiglie linguistiche e 4 diversi alfabeti (latino, giapponese, coreano, thailandese).
   • Le fonti dei dati includono corpora annotati esistenti (es. CIL per l'indonesiano, WRIME per il giapponese) e nuove annotazioni create da madrelingua per dataset raccolti da piattaforme come Twitter, Instagram, Facebook e TikTok.
   • La definizione del compito rimane coerente con l'originale: trasformare il testo informale in forme standard, gestendo sostituzioni uno-a-molti e molti-a-uno.

2. Pipeline Proposta Basata su LLM:

   • Riconoscendo che i LLM grezzi faticano in questo compito senza un tuning specifico, gli autori hanno progettato una pipeline a tre stadi:
     • Rilevamento dello Span (Span Detection): Un modello basato su encoder (XLM-R) identifica le parole specifiche che richiedono normalizzazione. Questo passaggio riduce il carico computazionale e previene la "sovra-normalizzazione", concentrando l'LLM solo sui token rilevanti.
     • Tabella di Ricerca (Lookup Table): Una componente basata su dizionario che utilizza le statistiche dei dati di addestramento (con selezione dell'entropia di Miller-Madow per i casi ambigui) risolve le sostituzioni comuni a bassa entropia.
     • Prompting in-Context: I casi più difficili rimanenti sono elaborati da Large Language Models (LLM) tramite l'apprendimento in-context few-shot. La pipeline utilizza quattro modelli: gemma-3-27b-it, gpt-4o, Llama-3.3-70B-Instruct e Qwen2.5-72B-Instruct. Il sistema impiega una strategia di prompt con 8-shot, che è stata empiricamente determinata come il miglior compromesso tra prestazioni e costi.

Contributi Chiave

• Dataset MultiLexNorm++: Il rilascio di un benchmark annotato manualmente che copre 5 lingue asiatiche e 4 alfabeti, diversificando significativamente l'ambito della ricerca sulla normalizzazione lessicale oltre le lingue indo-europee.
• Framework di Normalizzazione Generativa: Un'architettura innovativa che combina euristiche tradizionali (rilevamento e lookup) con moderni LLM. Questo approccio affronta l'inefficienza dell'uso degli LLM su intere frasi e sfrutta le loro capacità few-shot per casi di normalizzazione complessi.
• Valutazione Comprensiva: Un'analisi rigorosa dello stato dell'arte (SOTA) del modello (ÚFAL/ByT5) rispetto ai metodi basati su LLM proposti su 17 lingue.

Risultati

• Divari di Prestazione: L'attuale modello SOTA (ÚFAL) performa significativamente peggio sulle nuove lingue asiatiche, in particolare sul thailandese e sul coreano. Gli autori attribuiscono ciò all'inefficienza delle rappresentazioni a livello di byte (ByT5) per alfabeti non latini con requisiti di segmentazione complessi.
• Efficacia degli LLM: Mentre i LLM open-source generalmente sottoperformano rispetto al baseline fine-tuned di ÚFAL nelle lingue con alfabeto latino, GPT-4o eguaglia o supera le prestazioni di ÚFAL nella maggior parte delle lingue e lo supera specificamente in thailandese, vietnamita e indonesiano.
• Analisi degli Errori: La principale categoria di errore per gli LLM è la selezione del candidato di normalizzazione errato. Altri problemi includono la sovra-normalizzazione e la sotto-normalizzazione (rifiuto di generare). L'analisi rivela che gli alfabeti non latini (giapponese, coreano, thailandese) rimangono impegnativi, con tassi di riduzione dell'errore (ERR) inferiori rispetto alle lingue con alfabeto latino.
• Efficienza: Il modulo di rilevamento dello span riduce il conteggio dei token di circa il 95%, rendendo il framework computazionalmente fattibile. Il costo stimato per l'intera configurazione multilingue utilizzando GPT-4o è di circa $9,30.

Significatività e Rivendicazioni
Il documento afferma che l'estensione della normalizzazione lessicale alle lingue asiatiche rivela limitazioni critiche negli attuali modelli SOTA, in particolare riguardo alla gestione degli alfabeti e della segmentazione. La pipeline proposta basata su LLM dimostra che i modelli generativi, se guidati da meccanismi di rilevamento e lookup, offrono una soluzione più robusta per alfabeti diversi rispetto ai precedenti approcci encoder-decoder.

Tuttavia, gli autori mantengono una posizione modesta, notando che:

• I LLM open-source non superano costantemente i baseline fine-tuned, evidenziando un divario tra modelli open e closed-source.
• Rimangono sfide nel gestire slang, errori di ortografia e parole straniere traslitterate.
• Il compito è ancora difficile, con ampio margine di miglioramento nella gestione delle ortografie non latine, il che potrebbe richiedere tecniche specifiche per la lingua come le rappresentazioni sub-carattere o a livello di tratto (come suggerito dall'approccio StrokeNet discusso nel documento).

Questo lavoro funge da passo fondamentale per lo sviluppo di metodi di normalizzazione del testo efficaci, specifici per la lingua e multilingue, fornendo un benchmark unificato per guidare la ricerca futura in questo ambito poco esplorato.