MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages

Resumo Técnico: MultiLexNorm++: Um Benchmark Unificado e um Modelo Generativo para Normalização Lexical para Línguas Asiáticas

Definição do Problema
Dados de redes sociais apresentam desafios significativos para o Processamento de Linguagem Natural (PLN) devido à sua natureza informal, espontânea e diversa, o que frequentemente causa a deterioração do desempenho dos modelos. A normalização lexical — a tarefa de transformar enunciados em formas padrão palavra por palavra — foi proposta como uma solução para reduzir a lacuna entre a entrada ruidosa e os dados de treinamento padronizados. Embora o benchmark MultiLexNorm original tenha unificado esforços neste domínio, ele era fortemente enviesado para línguas indo-europeias utilizando o alfabeto latino. Consequentemente, há uma falta de compreensão sobre como os modelos de normalização se generalizam para línguas asiáticas, que apresentam diversas famílias linguísticas, alfabetos e estruturas morfológicas.

Metodologia
Os autores propõem o MultiLexNorm++, uma extensão do benchmark original, e um novo pipeline baseado em LLM para normalização lexical.

1. Extensão do Benchmark (MultiLexNorm++):

   • O conjunto de dados foi expandido para incluir 5 novas línguas asiáticas (indonésio, japonês, coreano, tailandês, vietnamita) ao lado das 12 línguas originais.
   • Estas novas línguas abrangem 5 famílias linguísticas e 4 alfabetos diferentes (latino, japonês, coreano, tailandês).
   • As fontes de dados incluem corpora anotados existentes (ex: CIL para o indonésio, WRIME para o japonês) e novas anotações criadas por falantes nativos para conjuntos de dados coletados de plataformas como Twitter, Instagram, Facebook e TikTok.
   • A definição da tarefa permanece consistente com a original: transformar texto informal em formas padrão, lidando com substituições de um-para-muitos e muitos-para-um.

2. Pipeline Proposto Baseado em LLM:

   • Reconhecendo que os LLMs brutos têm dificuldade com esta tarefa sem ajuste específico, os autores projetaram um pipeline de três estágios:
     • Detecção de Span (Intervalo): Um modelo baseado em encoder (XLM-R) identifica palavras específicas que requerem normalização. Este passo reduz a carga computacional e evita a "sobre-normalização" ao focar o LLM apenas nos tokens relevantes.
     • Tabela de Consulta (Lookup Table): Um componente baseado em dicionário usando estatísticas de dados de treinamento (com seleção de entropia Miller-Madow para casos ambíguos) resolve substituições comuns de baixa entropia.
     • Prompting de Contexto (In-Context Prompting): Os casos difíceis restantes são processados por Large Language Models (LLMs) usando aprendizado de poucos disparos (few-shot in-context learning). O pipeline utiliza quatro modelos: gemma-3-27b-it, gpt-4o, Llama-3.3-70B-Instruct e Qwen2.5-72B-Instruct. O sistema emprega uma estratégia de prompt de 8 disparos (8-shot), que foi determinada empiricamente como o melhor equilíbrio entre desempenho e custo.

Principais Contribuições

• Dataset MultiLexNorm++: O lançamento de um benchmark anotado manualmente cobrindo 5 línguas asiáticas e 4 alfabetos, diversificando significativamente o escopo da pesquisa de normalização lexical além das línguas indo-europeias.
• Framework de Normalização Generativa: Uma arquitetura inovadora que combina heurísticas tradicionais (detecção e consulta) com LLMs modernos. Esta abordagem aborda a ineficiência de usar LLMs em sentenças inteiras e aproveita suas capacidades de few-shot para casos de normalização complexos.
• Avaliação Abrangente: Uma análise rigorosa do estado da arte (SOTA) atual (ÚFAL/ByT5) contra os métodos baseados em LLM propostos em 17 línguas.

Resultados

• Lacunas de Desempenho: O modelo SOTA existente (ÚFAL) apresenta um desempenho significativamente inferior nas novas línguas asiáticas, particularmente no tailandês e no coreano. Os autores atribuem isso à ineficiência das representações de nível de byte (ByT5) para alfabetos não latinos com requisitos de segmentação complexos.
• Efetividade dos LLMs: Embora os LLMs de código aberto geralmente tenham um desempenho inferior ao baseline ajustado do ÚFAL em línguas de alfabeto latino, o GPT-4o iguala ou supera o desempenho do ÚFAL na maioria das línguas e o supera especificamente no tailandês, vietnamita e indonésio.
• Análise de Erros: A principal categoria de erro para os LLMs é selecionar o candidato de normalização incorreto. Outras questões incluem sobre-normalização e sub-normalização (recusa em gerar). A análise revela que os alfabetos não latinos (japonês, coreano, tailandês) continuam desafiadores, apresentando taxas de redução de erro (ERR) mais baixas em comparação com as línguas de alfabeto latino.
• Eficiência: O módulo de detecção de span reduz a contagem de tokens em aproximadamente 95%, tornando o framework computacionalmente viável. O custo estimado para a configuração multilíngue completa usando o GPT-4o é de aproximadamente US$ 9,30.

Significância e Alegações
O artigo alega que estender a normalização lexical para línguas asiáticas revela limitações críticas nos modelos SOTA atuais, particularmente no que diz respeito ao tratamento de alfabetos e segmentação. O pipeline baseado em LLM proposto demonstra que modelos generativos, quando guiados por mecanismos de detecção e consulta, oferecem uma solução mais robusta para diversos alfabetos do que as abordagens anteriores de encoder-decoder.

No entanto, os autores mantêm uma postura modesta, observando que:

• Os LLMs de código aberto não superam consistentemente os baselines ajustados, destacando uma lacuna entre modelos abertos e fechados.
• Persistem desafios no tratamento de gírias, erros ortográficos e empréstimos transliterados.
• A tarefa ainda é difícil, com amplo espaço para melhorias no tratamento de ortografias não latinas, possivelmente exigindo técnicas específicas de linguagem, como representações de sub-caractere ou de nível de traço (conforme sugerido pela abordagem StrokeNet discutida no artigo).

O trabalho serve como um passo fundamental para o desenvolvimento de métodos de normalização de texto eficazes, específicos para cada língua e multilíngues, fornecendo um benchmark unificado para impulsionar pesquisas futuras nesta área subexplorada.