MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages

Resumen Técnico: MultiLexNorm++: Un Benchmark Unificado y un Modelo Generativo para la Normalización Léxica de Lenguas Asiáticas

Planteamiento del Problema
Los datos de las redes sociales presentan desafíos significativos para el Procesamiento del Lenguaje Natural (NLP) debido a su naturaleza informal, espontánea y diversa, lo que a menudo provoca el deterioro del rendimiento de los modelos. La normalización léxica —la tarea de transformar expresiones en formas estándar palabra por palabra— se ha propuesto como una solución para cerrar la brecha entre la entrada ruidosa y los datos de entrenamiento estándar. Si bien el benchmark MultiLexNorm unificó los esfuerzos en este dominio, estaba fuertemente sesgado hacia las lenguas indoeuropeas que utilizan el alfabeto latino. En consecuencia, existe una falta de comprensión sobre cómo los modelos de normalización se generalizan a las lenguas asiáticas, las cuales presentan diversas familias lingüísticas, escrituras y estructuras morfológicas.

Metodología
Los autores proponen MultiLexNorm++, una extensión del benchmark original, y un nuevo pipeline basado en LLM para la normalización léxica.

1. Extensión del Benchmark (MultiLexNorm++):

   • El conjunto de datos se expandió para incluir 5 nuevas lenguas asiáticas (indonesio, japonés, coreano, tailandés, vietnamita) junto con las 12 lenguas originales.
   • Estas nuevas lenguas abarcan 5 familias lingüísticas y 4 escrituras diferentes (latín, japonés, coreano, tailandés).
   • Las fuentes de datos incluyen corpus anotados existentes (p. ej., CIL para el indonesio, WRIME para el japonés) y nuevas anotaciones creadas por hablantes nativos para conjuntos de datos recopilados de plataformas como Twitter, Instagram, Facebook y TikTok.
   • La definición de la tarea permanece constante con la original: transformar texto informal en formas estándar, gestionando reemplazos de uno a muchos y de muchos a uno.

2. Pipeline Propuesto Basado en LLM:

   • Reconociendo que los LLM brutos tienen dificultades con esta tarea sin un ajuste específico, los autores diseñaron un pipeline de tres etapas:
     • Detección de Segmentos (Span Detection): Un modelo basado en codificador (XLM-R) identifica las palabras específicas que requieren normalización. Este paso reduce la carga computacional y evita la "sobre-normalización" al centrar el LLM únicamente en los tokens relevantes.
     • Tabla de Búsqueda (Lookup Table): Un componente basado en diccionarios utilizando estadísticas de los datos de entrenamiento (con selección de entropía Miller-Madow para casos ambiguos) resuelve los reemplazos comunes de baja entropía.
     • Prompting de Contexto (In-Context Prompting): Los casos difíciles restantes son procesados por Modelos de Lenguaje de Gran Escala (LLMs) mediante aprendizaje en contexto de pocos disparos (few-shot in-context learning). El pipeline utiliza cuatro modelos: gemma-3-27b-it, gpt-4o, Llama-3.3-70B-Instruct y Qwen2.5-72B-Instruct. El sistema emplea una estrategia de prompt de 8 disparos (8-shot), la cual se determinó empíricamente que ofrece el mejor equilibrio entre rendimiento y costo.

Contribuciones Clave

• Dataset MultiLexNorm++: El lanzamiento de un benchmark anotado manualmente que cubre 5 lenguas asiáticas y 4 escrituras, diversificando significativamente el alcance de la investigación en normalización léxica más allá de las lenguas indoeuropeas.
• Marco de Normalización Generativa: Una arquitectura novedosa que combina heurísticas tradicionales (detección y búsqueda) con LLMs modernos. Este enfoque aborda la ineficiencia de usar LLMs en oraciones completas y aprovecha sus capacidades de pocos disparos para casos de normalización complejos.
• Evaluación Exhaustiva: Un análisis riguroso del estado del arte (SOTA) actual (ÚFAL/ByT5) frente a los métodos basados en LLM propuestos en 17 lenguas.

Resultos

• Brechas de Rendimiento: El modelo SOTA existente (ÚFAL) tiene un rendimiento significativamente inferior en las nuevas lenguas asiáticas, particularmente en tailandés y coreano. Los autores atribuyen esto a la ineficiencia de las representaciones a nivel de bytes (ByT5) para escrituras no latinas con requisitos de segmentación complejos.
• Efectividad de los LLM: Mientras que los LLM de código abierto generalmente rinden por debajo del baseline ajustado de ÚFAL en lenguas de escritura latina, GPT-4o iguala o supera el rendimiento de ÚFAL en la mayoría de las lenguas y lo supera específicamente en tailandés, vietnamita e indonesio.
• Análisis de Errores: La categoría de error principal para los LLM es la selección del candidato de normalización incorrecto. Otros problemas incluyen la sobre-normalización y la sub-normalización (negativa a generar). El análisis revela que las escrituras no latinas (japonés, coreano, tailandés) siguen siendo un desafío, con tasas de reducción de error (ERR) más bajas en comparación con las lenguas de escritura latina.
• Eficiencia: El módulo de detección de segmentos reduce el conteo de tokens aproximadamente en un 95%, haciendo que el marco sea computacionalmente viable. El costo estimado para la configuración multilingüe completa usando GPT-4o es de aproximadamente $9.30.

Significancia y Reivindicaciones
El artículo afirma que la extensión de la normalización léxica a las lenguas asiáticas revela limitaciones críticas en los modelos SOTA actuales, particularmente respecto al manejo de la escritura y la segmentación. El pipeline basado en LLM propuesto demuestra que los modelos generativos, cuando son guiados por mecanismos de detección y búsqueda, ofrecen una solución más robusta para diversas escrituras que los enfoques previos de codificador-decodificador.

Sin embargo, los autores mantienen una postura modesta, señalando que:

• Los LLM de código abierto no superan consistentemente a los baselines ajustados, lo que resalta una brecha entre modelos abiertos y cerrados.
• Persisten desafíos en el manejo de jerga, errores ortográficos y palabras prestadas transliteradas.
• La tarea sigue siendo difícil, con un margen significativo de mejora en el manejo de ortografías no latinas, lo que potencialmente requiere técnicas específicas de la lengua como representaciones de sub-caracteres o de trazos (como sugiere el enfoque StrokeNet discutido en el artículo).

Este trabajo sirve como un paso fundacional para el desarrollo de métodos de normalización de texto efectivos, específicos para cada lengua y multilingües, proporcionando un benchmark unificado para impulsar la investigación futura en esta área poco explorada.