Creating and Evaluating Figurative Language Dataset for Sindhi

Resumen Técnico: Creación y Evaluación del Conjunto de Datos de Lenguaje Figurativo para el Sindhi (SiNFluD)

Enunciado del Problema
Las expresiones de lenguaje no literal, incluidas las frases hechas, metáforas, sarcasmos y refranes, son fundamentales para la comunicación humana, pero plantean desafíos significativos para el Procesamiento del Lenguaje Natural (PLN). Aunque existen recursos extensos para idiomas de alto recurso como el inglés y el chino, los idiomas de bajo recurso como el sindhi carecen de los conjuntos de datos anotados necesarios para entrenar modelos destinados a la comprensión del lenguaje figurativo. Esta escasez obstaculiza el rendimiento de tareas de PLN posteriores, como el análisis de sentimientos, la traducción automática y los agentes conversacionales, donde malinterpretar la intención no literal puede conducir a una menor robustez del modelo y a sesgos. A pesar de que el sindhi es hablado por más de 35 millones de personas con una rica historia literaria y cultural, ninguna investigación o recurso existente aborda específicamente la clasificación de expresiones no literales en la escritura Perso-Árabe utilizada en Pakistán e India.

Metodología
Los autores presentan SiNFluD, un nuevo conjunto de datos de referencia diseñado para cerrar esta brecha. La metodología abarca la recopilación de datos, la anotación, el preprocesamiento y la evaluación experimental:

• Recopilación de Datos: Se agregaron textos crudos de diversas fuentes, incluidos libros literarios, Wikisource, blogs de Quora y blogs dedicados a refranes sindhis. La colección inicial se centró en expresiones que oscilaban entre 2 y 19 tokens.
• Proceso de Anotación: Dos anotadores nativos de sindhi etiquetaron los datos utilizando la herramienta Doccano bajo la supervisión de un experto lingüístico. El conjunto de datos se estructuró como una tarea de clasificación binaria: Literal (etiqueta 0) y No literal (etiqueta 1). La categoría no literal se subdividió ulteriormente en cuatro formas figurativas específicas: Frases hechas, Refranes, Metáforas y Símiles.
• Preprocesamiento y Filtrado: Para garantizar la calidad, el conjunto de datos pasó por limpieza, eliminación de duplicados y correcciones de formato. Las expresiones con longitudes de tokens superiores a 13 fueron filtradas debido a su baja frecuencia, resultando en un conjunto de datos equilibrado.
• Acuerdo entre Anotadores: La fiabilidad se evaluó utilizando el coeficiente Kappa de Cohen, obteniendo una puntuación de 0.81, lo que indica un acuerdo sustancial entre los anotadores.
• Configuración Experimental: El conjunto de datos final comprende 4,451 instancias (2,038 literales y 2,413 no literales). Los autores establecieron líneas base utilizando validación cruzada de 5 y 10 pliegues. Evaluaron cuatro modelos:
  • mBERT (BERT Multilingüe)
  • XLM-RoBERTa
  • XLM-RoBERTa-XL (una variante de mayor escala)
  • SetFit (un marco de aprendizaje con pocos ejemplos eficiente en parámetros que utiliza una base MPNet).
    Todos los modelos transformadores se ajustaron finamente para la clasificación de secuencias durante cinco épocas.

Contribuciones Clave

1. Conjunto de Datos SiNFluD: El lanzamiento del primer conjunto de datos de referencia dedicado para la clasificación de lenguaje figurativo en sindhi, que cubre frases hechas, refranes, metáforas y símiles.
2. Anotación de Alta Calidad: Un corpus curado manualmente con un alto acuerdo entre anotadores (0.81), validado por expertos lingüísticos.
3. Evaluación Exhaustiva: Una evaluación sistemática de modelos de lenguaje preentrenados multilingües (PLM) de última generación y enfoques de aprendizaje con pocos ejemplos en el lenguaje figurativo sindhi, estableciendo líneas base robustas para futuras investigaciones.

Resultados
Los resultados experimentales demuestran que las arquitecturas multilingües modernas son efectivas para esta tarea:

• Estabilidad de la Línea Base: La validación cruzada mostró un rendimiento consistente, con la validación cruzada de 10 pliegues logrando una precisión promedio de aproximadamente 90.34% y la de 5 pliegues alcanzando 90.56%, lo que indica que el conjunto de datos está bien equilibrado y es estable a través de las divisiones.
• Rendimiento del Modelo:
  • XLM-RoBERTa-XL logró la mayor precisión con 92.27%, lo que sugiere que una mayor capacidad del modelo y un extenso preentrenamiento multilingüe capturan mejor los matices semánticos del lenguaje figurativo sindhi.
  • XLM-RoBERTa le siguió con 91.38%.
  • mBERT registró 90.57%.
  • SetFit (enfoque con pocos ejemplos) alcanzó 90.81%, demostrando un rendimiento competitivo a pesar de su eficiencia en parámetros.
• El estrecho rango de rendimiento entre los modelos sugiere que el conjunto de datos es suficientemente informativo para permitir que diferentes arquitecturas aprendan características discriminativas de manera efectiva.

Significado
El artículo afirma que SiNFluD proporciona un recurso fundamental para avanzar en la investigación del PLN en sindhi, específicamente para tareas que requieren la comprensión de expresiones no literales. Al abordar la escasez de datos anotados, el trabajo permite el desarrollo de modelos más robustos para el análisis de sentimientos, la traducción automática y los sistemas de diálogo en entornos de bajo recurso. Además, el estudio ofrece perspectivas sobre la eficacia del aprendizaje de transferencia entre idiomas y las estrategias de aprendizaje con pocos ejemplos para los idiomas del sur de Asia, destacando que el preentrenamiento multilingüe avanzado ayuda significativamente a capturar la deriva cultural y semántica inherente al lenguaje figurativo.