Creating and Evaluating Figurative Language Dataset for Sindhi

Resumo Técnico: Criação e Avaliação de Conjunto de Dados de Linguagem Figurativa para o Sindhi (SiNFluD)

Declaração do Problema
Expressões de linguagem não literal, incluindo idiomatismos, metáforas, sarcasmo e provérbios, são fundamentais para a comunicação humana, mas apresentam desafios significativos para o Processamento de Linguagem Natural (PLN). Embora existam recursos extensos para idiomas de alto recurso como o inglês e o chinês, idiomas de baixo recurso como o sindhi carecem dos conjuntos de dados anotados necessários para treinar modelos de compreensão de linguagem figurativa. Essa escassez prejudica o desempenho de tarefas de PLN subsequentes, como análise de sentimentos, tradução automática e agentes conversacionais, onde a má interpretação da intenção não literal pode levar à redução da robustez do modelo e ao viés. Apesar de o sindhi ser falado por mais de 35 milhões de pessoas com uma rica história literária e cultural, não existe pesquisa ou recurso existente que aborde especificamente a classificação de expressões não literais na escrita Perso-Árabe utilizada no Paquistão e na Índia.

Metodologia
Os autores apresentam o SiNFluD, um novo conjunto de dados de referência projetado para preencher essa lacuna. A metodologia abrange coleta de dados, anotação, pré-processamento e avaliação experimental:

• Coleta de Dados: Texto bruto foi agregado de diversas fontes, incluindo livros literários, Wikisource, blogs do Quora e blogs dedicados a provérbios em sindhi. A coleção inicial focou em expressões variando de 2 a 19 tokens.
• Processo de Anotação: Dois anotadores nativos de sindhi rotularam os dados usando a ferramenta Doccano sob a supervisão de um especialista linguístico. O conjunto de dados foi estruturado como uma tarefa de classificação binária: Literal (rótulo 0) e Não Literal (rótulo 1). A categoria não literal foi subdividida em quatro formas figurativas específicas: Idiomatismos, Provérbios, Metáforas e Comparações.
• Pré-processamento e Filtragem: Para garantir a qualidade, o conjunto de dados passou por limpeza, deduplicação e correções de formatação. Expressões com comprimentos de tokens maiores que 13 foram filtradas devido à baixa frequência, resultando em um conjunto de dados equilibrado.
• Acordo Interanotador: A confiabilidade foi avaliada usando o coeficiente Kappa de Cohen, resultando em uma pontuação de 0,81, indicando um acordo substancial entre os anotadores.
• Configuração Experimental: O conjunto de dados final compreende 4.451 instâncias (2.038 literais e 2.413 não literais). Os autores estabeleceram linhas de base usando validação cruzada de 5 dobras e 10 dobras. Eles avaliaram quatro modelos:
  • mBERT (BERT Multilíngue)
  • XLM-RoBERTa
  • XLM-RoBERTa-XL (uma variante de maior escala)
  • SetFit (um framework de aprendizado com poucos exemplos eficiente em parâmetros usando uma base MPNet).
    Todos os modelos transformadores foram ajustados finamente para classificação de sequência ao longo de cinco épocas.

Principais Contribuições

1. Conjunto de Dados SiNFluD: O lançamento do primeiro conjunto de dados de referência dedicado à classificação de linguagem figurativa em sindhi, abrangendo idiomatismos, provérbios, metáforas e comparações.
2. Anotação de Alta Qualidade: Um corpus curado manualmente com alto acordo interanotador (0,81), validado por especialistas linguísticos.
3. Avaliação Abrangente: Uma avaliação sistemática de modelos de linguagem pré-treinados multilíngues (PLMs) de última geração e abordagens de aprendizado com poucos exemplos em linguagem figurativa em sindhi, estabelecendo linhas de base robustas para pesquisas futuras.

Resultados
Os resultados experimentais demonstram que arquiteturas multilíngues modernas são eficazes para esta tarefa:

• Estabilidade da Linha de Base: A validação cruzada mostrou desempenho consistente, com a validação cruzada de 10 dobras alcançando uma precisão média de aproximadamente 90,34% e a de 5 dobras alcançando 90,56%, indicando que o conjunto de dados é bem equilibrado e estável entre as divisões.
• Desempenho do Modelo:
  • XLM-RoBERTa-XL alcançou a maior precisão de 92,27%, sugerindo que uma capacidade de modelo maior e um pré-treinamento multilíngue extenso capturam melhor as nuances semânticas da linguagem figurativa em sindhi.
  • XLM-RoBERTa seguiu com 91,38%.
  • mBERT registrou 90,57%.
  • SetFit (abordagem de poucos exemplos) alcançou 90,81%, demonstrando desempenho competitivo apesar de sua eficiência em parâmetros.
• A estreita faixa de desempenho entre os modelos sugere que o conjunto de dados é suficientemente informativo para permitir que diferentes arquiteturas aprendam características discriminativas de forma eficaz.

Significado
O artigo afirma que o SiNFluD fornece um recurso fundamental para avançar a pesquisa em PLN em sindhi, especificamente para tarefas que exigem a compreensão de expressões não literais. Ao abordar a escassez de dados anotados, o trabalho permite o desenvolvimento de modelos mais robustos para análise de sentimentos, tradução automática e sistemas de diálogo em cenários de baixo recurso. Além disso, o estudo oferece insights sobre a eficácia de estratégias de aprendizado de transferência entre idiomas e aprendizado com poucos exemplos para idiomas do sul da Ásia, destacando que o pré-treinamento multilíngue avançado auxilia significativamente na captura do desvio cultural e semântico inerente à linguagem figurativa.