Creating and Evaluating Figurative Language Dataset for Sindhi

기술 요약: 신드어 비유적 언어 데이터셋 생성 및 평가 (SiNFluD)

문제 제기
관용구, 은유, 풍자, 속담 등을 포함한 비문자적 언어 표현은 인간 의사소통의 핵심이지만 자연어 처리 (NLP) 에 있어서는 상당한 과제를 제기합니다. 영어나 중국어와 같은 고자원 언어에는 방대한 자원이 존재하는 반면, 신드어와 같은 저자원 언어는 비유적 언어 이해를 위한 모델을 훈련시키기 위해 필요한 주석 데이터셋이 부족합니다. 이러한 부재는 감성 분석, 기계 번역, 대화 에이전트와 같은 하류 NLP 작업의 성능을 저해하며, 비문자적 의도를 오해할 경우 모델의 견고성과 편향성이 감소하는 결과를 초래합니다. 3 천 5 백만 명 이상이 사용하며 풍부한 문학적·문화적 역사를 지닌 신드어에도 불구하고, 파키스탄과 인도에서 사용되는 페르시아 - 아랍 문자로 된 비문자적 표현의 분류를 다루는 기존 연구나 자원은 존재하지 않습니다.

방법론
저자들은 이러한 격차를 해소하기 위해 설계된 새로운 벤치마크 데이터셋 SiNFluD를 제시합니다. 방법론은 데이터 수집, 주석 작업, 전처리, 그리고 실험적 평가를 포함합니다:

• 데이터 수집: 원시 텍스트는 문학 서적, 위키소스, Quora 블로그, 그리고 전용 신드어 속담 블로그 등 다양한 출처에서 집계되었습니다. 초기 수집은 2 개에서 19 개 토큰까지의 표현에 중점을 두었습니다.
• 주석 과정: 두 명의 원어민 신드어 주석자가 언어 전문가의 감독 하에 Doccano 도구를 사용하여 데이터를 라벨링했습니다. 데이터셋은 **문자적 (Literal, 라벨 0)**과 **비문자적 (Non-literal, 라벨 1)**으로 구분되는 이진 분류 작업으로 구성되었습니다. 비문자적 범주는 관용구, 속담, 은유, 그리고 비유라는 네 가지 구체적인 비유적 형태로 세분화되었습니다.
• 전처리 및 필터링: 품질을 보장하기 위해 데이터셋은 정제, 중복 제거, 포맷 수정을 거쳤습니다. 빈도가 낮아 토큰 길이가 13 을 초과하는 표현은 필터링되어 균형 잡힌 데이터셋을 구성했습니다.
• 주석자 간 일치도: 신뢰도는 코헨의 카파 계수를 사용하여 평가되었으며, 0.81의 점수를 기록하여 주석자 간에 상당한 일치가 있음을 나타냈습니다.
• 실험 설정: 최종 데이터셋은 4,451 개의 인스턴스 (문자적 2,038 개, 비문자적 2,413 개) 로 구성됩니다. 저자들은 5 폴드 및 10 폴드 교차 검증을 사용하여 기준선을 설정했습니다. 네 가지 모델을 평가했습니다:
  • mBERT (Multilingual BERT)
  • XLM-RoBERTa
  • XLM-RoBERTa-XL (대규모 변형)
  • SetFit (MPNet 백본을 사용하는 파라미터 효율적 퓨샷 학습 프레임워크).
    모든 트랜스포머 모델은 시퀀스 분류를 위해 5 에포크 동안 미세 조정되었습니다.

주요 기여

1. SiNFluD 데이터셋: 관용구, 속담, 은유, 그리고 비유를 포괄하는 신드어 비유적 언어 분류를 위한 최초의 전용 벤치마크 데이터셋 출시.
2. 고품질 주석: 언어 전문가에 의해 검증되었으며 주석자 간 일치도 (0.81) 가 높은 수동 큐레이션 코퍼스.
3. 종합적 평가: 신드어 비유적 언어에 대한 최첨단 다국어 사전 훈련 언어 모델 (PLM) 과 퓨샷 학습 접근법의 체계적 평가를 통해 향후 연구를 위한 견고한 기준선 확립.

결과
실험 결과는 현대적 다국어 아키텍처가 이 작업에 효과적임을 보여줍니다:

• 기준선 안정성: 교차 검증은 일관된 성능을 보여주었으며, 10 폴드 교차 검증은 약 **90.34%**의 평균 정확도를 달성했고 5 폴드는 **90.56%**를 기록하여 데이터셋이 잘 균형 잡혀 있고 분할 전반에 걸쳐 안정적임을 나타냈습니다.
• 모델 성능:
  • XLM-RoBERTa-XL은 **92.27%**의 최고 정확도를 달성하여, 더 큰 모델 용량과 광범위한 다국어 사전 훈련이 신드어 비유적 언어의 의미 뉘앙스를 더 잘 포착함을 시사했습니다.
  • XLM-RoBERTa는 **91.38%**로 그 뒤를 이었습니다.
  • mBERT는 **90.57%**를 기록했습니다.
  • SetFit (퓨샷 접근법) 은 **90.81%**를 달성하여 파라미터 효율성에도 불구하고 경쟁력 있는 성능을 입증했습니다.
• 모델 간 성능 범위가 좁은 것은 데이터셋이 다양한 아키텍처가 효과적으로 변별적 특징을 학습할 수 있을 만큼 충분히 정보적임을 시사합니다.

의의
본 논문은 SiNFluD 가 비문자적 표현 이해가 필요한 작업을 위해 신드어 NLP 연구를 발전시키기 위한 기초 자원을 제공한다고 주장합니다. 주석 데이터의 부족을 해소함으로써 이 연구는 저자원 환경에서 감성 분석, 기계 번역, 대화 시스템에 대한 더 견고한 모델 개발을 가능하게 합니다. 또한, 이 연구는 남아시아 언어에 대한 교차 언어 전이 학습과 퓨샷 학습 전략의 유효성에 대한 통찰을 제공하며, 고급 다국어 사전 훈련이 비유적 언어에 내재된 문화적 및 의미적 편차를 포착하는 데 크게 도움이 됨을 강조합니다.