Exploring Functional Shifts in Pos Tagging Across Various NLP Libraries: A Study of NLTK, spaCy and Textblob

기술 요약: NLTK, spaCy, TextBlob 간의 품사 태깅(POS Tagging) 내 기능적 전이 탐색

문제 정의
품사 태깅(Part-of-Speech Tagging)은 구문 분석 및 의미론적 이해에 필수적인 자연어 처리(NLP)의 기초적인 작업이다. 그러나 현재의 품사 태거들은 문맥에 따라 단어가 문법적 역할 사이를 전환하는 "기능적 전이(functional shifts)"를 처리할 때 상당한 어려움에 직면해 있다. 이러한 어려움은 독자(및 파서)를 처음에 오도하는 구문적으로 복잡한 구조인 "가든 패스(garden path)" 문장에서 가장 두드러지게 나타난다. 기존 문헌(예: Li et al., 2022; Kumawat & Jain, 2015)이 현대적인 태거들의 높은 토큰 수준 정확도를 인정하고 있음에도 불구하고, 특히 의존 구문 분석(dependency parsing)과 같이 문법적 관계를 올바르게 식별하는 것이 중요한 작업에서 문장 수준의 정확도 저하가 관찰된다. 본 연구가 다루는 구체적인 문제는 주요 NLP 라이브러리들이 비전형적인 문맥에서 기능적 전이를 겪는 단어들을 일관되고 정확하게 태깅하지 못한다는 점이다.

연구 방법론
본 연구는 널리 사용되는 세 가지 NLP 라이브러리인 NLTK, spaCy, TextBlob을 사용하여 비교 경험적 분석을 수행한다.

• 데이터셋: 본 연구는 세 가지 구문 그룹으로 분류된 56개의 문장 코퍼스를 활용하였다:
  1. 가든 패스 문장 (21개 항목).
  2. 명사화 형태 (11개 항목).
  3. 위치 변화가 포함된 문장 (24개 항목).
  • 참고: 데이터셋은 https://wordsmithing-tools.com/list-of-garden-path-sentences에서 가져왔다.
• 절차: 각 문장은 Python을 통해 구현된 NLTK, spaCy, TextBlob으로 처리되었다. 본 연구는 기능적 전이를 보이는 특정 단어들(예: 한 문맥에서는 동사로, 다른 문맥에서는 명사로 작용하는 "man", "round", "table", "that" 등)의 품사 태깅 정확도에 초점을 맞추었다.
• 평가: 각 라이브러리의 출력 태그를 기대되는 구문 구조와 비교하여, 각 카테고리 내에서 올바르게 태깅된 문장의 개수와 잘못 태깅된 문장의 개수를 결정하였다.

주요 결과
분석 결과, 특히 구문적 복잡성을 처리함에 있어 세 라이브러리 간의 뚜렷한 성능 차이가 드러났다:

• 전반적인 정확도: spaCy는 56개 문장 중 32개를 정확히 태깅하여(57.1%) 우수한 성능을 보였다. 반면, NLTK와 TextBlob은 동일하게 낮은 점수를 기록하며 56개 중 21개만을 정확히 태깅하였다(37.5%).
• 카테고리별 성능:
  • 가든 패스 문장: 모든 라이브러리가 어려움을 겪었으나, spaCy가 5개의 정확한 태그를 기록하며 가장 좋은 성능을 보였고, NLTK와 TextBlob은 각각 4개를 기록했다.
  • 명사화 형태: spaCy는 11개 중 5개를 정확히 식별한 반면, NLTK와 TextBlob은 각각 3개만을 식별했다.
  • 위치 변화: spaCy는 이 영역에서 상당한 강점을 보이며 24개 중 22개를 정확히 태깅했으나, NLTK와 TextBlob은 각각 14개에 그쳤다.
• 특정 단어 분석: 본 연구는 다양한 기능을 가진 단어를 중의성 해제(disambiguating)하는 데 있어 spaCy가 다른 라이브러리보다 뛰어난 사례를 강조했다:
  • "Round": spaCy는 문맥에 따라 "round"를 부사, 형용사, 전치사, 동사로 정확히 식별하였다. NLTK와 TextBlob은 이러한 사례들을 자주 오분류하였으며, 주로 명사나 동사 태그로 기본 설정하는 경향을 보였다.
  • "That": spaCy는 "that"을 관계 대명사, 종속 접속사, 지시 대명사, 지시 형용사로 정확히 구분하였다. NLTK와 TextBlob은 이러한 깊은 문맥적 사용을 인식하는 데 한계를 보였으며, 종속 접속사를 흔히 한정사(DT)로 오분류하였다.
  • 사례 예시: "The Complex Houses Married and Single Students"라는 문장에서, spaCy는 "Houses"를 명사로, "Married"를 동사로 정확히 식별하여 의도된 구문 구조와 일치시킨 반면, 다른 라이브러리들은 이러한 모호한 역할에서 불일치를 보였다.

주요 기여

• 경험적 비교: 본 연구는 기능적 전이 및 가든 패스 문장에 특화되어, 광범위한 POS 태깅 정확도 연구에서 종종 간과되는 틈새 영역에 대한 직접적이고 정량적인 비교를 제공한다.
• 한계점 식별: 본 연구는 규칙 기반 및 하이브리드 접근 방식(NLTK, TextBlob)이 높은 구문적 모호성에 직면했을 때 나타나는 구체적인 실패 양상을 딥러닝 기반 통계 모델인 spaCy와 대조하여 명시적으로 기록한다.
• 문맥 민감도: 본 연구는 토큰 수준의 정확도는 높을 수 있으나, 문장 수준의 일관성은 라이브러리의 문맥 의존적 기능 변화 처리 능력에 따라 크게 달라질 수 있음을 입증한다.

의의 및 시사점
본 논문은 정교한 구문 분석이 NLP 애플리케이션의 견고함을 위해 매우 중요하다는 점을 제기한다. 연구 결과는 다음과 같은 점을 시사한다:

• 라이브러리 선택: 복잡하거나 모호한 문장의 미묘한 구문 분석이 필요한 작업의 경우, spaCy가 NLTK나 TextBlob보다 더 강력한 도구이다.
• 알고리즘 개선: 이러한 차이는 단순한 토큰 정확도를 넘어 문장 수준의 일관성을 향상시키기 위해, 구문적으로 복잡한 문장을 더 잘 처리할 수 있는 지속적인 알고리즘 개선의 필요성을 강조한다.
• 교육적 가치: 본 연구는 계산 언어학 분야의 교육자와 연구자들에게 실질적인 자원이 되며, 실제 세계의 구문 분석 과제를 이해하기 위한 커리큘럼 개발 및 실습 연습의 기초를 제공한다.
• 향 향후 발전: 저자들은 spaCy에서 관찰된 고급 기능적 전이 처리 능력을 활용함으로써, 아프리카 언어(AfriBerta, KINYaBert, Serengeti 등)를 학습시키는 데 있어 이 통찰력이 도움이 될 수 있다고 제안한다.

본 연구는 현재의 NLP 라이브러리들이 진전을 이루었음에도 불구하고, 기능적 전이를 처리하는 데 있어 여전히 상당한 장애물이 남아 있으며, 다양한 언어 구조에 걸친 언어 처리 모델의 적응성과 효과성을 높이기 위한 추가 연구가 필요하다고 결론짓는다.