From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

고대 도서관에서 세 가지 다른 중세 언어로 쓰인 고서들을 읽으려 한다고 상상해 보세요: 중세 오크어, 중세 카탈로니아어, 그리고 중세 프랑스어. 이들은 단순히 현대 언어의 오래된 버전이 아니라, 마치 야생의 미가 다듬지 않은 사촌들처럼 다릅니다. 철자는 페이지마다 달라집니다 (때로는 "불"을 fuoc로, 때로는 foc로 씁니다). 문법은 복잡하며, 이를 이해하는 데 도움을 줄 사전이나 교사도 거의 없습니다.

이 논문의 목표는 컴퓨터가 이 책들 속 모든 단어에 그 "역할"(명사, 동사, 형용사 등) 을 부여하는 법을 가르치는 것입니다. 이 과정은 **품사 태깅 (Part-of-Speech, POS tagging)**이라고 불립니다. 컴퓨터가 진정으로 이야기를 이해하거나, 번역하거나, 그 역사를 분석하기 전에 필수적인 첫걸음입니다.

연구자들은 다음과 같은 질문을 던졌습니다: 현대적인 "초지능" AI(대규모 언어 모델 또는 LLM) 가 우리가 사용해 온 구식 전통 도구들보다 이 작업에서 더 나은 성과를 낼 수 있을까요?

아래는 그들의 실험을 간단한 비유로 설명한 내용입니다:

1. 경쟁자들

이 연구는 두 가지 유형의 "태깅 도구" 간의 경기를 설정했습니다:

• 구세대의 수호자 (전통적 태거): 이들은 규칙을 엄격히 따르는 사서와 같습니다. 현대 언어에 기반한 엄격한 규칙책을 가지고 있습니다. 단어의 형태를 보고 알려진 패턴과 비교하여 단어의 역할을 추측하려 합니다. 빠르고 저렴하지만, 철자가 이상하거나 단어가 드물면 쉽게 혼란에 빠집니다.
• 새로운 도전자들 (LLM): 이들은 거의 쓰인 모든 것을 읽어본 천재적인 다국어 구사자와 같습니다. 그들은 단순히 규칙을 따르는 것이 아니라 문맥을 이해합니다. 철자가 이상하더라도 문장을 보고 그 단어가 무엇일지 "느낄" 수 있습니다.

2. 학습 방법 (AI 에게 어떻게 가르쳤는지)

연구자들은 AI 에게 단순히 추측하게 하지 않고, 다양한 방식으로 가르쳐 보았습니다:

• 제로샷 (Zero-Shot, "냉간 독해"): AI 에게 예시를 전혀 보여주지 않고 "당신은 전문가입니다. 여기 단어가 있으니 그 역할을 알려주세요"라는 프롬프트를 주었습니다. 마치 여행자에게 메뉴판 번역을 요청할 때 문법책을 주지 않는 것과 같습니다.
• 퓨샷 (Few-Shot, "요약 노트"): AI 에게 먼저 아주 작은 예시 목록을 주었습니다 (예: "이 단어는 명사입니다, 이 단어는 동사입니다"). 마치 여행자가 시작하기 전에 몇 가지 핵심 구절을 건네주는 것과 같습니다.
• 파인튜닝 (Fine-Tuning, "견습 과정"): AI 를 가져와 중세 텍스트에 특화시켜 훈련시켰습니다. 마치 그 여행자를 한 달 동안 인턴으로 고용하여 오직 이 특정 책들만 연구하게 하는 것과 같습니다.
• 교차 언어 전이 (Cross-Lingual Transfer, "언어 가족 재회"): 이것이 가장 흥미로운 부분입니다. 그들은 AI 를 여러 언어의 혼합물로 훈련시켰습니다. 예를 들어, 카탈로니아어와 오크어를 함께 가르친 후 오크어로 테스트했습니다. 이는 스페인어와 이탈리아어를 가르친 후, 언어들이 서로 관련되어 있기 때문에 포르투갈어를 더 잘 이해할 수 있는지 확인하는 것과 같습니다.

3. 결과: 누가 이겼나요?

결과는 명확했지만, 몇 가지 흥미로운 반전이 있었습니다:

• AI 의 승리: 거의 모든 경우에서 현대 AI(LLM) 가 구식 규칙 기반 도구들을 이겼습니다. "천재적인 다국어 구사자"들이 "규칙을 엄격히 따르는 사서"들보다 훨씬 더 엉망이고 이상한 철자를 잘 처리했습니다.
• 학습의 중요성: AI 는 단순히 추측하는 것보다 실제로 데이터로 훈련되었을 때 (파인튜닝) 가장 좋은 성과를 냈습니다.
• 언어 혼합의 "골디락스":
  • 가장 작고 어려운 데이터셋 (중세 오크어) 의 경우: AI 는 세 가지 언어를 모두 함께 공부했을 때 (삼국어) 가장 잘 배웠습니다. 마치 그 어려운 것을 이해하려면 관련된 모든 방언을 들어야 하는 학생과 같았습니다.
  • 의학 텍스트 (중세 프랑스어) 의 경우: AI 는 카탈로니아어와만 짝을 이룰 때 (이국어) 가장 잘 수행했습니다. 세 번째 언어를 추가하는 것은 오히려 성능을 약간 떨어뜨렸습니다. 이는 프랑스어를 배우는 학생과 같습니다. 때로는 세 번째 언어 (예: 스페인어) 를 추가하는 것이 도움이 되지만, 때로는 가장 가까운 친척 언어 (이탈리아어/카탈로니아어) 에만 집중하는 것이 특정하고 작은 작업에 더 효과적입니다.

4. 승리의 "이유"

연구자들은 AI 가 형용사, 부사, 대명사처럼 의미와 문맥을 가진 단어를 파악하는 데 특히 뛰어났음을 발견했습니다. 구식 도구들은 엄격한 규칙에 의존하기 때문에 이러한 단어들을 처리하는 데 어려움을 겪었습니다. 반면 AI 는 전체 문장을 보고 "아, 이 단어는 명사를 설명하니까 형용사일 거야"라고 말할 수 있었습니다. 철자가 이상하더라도 말입니다.

5. 주의점 (한계)

이 논문은 무엇을 하지 않았는지에 대해 솔직합니다:

• 비용: "천재적인 다국어 구사자"(대형 AI 모델) 는 실행 비용이 많이 들고 강력한 컴퓨터가 필요합니다. 구식 도구는 무료이고 빠릅니다.
• 데이터 크기: 데이터셋의 크기가 매우 달랐습니다 (하나는 2,000 단어, 다른 하나는 59,000 단어). 연구자들은 AI 가 잘한 것이 언어 때문인지, 아니면 단순히 더 많은 데이터를 학습했기 때문인지 완벽하게 분리해 낼 수 없었습니다.
• 특정성: 그들은 이 세 가지 언어만 테스트했습니다. 로망스어군과 관련 없는 다른 고대 언어에서도 이것이 작동하는지는 아직 알 수 없습니다.

결론

이 논문은 현대 AI 는 엉망이고 고대인 중세 텍스트를 읽기 위한 강력한 새로운 도구임을 증명합니다. 이는 구식 방법을 단순히 대체하는 것이 아니라, 특히 관련 언어들을 혼합하여 가르칠 때 그 성능을 크게 향상시킵니다. 그러나 "만능 전략"은 존재하지 않습니다. 특정 텍스트에 따라 모든 언어를 함께 혼합해야 할 때도 있고, 두 가지 언어에만 집중해야 할 때도 있습니다.

역사학과 디지털 인문학자들에게 이는 이제 컴퓨터가 처리하기엔 너무 엉망이라 여겨졌던 수천 년 분량의 문헌을 자동으로 정리하고 이해할 수 있는 더 나은 도구들을 구축할 수 있음을 의미합니다.