Artificial Intelligence for Sentiment Analysis of Persian Poetry

본 논문은 BERT 와 GPT 기반의 대규모 언어 모델을 활용하여 루미와 파르빈 에테사미의 페르시아 시를 감성 분석한 결과, GPT-4o 가 페르시아 시 분석에 효과적이며 루미의 시가 파르빈 에테사미의 시보다 더 긍정적인 감정을 표현하고 다양한 운율로 감정을 전달함을 확인했다고 요약할 수 있습니다.

핵심

🍽️ 연구의 핵심: "AI 요리사 vs. 시의 맛"

이 연구는 두 명의 유명한 페르시아 시인, **루미 (Rumi)**와 **파르빈 에테사미 (Parvin E'tesami)**의 시를 AI 에게 맛있게 분석하게 했습니다.

• 루미: 중세 시대의 거장. 시가 매우 신비롭고, 다양한 운율 (리듬) 을 사용하며, 영적인 감정이 담겨 있습니다.
• 파르빈 에테사미: 근대 시인. 루미보다 더 현대적인 언어를 사용하지만, 여전히 고전적인 운율을 따릅니다.

연구진은 AI 가 이 시들을 읽고 **"이 시는 슬픈가? 행복한가?"**를 1 점 (슬픔) 에서 5 점 (행복) 으로 점수를 매기게 했습니다.

🔍 사용한 도구: "네 명의 AI 요리사"

연구진은 네 가지 다른 AI 모델 (BERT, Pars-BERT, GPT-4o-mini, GPT-4o) 을 시험대에 올렸습니다.

1. 일반적인 AI (BERT Multilingual): 여러 나라 말을 조금씩 아는 다재다능한 요리사.
2. 페르시아 전문 AI (Pars-BERT): 현대 페르시아어 (뉴스, SNS 등) 를 많이 먹어본 전문가 요리사.
3. 최신 AI (GPT-4o-mini & GPT-4o): 최신 기술로 무장한 천재 요리사들.

📊 연구 결과: "누가 시의 맛을 가장 잘 알아챘을까?"

1. AI 들의 실력 차이

• 결과: 최신 AI 인 GPT-4o가 가장 잘했습니다. 인간 학자들의 평가와 가장 비슷하게 점수를 매겼습니다.
• 재미있는 반전: 현대 페르시아어만 많이 먹어본 '전문가 요리사 (Pars-BERT)'는 오히려 고전 시를 해석하는 데 실패했습니다. 왜일까요?
  • 비유: 현대의 '햄버거'만 먹어본 요리사에게 500 년 전의 '고급 전통 찌개' 맛을 보라고 하면, 재료와 조리법이 너무 달라서 맛을 제대로 평가할 수 없는 것과 같습니다. AI 도 마찬가지라, 현대 텍스트로 훈련된 모델은 고전 시의 은유와 낡은 표현을 이해하지 못했습니다.

2. 시인들의 감정 차이 발견

AI 들은 두 시인의 시를 분석하며 놀라운 공통점을 발견했습니다.

• 루미의 시: 전반적으로 더 행복하고 에너지가 넘치는 감정을 담고 있었습니다.
• 파르빈 에테사미의 시: 전반적으로 더 슬프고 진지한 감정을 담고 있었습니다.
• 이는 AI 가 인간의 해석 없이도, 수천 편의 시를 분석해 내면의 감정을 통계적으로 찾아냈다는 뜻입니다.

3. 운율 (리듬) 과 감정의 비밀

시에는 '운율 (Vazn)'이라는 리듬이 있습니다. 마치 노래의 박자처럼요.

• 루미: 다양한 리듬을 사용해서 **다양한 감정 (기쁨, 슬픔, 중립 등)**을 표현했습니다. 마치 한 요리사가 다양한 재료를 섞어 수많은 요리를 만드는 것처럼, 리듬 하나하나에 다른 감정을 담았습니다.
• 파르빈 에테사미: 특정 리듬을 사용할 때 감정의 변화 폭이 작았습니다.
• 결론: AI 분석 결과, 루미가 리듬을 활용하여 감정을 표현하는 데 훨씬 더 다재다능하고 능숙함을 확인했습니다.

💡 이 연구가 왜 중요한가요?

과거에는 시의 감정을 분석하려면 인간 학자들이 밤을 새워가며 시를 읽고 해석해야 했습니다. 하지만 이 연구는 AI 가 인간 없이도 시의 감정과 구조를 분석할 수 있음을 증명했습니다.

• 장점: 인간의 편견 (선입견) 없이 대량의 시를 빠르게 분석할 수 있습니다.
• 한계: 아직 AI 가 시의 '미묘한 뉘앙스'나 '정확한 점수'를 100% 완벽하게 맞히는 것은 어렵습니다. 하지만 '행복한가 슬픈가'라는 큰 방향성은 잘 파악합니다.

🚀 결론: "디지털 시대의 새로운 시선"

이 연구는 **"인공지능이 고전 문학의 깊은 세계를 탐험할 수 있는 열쇠가 될 수 있다"**는 것을 보여줍니다. 비록 AI 가 아직 완벽하지는 않지만, 앞으로 더 발전하면 우리가 알지 못했던 시와 시인에 대한 새로운 통찰을 얻을 수 있을 것입니다.

한 줄 요약:

"최신 AI 가 고전 페르시아 시를 분석한 결과, 루미의 시는 파르빈 에테사미의 시보다 더 행복하고 다양한 감정을 담고 있으며, AI 는 인간의 도움 없이도 이런 거대한 패턴을 찾아낼 수 있었습니다!"

기술 요약

논문 요약: 페르시아 시의 감성 분석을 위한 인공지능 (LLM) 활용 연구

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 대규모 언어 모델 (LLM) 의 발전으로 텍스트 데이터의 이해, 분석, 생성 능력이 비약적으로 향상되었습니다. 그러나 시 (Poetry) 는 은유, 모호성, 복잡한 언어적 구조를 포함하고 있어 일반적인 텍스트 분류나 감성 분석보다 훨씬 더 어려운 과제입니다.
• 문제점: 기존 연구들은 주로 영어, 중국어, 아랍어 등 다른 언어의 시 분석에 집중했거나, 고전 페르시아 시 (예: 하페즈) 를 대상으로 한 기계 학습 (Naive Bayes, SVM 등) 을 적용한 사례는 있으나, 최신 LLM (BERT, GPT 시리즈) 을 사용하여 고전 페르시아 시의 감성을 분석하고, 시의 운율 (Meter/Vazn) 과 감성 간의 상관관계를 규명하려는 시도는 전무했습니다.
• 목표: 현대 LLM 이 고전 페르시아 시의 복잡성을 얼마나 잘 이해할 수 있는지 검증하고, 시의 감성과 운율 구조 간의 연관성을 탐구하는 프레임워크를 개발하는 것.

2. 연구 방법론 (Methodology)

2.1 데이터셋 구성

• 소스: Ganjoor 온라인 저장소 (www.ganjoor.net) 에서 확보.
• 대상 작가:
  • 줄랄 알 - 딘 무함마드 루미 (Rumi): 13 세기 시인. 《심스 디반 (Divan-i Shams)》사용. 50 가지 이상의 다양한 운율을 사용하며, 13 가지 운율을 직접 발명함.
  • 파르빈 에테사미 (Parvin E'tesami): 20 세기 시인. 《아샤르 디반 (Divan-i Ashaar)》사용. 현대적 텍스트의 성능을 평가하고 여성 시인의 관점을 포함하기 위해 선택.
• 전처리: 각 시의 모든 연을 하나의 텍스트로 결합 (Concatenation) 하고 토큰화 (Tokenization). 모델의 입력 길이 제한 (BERT: 512 토큰, GPT: 128k 토큰) 에 따라 긴 시는 청크로 분할하여 처리 후 평균화.

2.2 사용된 언어 모델 (Language Models)
모든 모델은 Zero-shot 설정 (추가 학습 없이 직접 적용) 으로 평가됨.

1. BERT Multilingual: 102 개 언어 지원, 110M 파라미터. 일반 감성 데이터로 사전 학습됨.
2. Pars-BERT: 페르시아어 전용으로 미세 조정 (Fine-tuning) 된 모델 (현대 페르시아어 뉴스, SNS, 전자상거래 리뷰 등 학습).
3. GPT-4o-mini: OpenAI 의 경량화 모델.
4. GPT-4o: OpenAI 의 최첨단 멀티모달 모델.

• 프롬프트: "시 1~5 점 (1=슬픔, 5=행복) 으로 감성을 분석하고 숫자만 반환하라"는 지시어 사용.

2.3 평가 지표 및 Ground Truth 설정

• Human Annotation: 100 편의 시를 2 명의 인문학 전문가와 2 명의 일반인 (총 4 명) 이 1~5 점으로 평가.
• Ground Truth (참값) 도출: 인간 평가자 간의 일관성을 높이기 위해 4 가지 집계 방식 (평균, 중앙값, 최빈값, Dawid-Skene 모델) 중 평균 (Mean) 방식이 가장 높은 Quadratic Weighted Kappa (QWK) 점수를 보여 Ground Truth 로 선정됨.
• 성능 측정:
  • QWK (Quadratic Weighted Kappa): 모델 예측과 Ground Truth 간의 일치도 (거리 가중치 적용).
  • Fleiss' Kappa: 모델의 반복성 (Repeatability) 측정.
  • 엔트로피 (Entropy): 특정 운율 내에서 표현된 감성의 다양성 측정.
  • 표준편차 및 극단성 (Polarization): 감성 분포의 변동성 분석.

3. 주요 결과 (Key Results)

3.1 모델 성능 비교

• 일관성 (Reliability): 모든 모델 (BERT, GPT) 이 높은 Fleiss' Kappa (>0.93) 를 보여 결과의 반복성이 뛰어남.
• 정확도 (Accuracy):
  • GPT-4o가 인간 평가자 (Ground Truth) 와 가장 높은 상관관계 (QWK ≈ 0.60) 를 보임.
  • **BERT 기반 모델 (Multilingual, Pars-BERT)**은 인간 평가자와의 상관관계가 매우 낮음 (QWK < 0.05).
  • Pars-BERT 의 실패: 현대 페르시아어 (뉴스, SNS) 로 미세 조정된 Pars-BERT 가 오히려 일반 BERT Multilingual 보다 성능이 떨어졌음. 이는 현대 텍스트 학습 데이터가 고전 시의 문법적/의미적 구조 (OOD, Out-of-Distribution) 에 적합하지 않아 성능이 저하됨을 시사.
  • 정확도 한계: GPT-4o 의 절대 정확도 (Exact Accuracy) 는 약 33% 로 낮았으나, 이는 인간 전문가들 간의 일치도 (47~61%) 가 낮았던 점을 고려할 때, 모델이 방향성 (긍정/부정) 을 올바르게 파악하고 있음을 의미함.

3.2 시인별 감성 분석 결과

• 전체 감성: 모든 모델이 루미의 시가 파르빈 에테사미의 시보다 더 행복하고 긍정적인 감성을 지니고 있음을 일관되게 판별.
• 운율 (Meter) 과 감성의 상관관계:
  • 루미: 특정 운율 (예: R24, R34, C12 등) 에서 60% 이상의 시가 긍정적 감성을 보임.
  • 파르빈 에테사미: 특정 운율에서 긍정적 감성 비율이 최대 12% 에 불과하며, 전체적으로 운율당 평균 감성 점수가 3 미만 (우세한 슬픔) 이었음.
• 감성의 다양성 (엔트로피):
  • 루미의 시는 특정 운율 내에서 감성 분포의 엔트로피가 매우 높음 (최대 약 2.25). 이는 하나의 운율로도 다양한 감성 (슬픔부터 행복까지) 을 표현했음을 의미.
  • 파르빈 에테사미의 시는 엔트로피가 상대적으로 낮음 (최대 약 1.75).

3.3 통계적 변동성

• 표준편차: 루미의 시는 평균 감성으로부터의 편차가 크고, 파르빈 에테사미의 시는 평균에 더 가깝고 안정적임.
• 극단성 (Polarization): 루미는 중립적 감성 (3 점) 이 많지만, 슬픔과 행복이 극단적으로 분포된 시의 폭이 더 넓음.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 디지털 인문학의 새로운 패러다임: 인간의 해석 없이 LLM 을 사용하여 고전 페르시아 시의 의미론적 (Semantic) 분석과 감성 매핑이 가능함을 입증함. 이는 대규모 자동화된 다국어 문학 연구의 가능성을 열었음.
2. 모델 아키텍처의 통찰: 고전 문학 분석에는 **생성형 LLM (GPT-4o)**이 **인코더 기반 모델 (BERT)**보다 우월함을 보임. 특히, 현대 텍스트로 미세 조정된 모델이 고전 텍스트 분석에 역효과를 낼 수 있음을 경고함 (Domain Shift 문제).
3. 운율과 감성의 상관관계 규명: 컴퓨터 분석을 통해 루미가 다양한 운율을 사용하여 광범위한 감성을 표현한 '운율의 대가'임을 정량적으로 확인함. 이는 기존 문학 비평의 직관을 데이터로 검증한 사례임.
4. 한계와 향후 과제: LLM 이 고전 시의 은유적 깊이와 아랍어/페르시아어 고어 구조를 완전히 이해하지는 못함 (학습 데이터 부족). 향후 고전 문학에 특화된 학습 데이터셋 구축과 모델 개발이 필요함.

5. 결론

이 연구는 최신 LLM 이 고전 페르시아 시의 감성 분석에 유효한 도구임을 보여주었으며, 특히 GPT-4o가 인간의 감성 판별을 가장 잘 모사함을 확인했습니다. 또한, 루미의 시가 파르빈 에테사미의 시보다 더 긍정적이고 다양한 감성 스펙트럼을 운율을 통해 표현한다는 사실을 통계적으로 입증했습니다. 이는 인공지능이 인문학 연구에서 단순한 구조 분석을 넘어, 복잡한 감정과 의미의 세계를 해석하는 핵심 도구로 자리 잡을 수 있음을 시사합니다.