1. 연구 배경 및 문제 정의 (Problem)

• 연구 대상: 19 세기 말에서 20 세기 초 슬로베니아의 주요 정치 일간지인 보수 - 가톨릭 성향의 Slovenec과 자유 - 진보 성향의 Slovenski narod 두 신문의 텍스트 코퍼스 (sPeriodika 코퍼스에서 추출, 1771~1914 년 간 발행분).
• 핵심 문제:
  • 역사적 신문 데이터는 OCR(광학 문자 인식) 오류로 인해 노이즈가 많고, 언어가 고어체이거나 변형된 형태를 띠고 있어 기존 NLP 모델 적용이 어렵습니다.
  • 대규모 역사적 텍스트에서 집단적 정체성 (Collective Identities, 예: 민족, 지역, 국가) 이 어떻게 표현되고, 어떤 감정 (Sentiment) 과 연결되는지를 분석하기 위해 기존 방법론만으로는 한계가 있습니다.
  • 디지털 인문학 (Digital Humanities) 연구에서 '원거리 독해 (Distant Reading)'와 '근접 독해 (Close Reading)'를 결합하여 대규모 데이터의 패턴을 발견하면서도 질적 해석을 유지하는 방법론이 필요합니다.

2. 방법론 (Methodology)

이 연구는 **혼합 방법론 (Mixed Methods)**을 채택하여 계산적 분석과 질적 분석을 결합했습니다.

A. 데이터 전처리 및 레서피 (Lexicon) 구축

• 코퍼스: Slovenec(137M 토큰) 과 Slovenski narod(183M 토큰) 의 원문 데이터 사용.
• 집단적 정체성 어휘집 (Lexicon): 명사형 (예: Nemci[독일인]) 과 형용사형 (예: nemški[독일의]) 을 모두 포함하는 슬로베니아어 집단 정체성 레서피를 수동 및 자동 추출을 통해 구축했습니다.

B. 주제 모델링 (Topic Modelling)

• 도구: BERTopic 사용 (UMAP 임베딩 및 paraphrase-multilingual-MiniLM-L12-v2 모델 기반).
• 과정: 각 신문의 단락별로 4 만 개 이상의 주제를 생성한 후, 이를 20 개의 수동 큐레이션 테마 (예: 국가 및 민족, 정치 생활, 종교 실천 등) 로 통합하여 비교 분석 가능한 단위로 축소했습니다.

C. LLM 기반 측면 감정 분석 (Aspect-level Sentiment Analysis)

• 작업: 특정 집단 정체성 언급 (Mention) 에 대한 문맥 내 감정 분류 (긍정, 부정, 중립).
• 모델 평가: 4 가지 지시 따르기 (Instruction-following) LLM 을 슬로베니아어 Few-shot 설정으로 평가:
  • GaMS3-12B-Instruct (슬로베니아어 적응 모델)
  • Gemma-3-12B-IT, Llama-3.1-8B-Instruct, DeepSeek-R1-Distill-Qwen-7B
• 선정 모델: GaMS3-12B-Instruct를 최종 선정 (전체 정확도 및 가중 F1 점수 최고, 특히 중립 감정 탐지 성능이 우수함).
• 입력 구조: 언급된 정체성 태그 + 해당 문장 및前后 2 문장 (Context Window) 을 프롬프트로 제공.

D. 엔티티 그래프 시각화 및 질적 분석

• 그래프 구성: 주제, 정체성, 위치 (Location), 감정 (Sentiment) 을 노드로, 공발생 (Co-occurrence) 을 엣지로 연결한 무방향 그래프 구축.
• 분석: 양적 네트워크 분석 (노드 크기, 엣지 두께 등) 과 비판적 담론 분석 (Critical Discourse Analysis) 을 결합하여 '타자화 (Othering)', '자신 긍정화' 등의 담론 전략을 해석했습니다.

3. 주요 결과 (Key Results)

A. LLM 성능 평가

• 전체 성능: GaMS3 모델은 전체 정확도 0.695, 가중 F1 0.708을 기록하여 다른 모델들을 상회했습니다.
• 클래스 불균형:
  • 중립 (Neutral): 가장 안정적으로 탐지됨 (F1=0.794). 역사적 데이터의 대다수가 중립적 서술이므로 이는 중요합니다.
  • 부정 (Negative): 민감도는 높으나 (Recall 0.750), 정밀도 (Precision 0.351) 가 낮아 중립/긍정 텍스트를 과다하게 부정으로 분류하는 경향이 있습니다.
  • 긍정 (Positive): 탐지율이 가장 낮음 (Recall 0.300). 모델이 긍정적 표현을 중립이나 부정으로 잘못 분류하는 경향이 강합니다.
• 문법적/참조적 영향:
  • 형용사형 언급이 명사형 언급보다 모델 성능이 더 좋았습니다.
  • **집단 참조 (Group-referential, 예: "독일인들")**는 **비집단 참조 (Non-group, 예: "독일 정치")**보다 모델이 더 어려워했습니다. 특히 집단 참조에서 긍정적 감정은 과소평가되는 경향이 있습니다.

B. 담론 분석 결과

• 주제별 차이: 두 신문 모두 '국가 및 민족', '국가 행정' 등에서 집단 정체성 언급이 많았으나, Slovenec이 더 다양하고 복잡한 네트워크를 보인 반면, Slovenski narod는 중립적 언급이 더 많았습니다.
• 정체성별 감정 분포:
  • 독일인 (Nemci): 두 신문 모두에서 부정적 감정이 압도적으로 높음 (슬로베니아 - 독일 민족주의 갈등 반영).
  • 오스트리아인 (Avstrijci): 주로 중립적으로 언급됨 (당시 슬로베니아 정치 담론이 오스트리아 국가 지지를 기반으로 함).
  • 체코인 (Cehi): 신문별 편차가 크며, 보헤미아 내 독일 - 체코 갈등과 관련된 복잡한 맥락을 보임.
  • 지역적 정체성 (예: 지중해인, 아드리아인): 거의 전적으로 중립적/기술적 맥락에서 언급됨.
  • 비하적 표현 (예: Nemčurji[독일화한 슬로베니아인]): 높은 비중립적 (부정적) 비율을 보임.
• 타자화 전략: 두 신문 모두 독일인을 주요 '타자 (Other)'로 규정하고, 크로아티아인은 '형제'로 묘사하는 등 슬로베니아 민족 정체성을 구축하는 담론 전략을 사용했습니다.

4. 주요 기여 (Key Contributions)

1. OCR 손상된 역사적 텍스트를 위한 LLM 벤치마킹: 슬로베니아어 역사적 신문에 대한 측면 감정 분석을 위한 최초의 대규모 LLM 평가 중 하나로, GaMS3 모델의 적합성과 한계를 실증했습니다.
2. 혼합 방법론의 체계화: 계산적 방법 (주제 모델링, 네트워크 분석, LLM 감정 분석) 과 인문학적 질적 분석 (근접 독해, 담론 분석) 을 통합하여 역사적 텍스트의 복잡성을 해석하는 새로운 워크플로우를 제시했습니다.
3. 기술적 한계와 해석적 타당성의 구분: 기술적 지표 (F1 점수) 가 높더라도, 역사적 맥락에서의 '해석적 타당성 (Interpretive Validity)'이 더 중요함을 강조했습니다. 특히 긍정적 감정의 과소평가 경향을 인지하고 데이터를 해석해야 함을 지적했습니다.
4. 공개 리소스: 구축된 레서피, 평가 데이터셋, 프롬프트 템플릿 등을 GitLab 을 통해 공개하여 재현성과 후속 연구를 지원했습니다.

5. 의의 및 결론 (Significance)

이 연구는 대규모 역사적 신문 데이터를 분석할 때 **LLM 의 확장성 (Scalability)**과 인문학적 해석의 깊이를 어떻게 조화시킬 수 있는지를 보여줍니다.

• 디지털 인문학의 발전: 단순한 텍스트 마이닝을 넘어, LLM 을 통해 역사적 담론의 패턴 (예: 민족적 갈등, 정체성 구축) 을 발견하고 이를 비판적으로 검증하는 새로운 패러다임을 제시했습니다.
• 실용적 함의: 역사학자와 디지털 인문학 연구자들에게 OCR 이 손상된 고전 텍스트를 분석할 때 LLM 을 활용하는 구체적인 가이드라인 (모델 선택, 결과 해석 시 주의점 등) 을 제공합니다.
• 향후 연구: 시간적 Named Entity Graph(시계열 엔티티 그래프) 를 통해 정체성의 변화와 태도의 진화를 추적하는 등 더 심층적인 역사적 서사 분석으로 확장할 수 있음을 시사합니다.

요약하자면, 이 논문은 LLM 을 역사적 텍스트 분석 도구로 활용하는 방법론적 토대를 마련하고, 슬로베니아의 근대 국민 국가 형성기 담론을 새로운 시각에서 조명했다는 점에서 의의가 큽니다.