Linked Multi-Model Data on Russian Domestic and Foreign Policy Speeches

기술 요약: 러시아 국내 및 대외 정책 연설에 대한 연결된 다중 모델 데이터

문제 제기
권위주의 정권을 연구하는 사회과학자들은 체계적으로 연결된 다중 모델 (텍스트 및 이미지) 및 다국어 데이터셋의 가용성 부족이라는 심각한 데이터 결핍에 직면해 있습니다. 텍스트를 데이터로, 이미지를 데이터로 접근하는 방식이 정치학을 발전시켰지만, 기존 자료들은 종종 단일 모드 콘텐츠나 단일 언어 코퍼스에 의존합니다. 이 격차는 양적 자원이 희소하거나 조작되는 권위주의적 맥락에서 특히 심각합니다. 또한, 기존 데이터셋은 러시아어 공식 커뮤니케이션과 그 영어 대응물을 연결하는 경우가 드물어, 정권이 국내 및 국제 청중을 위해 메시지를 어떻게 맞춤화하는지 (청중 차별화) 연구하는 것을 방해합니다. 주요 러시아 행정부 지부에서 장기간에 걸쳐 연설 대본, 관련 이미지, 메타데이터를 결합한 포괄적이고 정제되며 검증된 자원은 부재합니다.

방법론
저자들은 두 가지 주요 소스, 즉 공식 크렘린 웹사이트 (kremlin.ru) 와 러시아 외무부 웹사이트 (mid.ru) 를 웹 스크래핑하여 새로운 데이터셋을 구축했습니다.

• 데이터 수집:

  • 범위: 수집 범위는 크렘린의 경우 1999 년 12 월 31 일부터 2025 년 9 월 20 일까지, 외무부 (MID) 의 경우 2004 년 3 월 18 일부터 2025 년 10 월 7 일까지의 연설을 포함합니다.
  • 언어: 러시아어 (원본) 와 영어 (공식 번역 또는 기계 번역 버전) 를 위한 병렬 코퍼스가 생성되었습니다.
  • 기법: 2 단계 파이썬 기반 웹 스크래핑 파이프라인이 사용되었습니다. 먼저, 인덱스 빌더가 사이트 목록을 탐색하여 연설 ID 와 URL 의 안정적인 인덱스를 생성했습니다. 그 다음, 페이지 가져오기 - 파서가 메타데이터, 전체 텍스트 및 관련 이미지를 추출했습니다. 파이프라인은 requests, BeautifulSoup, pandas 를 활용하며 고정 헤더, 무작위 지연, 지수 백오프와 같은 정중한 스크래핑 관행을 적용했습니다.
  • 이미지 처리: 이미지는 다운로드되어 SHA-256 해싱을 통해 중복 제거되었으며, 연설별 디렉토리에 저장되었습니다. 시스템은 완전성을 보장하기 위해 선언된 이미지 수와 저장된 이미지 수를 추적했습니다.

• 데이터 처리 및 보강:

  • 번역: 주제 모델링을 위한 병렬 코퍼스를 생성하기 위해 러시아어 텍스트가 Argos Translate 를 사용하여 영어로 번역되었으나, 원본 러시아어 텍스트는 보존되었습니다.
  • 지리 코딩: 위치 문자열이 추출되거나 복구되었으며 (외무부 연설의 경우 NER 과 LLM 백필 사용), 2 단계 지리 코딩 캐스케이드 (Nominatim/ArcGIS) 를 통해 위도/경도 좌표로 변환되었습니다.
  • 화자 추출: 화자 이름은 코퍼스에 특정한 규칙 (외무부의 경우 HTML 레이블, 크렘린의 경우 정규식/NER) 을 사용하여 추출되고 표준 이름으로 정규화되었습니다.
  • 주제 모델링: BERTopic 과 CLIP 을 사용한 다중 모델 주제 모델링 파이프라인이 구현되었습니다.
    • 텍스트: 연설은 sentence-transformers (all-mpnet-base-v2) 를 사용하여 임베딩되었습니다. BERTopic(UMAP 및 HDBSCAN 포함) 은 각 기관 (크렘린과 외무부) 에 대해 영어 의미 공간 (원어민 영어 및 번역된 러시아어 텍스트 사용) 에서 별도로 적합되었습니다.
    • 이미지: 이미지는 CLIP(ViT-B/32) 을 사용하여 임베딩되었습니다. 별도의 이미지 모델을 훈련하는 대신, 이미지는 텍스트 기반 주제 프롬프트에 대한 코사인 유사도를 사용하여 점수를 매겨 텍스트 기반 주제 공간 내에서 이미지 주제를 할당했습니다.
    • 인간 검증: 러시아 정치 전문가가 주제 키워드와 대표 연설/이미지를 검토하여 인간이 읽을 수 있는 레이블과 그룹 카테고리를 할당했습니다. 이상치는 가장 가까운 중심점으로 재할당되었습니다.

주요 기여
본 논문은 네 가지 연설 단위 CSV 파일과 해당 이미지 아카이브로 구성된 포괄적이고 분석 준비가 된 데이터셋을 공개합니다:

1. 크렘린 영어: 10,553 건의 연설 (1999–2025).
2. 크렘린 러시아어: 병렬 영어 번역이 포함된 13,340 건의 연설 (1999–2025).
3. 외무부 영어: 5,057 건의 연설 (2004–2025).
4. 외무부 러시아어: 병렬 영어 번역이 포함된 6,056 건의 연설 (2004–2025).

총량: 데이터셋에는 35,006 개의 고유한 텍스트 항목, 92,059 개의 이미지, 그리고 조화된 메타데이터가 포함되어 있습니다.

데이터의 주요 특징:

• 연결된 다중 모델성: 고유 식별자가 특정 이미지를 연설과 연결하고 동일한 커뮤니케이션의 러시아어 및 영어 버전을 정렬합니다.
• 다국어 정렬: 데이터셋은 공식 러시아어 텍스트와 그 영어 대응물을 직접 비교할 수 있게 하여, 프레이밍과 내용 차이를 연구하는 것을 용이하게 합니다.
• 선별된 주제 변수: 모든 연설과 이미지는 불확실성 인식 분석을 위한 전체 확률 분포와 함께 지배적인 주제 ID, 레이블, 그룹이 할당됩니다.
• 지리 공간 데이터: 연설의 대다수에 대해 고 커버리지 지리 위치 데이터 (위도/경도) 가 제공됩니다.
• 검증: 저자들은 다음과 같은 광범위한 검증을 제공합니다:
  • 주제 검증: 학습된 주제를 크렘린이 선언한 주제 태그 (사용 가능한 경우) 와 비교하여 의미 있는 정렬을 보여줍니다 (예: 영어 코퍼스의 지배적 주제에 대한 상위 1 히트율 약 59%).
  • 지리 위치 검증: GeoNames 좌표에 대해 1,000 건의 표본 연설을 수동으로 검토한 결과, 크렘린 연설의 경우 중앙값 거리가 1km 미만, 외무부 연설의 경우 약 14km 임을 확인했습니다.

결과 및 데이터 특성

• 커버리지: 러시아어 크렘린 코퍼스가 영어 버전보다 더 완전합니다 (13,340 건 대 10,553 건 연설). 이는 모든 러시아어 콘텐츠가 번역되는 것은 아니라는 점을 반영합니다.
• 길이: 연설은 길이가 크게 다르며, 중앙값은 약 763–806 단어이고 최대 길이는 39,000 단어를 초과합니다.
• 이미지 밀도: 크렘린 코퍼스는 외무부 코퍼스에 비해 더 높은 이미지 밀도를 보입니다 (평균 연설당 약 3.4 개 이미지 대 평균 연설당 약 0.7–0.8 개 이미지).
• 결측치: 핵심 변수 (ID, 날짜, 주제, 이미지 수) 는 결측률이 거의 0 에 가깝습니다. 텍스트 필드는 0.15% 미만의 경우에서 누락됩니다. 위치 데이터는 약 5–7% 의 경우에서 누락됩니다.

의의
저자들은 이 데이터셋이 다음과 같은 분야에 대한 가치 있는 테스트베드를 제공한다고 주장합니다:

1. 사회과학 연구: 권위주의적 정치 커뮤니케이션, 엘리트 신호, 정책 우선순위에 대한 체계적이고 다중 모델적이며 다국어적인 분석을 가능하게 합니다. 특히 청중 차별화 (정권이 국내 및 외국 청중을 위해 메시지를 어떻게 맞춤화하는지) 와 크렘린과 외무부 사이의 차이에 대한 연구를 지원합니다.
2. 컴퓨터 과학 및 인공지능: 저자원 언어, 다중 모델 학습, 그리고 정치 맥락에서의 편향 감지와 관련된 기계 학습 모델을 개발하고 검증하기 위한 대규모 주석 다중 모델 코퍼스를 제공합니다.
3. 정책 및 예측: 분쟁, 대외 정책 행동, 국가 안정성과 관련된 회귀 분석, 시계열 모델링, 조기 경보 시스템에 대한 데이터 입력을 제공합니다.

본 논문은 이 데이터가 언어 버전 간 및 다양한 행정부 지부 간 콘텐츠 포함/생략의 변이를 연구할 수 있게 하여, 권위주의 정치 연구의 중요한 격차를 해소한다고 강조합니다. 모든 코드와 데이터는 GitHub 와 하버드 Dataverse 를 통해 공개적으로 이용 가능합니다.