HebID: Detecting Social Identities in Hebrew-language Political Text

1. 문제 정의 (Problem)

기존의 자연어 처리 (NLP) 연구에서 사회적 정체성 (Social Identity) 감지 작업은 다음과 같은 한계를 가지고 있습니다:

• 언어 편향: 대부분의 데이터셋과 연구가 영어 중심이며, 히브리어와 같은 비영어권 언어에 대한 자원은 거의 존재하지 않습니다.
• 단일 레이블 및 coarse-grained: 기존 작업은 주로 단일 레이블 (single-label) 이거나, 정당이나 민족과 같은 거시적인 범주에 국한되어 있습니다.
• 맥락 부재: 실제 정치 담론에서 정체성은 다중적으로 (multilabel) 표현되며, 특정 문화적, 사회적 맥락에 따라 세밀하게 구분되어야 하지만 이를 포착하는 도구가 부족합니다.

이에 본 논문은 히브리어 정치 텍스트에서 세밀한 (fine-grained) 다중 레이블 사회적 정체성을 감지하기 위한 최초의 공개 데이터셋인 HEBID를 제안하며, 이를 통해 정치적 담론과 사회적 정체성의 관계를 분석합니다.

2. 방법론 (Methodology)

2.1 데이터셋 구축 (HEBID Corpus)

• 데이터 소스: 이스라엘 정치인들의 페이스북 게시물 (2018 년 12 월 ~ 2021 년 4 월) 에서 추출한 5,536 개의 문장.
• 정체성 선정 (Survey-grounded): 12 개 파동 (waves) 의 국가 패널 설문조사 (N=1,769) 를 기반으로 합니다. 전문가 패널이 선정한 28 가지 정체성 중, 설문조사에서 응답률이 5% 이상인 12 가지 가장 중요한 정체성을 선정했습니다.
  • 선정된 12 가지 정체성: Rightist, Leftist, Conservative, Liberal, Socially-oriented, Capitalist, Zionist, Palestinian, Honest, Security-oriented, Ultra-orthodox, Democrat.
• 주석 (Annotation):
  • 다중 레이블 (Multilabel): 하나의 문장이 여러 정체성을 동시에 표현할 수 있음.
  • 긍정적 표현만 포함: 정체성을 부정하거나 비판하는 언급은 제외하고, 긍정적으로 표현되거나 소환된 경우만 주석.
  • 신뢰도: 두 명의 주석자가 수행하며, 평균 Cohen's κ는 0.77 로 높은 일관성을 보임.

2.2 모델링 및 실험

다양한 아키텍처를 벤치마크하여 최적 모델을 도출했습니다:

1. Baseline: TF-IDF 특징을 사용한 로지스틱 회귀 및 LinearSVC.
2. Encoder Models:
   • 다국어 모델 (mBERT) 및 히브리어 특화 모델 (ALEPHBERT, HERO, DICTABERT).
   • 단일 레이블 (Single-label) 과 다중 레이블 (Multilabel) 학습 방식 비교.
3. Decoder LLMs: 2B~9B 파라미터 규모의 생성형 모델 (GEMMA-2, QWEN-8B, DICTALM2.0).
   • DICTALM2.0 은 히브리어로 100B 토큰에 대해 사전 학습된 모델로, 히브리어 특화 문화 및 정치적 맥락을 반영하도록 미세 조정 (Fine-tuning) 되었습니다.

2.3 검증 및 일반화

• 크로스 장르 검증: 페이스북 데이터로 학습된 최상위 모델을 이스라엘 의회 (Knesset) 연설문 (500 문장) 에 적용하여 성능을 검증.
• 외부 타당성 검증: 전문가 설문조사 (CHES-Israel) 의 정당 정책 순위와 모델이 예측한 정체성 담론 점수 간의 상관관계를 분석.

3. 주요 결과 (Key Results)

3.1 모델 성능

• 최고 성능: 히브리어 특화 디코더 LLM 인 DICTALM2.0이 가장 우수한 성능을 보였습니다.
  • Macro-F1: 0.743 (Facebook 테스트 세트 기준).
  • 비교: 단일 레이블 인코더 기반 모델보다 약 6 포인트 이상 우세하며, 12 개 정체성 중 8 개에서 최고 F1 점수를 기록했습니다.
  • 의미: 정체성 감지 작업은 언어별 문화적, 정치적 맥락에 민감하며, 이를 반영한 특화 모델이 필수적임을 시사합니다.
• 크로스 장르 일반화: 의회 연설문 데이터에서도 Macro-F1 0.72 를 기록하여 모델의 견고성을 입증했습니다.

3.2 외부 타당성

• CHES-Israel 전문가 설문 데이터와의 상관관계 분석 결과, 21 개 상관관계 중 16 개가 통계적으로 유의미했으며 (p ≤ 0.1), 그중 13 개는 강한 효과 크기 (|r| = 0.71 ~ 0.94) 를 보였습니다. 이는 모델이 실제 정당들의 정책 입장을 잘 반영함을 의미합니다.

3.3 사회언어학적 분석 (Insights)

HEBID 분류기를 활용하여 세 가지 데이터 소스 (페이스북, 의회 연설, 국민 설문) 를 비교 분석한 결과:

• 인기 정체성: '사회 지향적 (Socially-oriented)', '우파 (Rightist)', '민주주의 (Democrat)'가 전반적으로 높게 나타났으나, '좌파 (Leftist)'는 상대적으로 낮았습니다.
• 엘리트 vs 대중 차이:
  • '정직 (Honest)'과 '시온주의 (Zionist)'는 대중에게 더 인기 있었으나, '사회 지향적' 정체성은 의회 연설에서 더 두드러졌습니다.
  • 선거 주기 (Election cycles) 에 따라 정체성 담론이 급증하는 경향이 관찰되었습니다.
• 정체성 묶음 (Bundles): 요인 분석을 통해 좌파 계열 (Leftist, Democrat, Honest 등) 과 우파 계열 (Rightist, Conservative, Zionist 등) 로 명확히 구분되는 정체성 군집이 발견되었습니다.
• 성별 차이:
  • 여성이 남성보다 더 많은 정체성을 표현하는 경향이 있었습니다 (특히 의회 데이터에서).
  • '사회 지향적 (Socially-oriented)' 정체성은 여성에게, '우파', '안보 지향적', '자본주의'는 남성에게 더 많이 연관되었습니다.

4. 주요 기여 (Contributions)

1. 데이터셋 및 방법론: 대규모 설문 조사 데이터를 텍스트 주석과 연결하는 프레임워크를 제시하고, 히브리어 최초의 다중 레이블 사회적 정체성 데이터셋 (HEBID) 을 공개했습니다.
2. 종합적 벤치마크: 다양한 인코더 및 디코더 LLM 모델을 평가하여 히브리어 다중 레이블 분류를 위한 강력한 기준 (Baseline) 을 확립했습니다.
3. 크로스 장르 검증: 소셜 미디어 데이터로 학습된 모델이 의회 연설문과 같은 다른 장르에서도 유효함을 입증했습니다.
4. 사회과학적 통찰: 엘리트 담론과 대중 인식 간의 차이, 선거 주기별 정체성 변화, 성별에 따른 표현 차이 등 새로운 정치적 통찰을 제공했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • NLP 커뮤니티: 저자원 (Low-resource) 언어인 히브리어에서의 다중 레이블 분류를 위한 새로운 벤치마크를 제시했습니다.
  • 사회과학: 정치적 담론 분석을 위한 정량적 도구를 제공하며, 비영어권 정치 맥락에서의 문화적 감수성 있는 자원 개발을 위한 방법론적 템플릿이 됩니다.
• 한계:
  • 시간적/플랫폼적 범위: 데이터가 특정 기간 (2018-2021) 과 페이스북 플랫폼에 국한되어 있습니다.
  • 설문 대상: 팔레스타인 시민 등 비유대계 이스라엘 시민이 설문 조사에 포함되지 않았습니다.
  • 주석의 한계: 부정적 언급은 포함되지 않았으며, 5% 임계값 미만의 정체성은 제외되었습니다.
  • 모델 편향: 훈련 데이터와 사전 학습 모델의 편향이 결과에 영향을 미칠 수 있습니다.

결론적으로, HEBID 는 히브리어 정치 텍스트 분석의 새로운 지평을 열었으며, 비영어권 정치 담론 연구에 중요한 기반을 마련했습니다.