Framing Political Bias in Multilingual LLMs Across Pakistani Languages

기술 요약: 다국어 LLM의 파키스탄 언어 간 정치적 편향 프레이밍

문제 정의
대규모 언어 모델(LLM)이 공론 형성에 점점 더 큰 영향을 미치고 있음에도 불구하고, 정치적 및 경제적 편향에 대한 평가는 주로 고자원(high-resource)인 서구 언어에 집중되어 왔다. 이는 언어적 정체성이 정치, 종교 및 지역적 이데올로기와 밀접하게 연결된 파키스탄과 같은 저자원(low-resource), 다국어 지역에서 심각한 사각지대를 발생시킨다. 기존의 편향 탐지 도구들은 서구의 정치적 분류 체계에 의존하는 경우가 많으며, 저자원 언어에서 나타나는 이데올로기의 프레이밍을 반영하지 못한다. 결과적으로, LLM은 문화적으로 뿌리 깊은 진술(예: 전통적 정의 원칙)을 폭력 지원이나 편향으로 오해하여 시민 담론을 왜곡하고 소수자의 관점을 소외시킬 수 있다. 우르두어, 펀잡어, 신디어, 파슈토어, 발로치어 등 파키스탄의 5대 주요 언어에 걸쳐 정치적 편향을 감사하기 위한 체계적인 프레임워크가 부족한 실정이다.

방법론
저자들은 이데올로기적 입장 탐지와 다층적 내러티브 프레이밍 분석을 통합한 새로운 문화적 기반 프레임워크를 제안한다. 이 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. 문화적으로 적응된 정치적 컴퍼스 테스트(PCT):

   • 본 연구는 표준 62개 문항의 PCT를 채택하여 이를 5개 파키스탄 언어로 번역하고 문화적으로 검증하였다.
   • 프레임워크는 모델의 응답을 2차원 이데올로기 공간(경제적 가치: 좌파 vs 우파 / 사회적 가치: 자유주의 vs 권위주의)에 매핑한다.
   • 두 단계의 계산적 접근 방식을 통해 입장을 정량화한다. 첫째, 분류기 신뢰도(강한 찬성부터 강한 반대까지)를 기반으로 스칼라 점수를 계산하고, 둘째, 이 점수를 서열 범주로 이산화하여 모델을 $(S_{eco}, S_{soc})$ 평면에 투영한다.
   • 데이터셋은 13개의 최첨단 LLM(오픈 소스 및 폐쇄형 소스 모두 포함)으로부터 생성된 4,030개의 응답을 포함하며, 이는 플라이스 카파(Fleiss' kappa) 0.99의 수치로 원어민에 의해 검증되었다.

2. 이데올로기적 프레이밍 분석:

   • 모델이 편향을 어떻게 표현하는지 포착하기 위해, 저자들은 11가지 정치적 핵심 주제(예: 신성모독법, 사형 제도, LGBTQ 권리, 소수자 권리)에 걸친 약 444,340개의 뉴스 헤드라인 코퍼스를 생성한다.
   • 콘텐츠 프레이밍: 헤드라인은 GPT-3.5-turbo를 사용하여 Boydstun의 15가지 교차 프레임 차원(예: 도덕성, 경제, 문화적 정체성)에 따라 분류되며, 지배적인 내러티브 전략을 결정한다.
   • 엔티티 기반 분석: 다국어 BERT 모델을 사용한 개체명 인식(NER)을 통해 정치적 인물과 기관을 추출한다. 연구는 엔티티의 부각 정도와 감성 극성(미세 조정된 XLM-RoBERTa 사용)을 계산하여 어떤 행위자가 강조되고 어떻게 묘사되는지(긍정/부정/중립)를 식별한다.

3. 실험 설정:

   • 본 연구는 제로샷 프롬프팅을 사용하여 13개의 LLM을 평가한다.
   • 표준 SOTA 베이스라인과 비교하기 위해 (우르두어로 미세 조정된) "문화적 적응형" 모델에 대한 특정 분석을 포함한다.
   • 강건성(Robustness)은 의미적으로는 동일하지만 지시적으로는 구별되는 5가지 프롬프트 변형을 사용하여 테스트된다.

주요 기여

• 최초의 대규모 평가: 파키스탄의 5개 언어(우르두어, 펀잡어, 신디어, 파슈토어, 발로치어)에 걸쳐 대규모 정치적 편향 평가를 수행한 최초의 연구이다.
• 새로운 프레임워크: PCT를 통한 이데올로기적 위치 선정과 (콘텐츠, 스타일, 엔티티 중심의) 내러티브 프레이밍 분석을 결합한 최초의 프레임워크를 도입하여 파키스탄 정치 담론에 특화된 분석을 제공한다.
• 문화적 적응: 현지 담론에 기반한 11가지 주제를 다루는, 인간이 검증한 번역을 포함한 문화적으로 적응된 PCT를 제공함으로써 일반적인 서구적 도구를 넘어선다.
• 포괄적인 데이터셋: PCT 번역과 편향 분석을 위한 방대한 헤드라인 생성 코퍼스를 포함한 골드 스탠다드 다국어 데이터셋을 공개한다.

결과

• 언어 조건부 이데올로기 변조: LLM은 영어에서는 서구 훈련 데이터와 일치하는 자유주의-좌파 성향을 주로 반영하지만, 파키스탄 언어에서는 상당한 변화를 보인다. 예를 들어, GPT 모델은 영어에서는 자유주의-좌파 입장을 취하지만, 우르두어나 펀잡어와 같은 지역 언어에서는 권위주의-좌파 또는 권위주의-우파 입장으로 이동하는 경향이 있다.
• 지역 언어에서의 권위주의적 프레이밍: 모델은 영어에 비해 지역 언어에서 더 권위주의적인 프레이밍을 보인다. 이는 언어적 선택이 문화적으로 특정한 이데올로기적 변화를 활성화함을 시사한다.
• 모델별 패턴:
  • Claude는 모든 언어에서 일관되게 가장 강력한 자유주의적 입장을 보여준다.
  • GPT-4-turbo는 경제적으로 가장 좌파적인 성향을 띤다.
  • 오픈 소스 모델(예: Mistral, DeepSeek)은 일반적으로 더 자유주의-자유주의적 성향을 유지하는 반면, 미세 조정된 우르두어 모델은 일부 맥락에서 권위주의-우파 성향으로 이동하는 경향을 보였다.
  • BERT 변형 모델은 언어 전반에 걸쳐 우파 성향을 띠는 경향이 있었다.
• 프레이밍 및 감성:
  • 모델은 종교적 소수자를 논의할 때 다양한 "문화적 정체성" 프레임을 사용한다. 권위주의 성향의 모델은 소수자 권리를 제도적 및 지리적 위계(국가를 강조)를 통해 프레이밍하는 반면, 자유주의 성향의 모델은 더 넓은 법적 프레임워크와 지역적 경험을 포함한다.
  • 감성 분석 결과, 신성모독법 및 사형 제도와 같은 민감한 주제는 압도적으로 부정적인 감성을 불러일으키는 반면, 교육 및 언어 정책과 같은 주제는 더 긍정적이거나 희망적인 어조를 보인다.
• 미세 조정의 영향: 문화적으로 적응된(미세 조정된) 모델은 SOTA 베이스라인에 비해 더 균형 잡히고 중심적인 응답과 낮은 편향 점수를 생성하였으며, 이는 문화적-언어적 적응이 정치적 중립성을 증진할 수 있음을 시사한다.

의의
본 논문은 LLM의 정치적 편향이 단순한 번역 문제가 아니라, 언어적 맥락과 문화적 이데올로기 사이의 복잡한 상호작용이라고 주장한다. 연구 결과는 서구의 정치적 프레임이 현지의 사고를 잘못 규정할 수 있으며, 이는 저자원 언어 사용자들에 대한 불평등을 증폭시킬 수 있음을 보여준다. PCT와 내러티브 프레이밍 차원을 결합함으로써, 본 연구는 다국어 LLM의 정치적 편향을 진단하기 위한 재현 가능한 방법론을 제시한다. 저자들은 공정하고 포용적인 AI 시스템을 구축하기 위해서는 서구 중심적인 가정을 넘어 문화적으로 근거를 둔 평가 프레임워크가 필요하며, 이를 통해 언어적으로 다양한 사회에서 형평성 있고 책임 있는 AI 배포를 보장해야 한다고 결론짓는다.