1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 은 스토리나 인터뷰 대본 생성과 같은 다양한 하위 작업에 활용되고 있지만, 문화적 편향 (Cultural Bias) 을 재생성하거나 강화할 위험이 있습니다.
• 핵심 문제: 기존 연구는 명시적인 고정관념 (stereotypes) 에 초점을 맞추었으나, LLM 이 특정 문화에 대해 **'내부자 (Insider)'**와 **'외부자 (Outsider)'**의 관점을 어떻게 취하는지에 대한 미묘한 편향은 충분히 탐구되지 않았습니다.
• Insider-Outsider Bias 의 정의: LLM 이 주류 문화 (특히 미국 문화) 에 대해서는 마치 그 문화의 내부자처럼 친밀하고 세밀한 관점을 취하는 반면, 비주류 또는 비서구 문화에 대해서는 외부인처럼 이질적이고 피상적인 관점을 취하는 현상입니다.
• 영향: 이러한 편향은 표현적 해 (Representational Harm) (주류 문화의 가치와 편견을 과도하게 반영) 와 배분적 해 (Allocational Harm) (자원을 특정 문화적 입장에 편향되게 할당) 를 초래하여 문화적 헤게모니를 강화합니다.

2. 방법론 (Methodology)

2.1 INSIDEOUT 벤치마크 구축

• 작업: LLM 을 '현지 기자'로 설정하여 10 개 다양한 문화권 (미국, 중국, 파키스탄, 러시아, UAE, 잠비아, 멕시코, 쿠바, 파푸아뉴기니, 인도) 에서 현지인을 인터뷰하는 대본을 생성하도록 유도합니다.
• 데이터셋: 4,000 개의 생성 프롬프트로 구성되며, 10 개 문화권과 4 가지 기본 템플릿, 인구통계학적 변수 (이름, 나이, 성별, 직업) 를 조합하여 생성되었습니다.
• 평가 지표 (Metrics):
  1. Cultural Externality Percentage (CEP): LLM 이 외부자 관점을 취한 인터뷰 대본의 비율.
  2. Cultural Perspective Deviation (CPD): 10 개 문화권 간의 CEP 점수 표준편차. (문화 간 편향의 일관성 부족을 측정)
  3. Cultural Alignment Gap (CAG): 미국 (대조군) 과 기타 문화 (참조군) 간의 평균 CEP 차이. (미국 중심 편향의 정도 측정)
• 평가 도구: 생성된 대본의 관점 (내부자/외부자) 을 분류하기 위해 LLM-as-a-Judge(GPT-o4-mini) 를 활용했습니다.

2.2 편향 완화 전략 (Mitigation Strategies)

연구진은 추론 시간 (Inference-time) 에 적용 가능한 두 가지 주요 전략을 제안했습니다.

1. Fairness Intervention Pillars (FIP):

   • 프롬프트 기반의 기본 방법론입니다.
   • 문화적 중립성, 외래화 금지, 균형 잡힌 언어 사용 등 10 가지 '공정성 기둥 (Fairness Pillars)'을 명시적으로 프롬프트에 주입하여 편향을 줄입니다.

2. Mitigation via Fairness Agents (MFA) 프레임워크:

   • 에이전트 (Agent) 기반의 구조화된 접근법으로, 인간의 수정 및 검토 과정을 모방합니다.
   • MFA-SA (Single-Agent): 생성된 대본을 스스로 반성 (Self-Reflection) 하고 공정성 원칙에 따라 수정하는 단일 에이전트 루프.
   • MFA-HA (Hierarchical-Agent): '비평 에이전트 (Critique Agent)'가 공정성 기준에 따라 대본을 평가하고 피드백을 제공하면, '수정 에이전트 (Refinement Agent)'가 이를 반영하여 대본을 다시 작성하는 계층적 파이프라인.
   • MFA-Plan (Agentic Planning): 오케스트레이터 (Orchestrator) 가 개입하여 대본의 공정성 문제를 진단하고, 수정 계획 (Change Plan) 을 수립하며, 검증 단계를 거쳐 반복적으로 대본을 개선하는 자율적 계획 파이프라인.

3. 주요 결과 (Key Results)

3.1 편향 존재 확인 (Quantitative & Qualitative)

• 미국 중심 편향: 5 가지 최첨단 LLM(ChatGPT, Llama, Mistral, Deepseek, Qwen) 을 평가한 결과, 미국 문화 컨텍스트에서는 88% 이상의 대본이 '내부자' 관점을 취했습니다.
• 비서구 문화의 외부화: 파푸아뉴기니, 잠비아 등 비주류 문화권에서는 60% 이상의 대본이 '외부자' 관점을 취했습니다.
• 어휘 및 주제 분석:
  • 미국: '포용 (inclusion)', '개인주의 (individualism)' 등 이념적, 추상적 단어가 빈번하게 사용됨.
  • 비서구 문화: '전통 (traditional)', '종교적 상징', '의식 (ceremonial)' 등 고정관념적이고 피상적인 표현이 우세함.
  • 주제 모델링 (LDA) 결과, 미국 대본에는 '생각 (think)'이라는 성찰적 주제가 등장했으나, 다른 문화권 대본은 '전통' 관련 주제로만 국한됨.

3.2 완화 방법론의 효과

• FIP vs. MFA: 단순 프롬프트 기반의 FIP 보다 에이전트 기반의 MFA 방법이 편향 완화 성능이 월등히 뛰어났습니다.
• 성능 지표:
  • MFA-SA: 평균 CPD 53.81% 감소, CAG 60.84% 감소.
  • MFA-HA: 평균 CPD 59.70% 감소, CAG 62.52% 감소. (가장 강력한 성능)
  • MFA-Plan (ChatGPT 기준): CPD 77.00% 감소, CAG 77.78% 감소로 가장 높은 성능을 기록했습니다.
• 모델별 성과: Llama 모델의 경우 MFA-SA 를 적용했을 때 편향이 89.70% 감소하는 등, 모델에 따라 구체적인 최적화 전략이 상이함을 보였습니다.

4. 주요 기여 (Key Contributions)

1. INSIDEOUT 벤치마크 제안: LLM 의 문화적 위치 선점 (Positioning) 편향, 즉 '내부자 vs 외부자' 편향을 정량화하기 위한 새로운 벤치마크와 3 가지 평가 지표 (CEP, CPD, CAG) 를 개발했습니다.
2. 체계적 편향 분석: 5 가지 주요 LLM 을 대상으로 한 광범위한 분석을 통해, 모델들이 미국 문화를 '내부자' 관점으로 자연스럽게 받아들이고 비서구 문화를 '외부자' 관점으로 대우하는 체계적인 편향을 발견했습니다.
3. 에이전트 기반 완화 프레임워크: 단순 프롬프트 수정을 넘어, 비판 (Critique) 과 수정 (Refinement) 을 반복하는 에이전트 기반 파이프라인 (MFA) 이 문화적 편향을 효과적으로 완화할 수 있음을 실증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 문화적 헤게모니의 위험성 경고: LLM 이 단순히 언어적 능력을 넘어, 서구 (특히 미국) 중심의 세계관을 내재화하고 비서구 문화를 타자화 (Othering) 할 수 있음을 보여주었습니다.
• 에이전트 기반 접근법의 유효성: 복잡한 사회적 편향을 완화하기 위해, 정적 (Static) 인 프롬프트 엔지니어링보다는 동적 (Dynamic) 이고 구조화된 에이전트 기반 방법론이 더 효과적이고 견고한 해결책이 될 수 있음을 입증했습니다.
• 향후 방향: 다국어 및 다모달 데이터에 대한 확장, 더 다양한 문화권으로의 벤치마크 확대, 그리고 훈련 데이터의 다양성 확보를 통한 근본적 해결 방안 모색이 필요함을 강조합니다.

이 연구는 LLM 이 문화적 맥락에서 어떻게 편향된 관점을 취하는지를 정밀하게 측정하고, 이를 해결하기 위한 새로운 기술적 프레임워크를 제시했다는 점에서 의의가 큽니다.