1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 서사 작성이나 대화와 같은 개방형 생성 작업에서 문화적 편향을 자주 나타냅니다. 특히 소수 문화나 덜 대표되는 문화에 대해서는 지식이 부족하거나 템플릿화된 답변을 생성하는 경향이 있습니다. 기존 연구들은 이러한 편향이 전학습 코퍼스 (pretraining corpora) 내의 문화적 표현 불균형에서 기인할 수 있음을 시사했습니다.

하지만 구체적인 메커니즘에 대한 의문이 남아있습니다:

1. 모델이 특정 문화에 대한 상징 (예: 음식, 의류) 을 생성할 때, 이것이 전학습 데이터에서의 기억 (memorization) 에 기반한 것인가요?
2. 기억이 아니라면, 어떤 요인이 모델의 연관성을 주도하는 것인가요?
3. 이러한 연관성 유형들은 전학습 데이터의 빈도 불균형과 어떻게 연결되어 있나요?

2. 방법론 (Methodology)

이 논문은 MEMOED (MEMOrization from pretraining document) 라는 새로운 프레임워크를 제안하여 문화 조건부 생성물이 전학습 데이터의 기억에서 비롯되었는지 여부를 판단합니다.

2.1 분석 대상 및 데이터

• 모델: 오픈 소스 전학습 데이터가 검색 가능한 OLMo-7B 모델 사용.
• 데이터: 전학습 코퍼스인 Dolma (Elazar et al., 2024; Liu et al., 2024 에 의해 색인화됨).
• 범위: 110 개 문화에 대한 음식과 의류 주제에 대한 생성 데이터 수집 (각 문화당 300 개의 생성 샘플).

2.2 MEMOED 프레임워크 (기억 식별)

MEMOED 는 전학습 문서가 특정 문화 - 상징 연관성에 기여하는지 판단하는 두 단계 프로세스를 따릅니다.

1. 기여 문서 식별: 전학습 문서 $D$ 내에서 문화 $C$와 상징 $S$가 나타나는지 확인합니다.
   • 거리 메트릭: 토큰 간 최소 거리 ($d_{TOK}$) 와 문장 간 최소 거리 ($d_{SENT}$) 를 계산하여 문맥적 근접성을 측정합니다.
   • 신호 - 대 - 잡음비 (dSNR): 문서 내에서 목표 문화의 빈도가 다른 문화들에 비해 얼마나 높은지 로그 비율로 계산합니다.
   • 판단 기준: 전역적 관련성 (dSNR > 0, $d_{TOK}$ 제한) 또는 국소적 관련성 (dSNR ∈ [-1, 0), $d_{SENT} \le 2$) 을 만족하는 문서를 '기여 문서'로 분류합니다.
2. 기억 분류: 생성된 상징이 특정 문화에 대해 '기억된' 것인지 판단합니다.
   • 기여 점수 (Contribution Score, CS): 상징이 등장하는 모든 문서 중 기여 문서의 비율을 계산합니다.
   • Z-score 임계값: 각 문화별 기여 점수의 분포에서 Z-score 가 2.6 이상인 경우 (상위 99.5%), 해당 상징을 그 문화에 대해 '기억된 (memorized)' 것으로 분류합니다.

2.3 비기억 연관성 유형 분류

기억되지 않은 생성물은 세 가지 유형으로 분류됩니다:

1. 확산 연관성 (Diffuse Association): 특정 문화와 강하게 연결되지 않았으나 50% 이상의 문화에서 생성되는 상징 (예: "치킨", "청바지").
2. 문화 간 일반화 (Cross-culture Generalization): 한 문화 (A) 에 대해 기억된 상징이 다른 문화 (B) 를 위해 생성되는 경우 (예: 일본의 '기모노'가 한국을 위해 생성됨).
3. 약한 연관성 일반화 (Weak Association Generalization): 기억되거나 확산된 상징으로부터 추론되거나 재해석된 더 넓은 개념의 상징 (예: '기모노'에서 일반화된 '로브').

3. 주요 결과 (Key Results)

3.1 소수 문화에 대한 기억의 한계

• 빈도 상관관계: 문화별 전학습 문서 수와 해당 문화에 대한 기억된 상징의 수 사이에 강한 양의 상관관계가 존재합니다 (음식: 스피어만 $\rho=0.670$, 의류: $\rho=0.540$).
• 불균형: 110 개 문화 중 음식 주제에서는 97 개 문화가 최소 하나의 기억된 상징을 가지지만, 의류 주제에서는 110 개 중 45 개만 기억된 상징을 가집니다. 즉, 약 60% 의 문화는 의류에 대해 전혀 기억된 상징이 없습니다. 이는 '롱테일' 문화가 전학습 데이터에서 불충분하게 표현되어 기억이 불가능했음을 시사합니다.

3.2 확산 연관성의 빈도 주도성

• 확산 연관성 상징 (예: "쌀", "셔츠") 은 기억된 상징보다 전학습 데이터에서 훨씬 더 높은 빈도로 등장합니다.
• 이러한 높은 빈도는 모델이 샘플링 과정에서 문화 특유의 기억된 상징보다 확산된 상징을 우선시하게 만듭니다. 의류 주제에서 확산 상징은 기억된 상징보다 1,000 배 이상 더 자주 등장했습니다.

3.3 문화 간 일반화 메커니즘

• 고빈도에서 저빈도로: 전학습 데이터에서 빈번하게 등장하는 문화의 기억된 상징이, 덜 등장하는 다른 문화의 생성물에서 더 자주 발견됩니다.
• 공통 주제: LDA(잠재 디리클레 할당) 분석 결과, 문화 간 일반화는 두 문화가 전학습 문서에서 공통 주제 (예: '이슬람', '패션', '요리') 하에 함께 등장할 때 발생합니다.

3.4 일반화 및 기억의 분포

• 약한 연관성 일반화: 기억된 상징이 많다고 해서 이를 기반으로 한 일반화 생성이 늘어나는 것은 아닙니다. 오히려 기억된 상징이 전혀 없는 문화 (예: 예멘, 트리니가니안) 가 일반화된 상징을 더 많이 생성하는 경향이 있습니다.
• 확산 상징의 우세: 전체 생성 응답 중 확산 연관성 상징이 차지하는 비중이 매우 높습니다 (음식 79.2%, 의류 91.12%). 반면, 실제 기억된 상징의 비중은 매우 낮습니다 (음식 4.12%, 의류 0.76%).

4. 주요 기여 (Key Contributions)

1. MEMOED 프레임워크 제안: 생성물이 전학습 데이터의 어떤 패턴 (기억) 에서 비롯되었는지 정량적으로 추적하고 귀속 (attribution) 하는 최초의 체계적인 방법론을 제시했습니다.
2. 문화 - 상징 연관성의 4 가지 유형 정립: 기억, 확산, 문화 간 일반화, 약한 연관성 일반화라는 네 가지 범주를 정의하고, 각 유형이 전학습 데이터 빈도와 어떻게 상호작용하는지 분석했습니다.
3. 편향의 근본 원인 규명: 문화적 편향이 단순히 모델의 결함이 아니라, 전학습 데이터의 빈도 불균형 (고빈도 문화의 과대표, 저빈도 문화의 부재) 에 기인하여 모델이 기억을 하지 못하거나, 빈도가 높은 일반적 상징으로 대체하는 현상임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 전학습 데이터의 불균형으로 인해 전 세계 다양한 문화에 대한 지식을 고르게 회상하지 못하고, 소수의 고빈도 상징을 반복하거나 문화적 맥락과 무관한 일반적 상징을 생성한다는 사실을 명확히 보여줍니다.

• 편향 완화: 이 연구의 귀속 (attribution) 분석은 문화적 편향을 완화하기 위한 '언러닝 (unlearning)'이나 '데이터 증강 (data augmentation)' 전략을 수립하는 데 필수적인 통찰을 제공합니다.
• 미래 연구 방향: 모델의 성능을 전학습 데이터의 구체적인 패턴과 연결하여 해석하는 연구의 중요성을 강조하며, 더 공정하고 포용적인 LLM 개발을 위한 데이터 중심 접근법의 필요성을 제기합니다.

요약하자면, 이 논문은 LLM 의 문화적 편향이 모델의 내부적 결함이라기보다는 전학습 코퍼스의 빈도 불균형에 따른 '기억의 실패'와 '빈도 기반의 대체' 현상임을 체계적으로 증명했습니다.