The Subjectivity of Monoculture

이 논문은 대규모 언어 모델의 '단일문화 (monoculture)' 현상이 절대적인 속성이 아니라, 기준이 되는 null 모델과 평가 대상의 맥락에 따라 주관적으로 해석되는 문제임을 이론적 분석과 실험을 통해 입증하고 재정의합니다.

핵심

이 논문은 **"인공지능 (AI) 모델들이 서로 너무 똑같은 말을 해서 '단일 문화 (Monoculture)'가 되었다"**는 주장을 재검토하는 흥미로운 연구입니다.

저자는 "AI 들이 정말로 서로 너무 비슷하게 행동하는 걸까?"라는 질문에 대해, **"그것은 우리가 '비교 기준'을 어떻게 잡느냐에 따라 완전히 달라지는 주관적인 문제"**라고 말합니다.

이 복잡한 개념을 이해하기 쉽게 세 가지 비유로 설명해 드리겠습니다.

---

1. 비유: "시험 점수와 '어려운 문제'의 함정"

가장 먼저, 우리가 AI 들의 '비슷함'을 어떻게 측정하는지 생각해 봅시다.

• 상황: 100 명의 학생 (AI 모델) 이 100 개의 시험 문제 (질문) 를 풀었습니다.
• 기존의 생각: "아, 100 명 중 90 명이 A 문제를 맞혔네? 그리고 B 문제도 90 명이 맞혔네? 그럼 이 학생들은 서로 너무 비슷하게 생각하고 있구나 (단일 문화)!"라고 결론 내립니다.
• 이 논문의 반박: "잠깐만요! 그 90 명이 맞힌 문제들이 사실은 너무 쉬운 문제였을 수도 있잖아요? 혹은 10 명이 틀린 문제들이 너무 어려운 문제였을 수도 있고요."

핵심 메시지:
AI 들이 서로 같은 답을 낸 것이, 그들이 '서로 모방해서' 그런 것인지, 아니면 단순히 문제가 너무 쉬워서 (또는 너무 어려워서) 누구나 그렇게 답할 수밖에 없어서 그런 것인지 구분하기 어렵다는 것입니다.

• 비유: 만약 시험이 "1+1 은?" 같은 문제만 있다면, 모든 학생이 같은 답을 낼 것입니다. 이때 "학생들이 서로 모방해서 답을 맞췄다"고 비난하는 것은 부당하죠.
• 논문이 말하는 것: 우리는 AI 들의 '비슷함'을 측정할 때, 문제의 난이도를 고려한 공정한 기준 (Null Model) 을 세워야 합니다. 난이도를 고려하지 않으면, AI 들이 실제로는 다양하게 생각하더라도 '너무 비슷하다'고 오해할 수 있습니다.

2. 비유: "다양한 도구상자 vs. 똑같은 망치"

두 번째로, 어떤 AI 모델들을 비교하느냐가 중요합니다.

• 상황: 우리는 '다양한 도구'를 비교하고 싶다고 칩시다.
• 잘못된 비교: 만약 우리가 비교 대상에 망치 100 개만 넣고 "이 도구들은 모두 똑같네!"라고 말한다면, 이는 사실이지만 의미 없는 결론입니다. 망치는 원래 다 비슷하니까요.
• 올바른 비교: 망치, 망치, 드릴, 톱, 망치, 망치... 이렇게 섞어서 비교해야 "아, 드릴과 톱은 망치랑 다르구나. 하지만 망치들끼리는 비슷하구나"라고 알 수 있습니다.

핵심 메시지:
논문은 우리가 평가하는 **모델들의 집단 (Population)**이 얼마나 다양한지에 따라 결과가 달라진다고 말합니다.

• 만약 우리가 비슷한 훈련을 받은 AI 들만 모아놓고 비교하면, 그들은 무조건 비슷해 보입니다.
• 하지만 다양한 배경을 가진 AI 들을 섞어서 비교하면, 오히려 그들이 얼마나 독특한 사고를 하는지 (혹은 여전히 비슷하게 행동하는지) 를 더 정확하게 볼 수 있습니다.

3. 비유: "주관적인 '정상'의 기준선"

마지막으로, 이 연구의 가장 중요한 결론은 **"정답은 없다"**는 것입니다.

• 상황: 어떤 그림을 보고 "이 그림은 너무 평범해 (단일 문화야)"라고 말합니다.
• 질문: "어떤 기준에서 평범한 거죠? 다른 그림들과 비교해서? 아니면 인간이 그린 그림과 비교해서?"
• 대답: 기준을 어떻게 정하느냐에 따라 '평범함'의 정의가 바뀝니다.

핵심 메시지:
AI 가 '단일 문화'인지 아닌지는 절대적인 진리가 아니라, 연구자가 설정한 '기준선 (Null Model)'에 따른 상대적인 결론입니다.

• 우리가 "문제의 난이도를 고려하자"고 기준을 정하면, AI 들은 덜 비슷해 보입니다.
• 우리가 "문제의 난이도를 무시하고 능력만 보자"고 정하면, AI 들은 훨씬 더 비슷해 보입니다.

---

📝 요약: 이 논문이 우리에게 주는 교훈

1. 절대적인 '비슷함'은 없다: AI 들이 서로 너무 비슷하게 행동한다는 주장은, 우리가 어떤 기준 (난이도, 비교 대상 등) 을 세웠는지에 따라 달라집니다.
2. 기준을 명확히 해야 한다: "AI 들이 너무 비슷하다"고 비판하기 전에, **"어떤 기준에서 비슷하다고 말하는가?"**를 먼저 정의해야 합니다. (예: "문제가 쉬워서 그런 건가, 아니면 AI 가 모방해서 그런 건가?")
3. 다양한 비교가 필요하다: 비슷한 AI 들끼리만 비교하지 말고, 다양한 배경을 가진 AI 들과 다양한 종류의 질문을 섞어서 평가해야 진짜 '다양성'이나 '위험'을 발견할 수 있습니다.

결론적으로, 이 논문은 AI 의 '단일 문화' 문제를 단순히 "AI 가 나쁘다"고 비난하는 것이 아니라, "우리가 어떻게 측정하고 해석하느냐"에 따라 그 결과가 어떻게 달라지는지를 과학적으로 설명하며, 더 정교하고 공정한 평가 방식을 제안합니다.

기술 요약

1. 문제 제기 (Problem)

최근 대규모 언어 모델 (LLM) 을 포함한 AI 모델들이 서로 매우 유사한 출력을 생성하는 현상, 즉 **'알고리즘적 단일 문화 (Algorithmic Monoculture)'**가 주목받고 있습니다. 기존 연구들은 모델들이 기대치보다 과도하게 일치한다고 주장하며 이를 위험 요소로 간주합니다.

그러나 저자들은 "모델이 너무 많이 동의한다는 것"의 정의 자체가 객관적이지 않으며, 분석가에 의해 선택된 두 가지 주관적 결정에 크게 의존한다고 주장합니다.

1. 기준선 (Null Model) 의 선택: "독립성 (Independence)"이 무엇으로 정의되는가? (예: 단순 정확도 기반 vs. 문제 난이도 고려)
2. 평가 대상 (Population) 의 선택: 어떤 모델 집합과 어떤 질문 (아이템) 집합을 평가에 포함시키는가?

이러한 선택에 따라 '과도한 동의 (Excess Agreement)'에 대한 결론이 극적으로 달라질 수 있음을 논증합니다.

2. 방법론 (Methodology)

저자들은 단일 문화의 주장을 절대적인 속성이 아닌, 선택된 기준선 (Null Model) 에 대한 비교 분석으로 재정의합니다.

가. 독립성의 Null Model (Null Model of Independence)

• 정의: 모델 간 모든 동의가 잠재적 변수 (Latent Parameters, 예: 문제 난이도, 모델 능력) 를 통해 설명될 수 있는 확률 분포의 집합을 Null Model 로 정의합니다.
• 수식적 접근: 이진 분류 ($Y \in \{0, 1\}$) 환경에서, 모델 $j$가 아이템 $i$에 대해 정답을 낼 확률 $p_{ij}$는 잠재 변수 $\theta$ (모델 능력) 와 $\phi$ (문제 난이도) 에 의해 결정되며, 조건부 독립을 가정합니다.
  $$P(Y_{ij}=1 | \theta_j, \phi_i) = \sigma(\theta_j, \phi_i)$$
• Null Ladder (Null 사다리): Null Model 의 복잡도 (차원 $K$) 를 점진적으로 높여가는 계층 구조를 정의합니다.
  • $N_K$: $K$차원 잠재 변수를 가진 Null Model 집합.
  • $N_1 \subset N_2 \subset \dots \subset N_K \dots$
  • 핵심 아이디어: Null Model 이 더 풍부해질수록 (더 많은 구조를 설명할수록) 설명되지 않는 잔여 상관관계 (Residual Correlation) 는 감소합니다.

나. 실험 설계

• 데이터셋: HELM (72 개 모델, 14,042 질문) 과 Open LLM Leaderboard (HF, 451 개 모델, 11,994 질문) 사용.
• 실험 1 (차원 증가): 다차원 IRT (Item Response Theory) 모델을 사용하여 $K$ (차원) 를 1 에서 64 까지 증가시키며 잔여 상관관계를 측정.
• 실험 2 (문제 난이도 고려):
  • Baseline: 기존 연구 (Kim et al., 2025; Goel et al., 2025) 와 유사하게 모델 능력만 고려하고 문제 간 이질성을 무시하는 1 차원 IRT (IRT-0.5).
  • Proposed: 문제 난이도 파라미터를 포함한 1 차원 IRT (IRT-1).
• 실험 3 (인구 집단의 상대성): 모델 집단의 다양성 (Homogeneous vs. Heterogeneous) 이 상관관계 추정에 미치는 영향 분석 (HELM 과 ACSIncome 데이터셋 활용).

3. 주요 기여 (Key Contributions)

1. 단일 문화의 상대성 규명: 단일 문화는 데이터셋의 절대적 속성이 아니라, 연구자가 선택한 Null Model 과 평가 맥락에 따라 결정되는 상대적 추론 문제임을 이론적으로 증명했습니다.
2. Null Model 선택의 주관성:
   • Theorem 1 & 3: 충분히 표현력이 풍부한 (Rich) Null Model 은 관찰된 모든 상관관계를 잠재적 구조 (예: 문제 난이도) 로 설명해버릴 수 있어, 단일 문화를 탐지하는 것을 불가능하게 만들 수 있음을 보였습니다.
   • Proposition 2: Null Model 의 복잡도가 증가할수록 설명되지 않는 잔여 오차 (Excess) 는 단조 감소합니다.
3. 평가 대상 집단의 중요성:
   • Proposition 4: Null Model 의 적합도 (Fit) 와 잔여 상관관계는 평가에 포함된 모델과 질문의 집합 (Population) 에 따라 달라집니다.
   • Theorem 5: 모델과 질문의 이질성 (Heterogeneity) 이 낮을수록 (동질적일수록) Null Model 파라미터 추정이 불안정해지며, 이는 과도한 상관관계 추정으로 이어질 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 차원 증가 효과 (Exp 1): IRT 모델의 차원 $K$가 증가함에 따라 모델 간 잔여 상관관계 (Residual Correlation) 가 지수적으로 감소하여 0 에 수렴했습니다. 이는 복잡한 Null Model 은 단순한 상관관계를 '문제 난이도'나 '모델 능력'의 차이로 설명해버린다는 것을 의미합니다.
• 문제 난이도 고려의 효과 (Exp 2):
  • 기존 연구 (Kim et al., Goel et al.) 와 유사한 단순 Baseline 을 사용할 때는 모델 간 강한 양의 상관관계가 관찰되었습니다.
  • 그러나 **문제 난이도 (Item Difficulty)**를 명시적으로 모델링한 IRT-1 을 사용하면, 관찰된 상관관계가 크게 감소하거나 심지어 음 (-) 으로 반전되기도 했습니다. 이는 모델들이 어려운 문제와 쉬운 문제에서 유사하게 행동하기 때문에 발생한 '겉보기 동의'가 난이도 변수로 흡수되었기 때문입니다.
• 집단 다양성의 영향 (Exp 3):
  • 유사한 아키텍처를 가진 모델들 (예: OpenAI 모델만, Random Forest만) 로만 구성된 동질적 집단에서는 잔여 상관관계 추정이 노이즈 수준이 되거나 불안정했습니다.
  • 다양한 모델 (LR, MLP 등) 을 추가하여 집단을 이질화하면, Null Model 이 더 잘 식별되어 (Identified) 보다 신뢰할 수 있는 상관관계 추정이 가능해졌습니다.

5. 의의 및 결론 (Significance)

• 평가 프레임워크의 재정의: 단일 문화 평가는 "모델이 얼마나 비슷하게 행동하는가"에 대한 절대적 측정이 아니라, **"어떤 기준선 (Null Model) 과 어떤 맥락 (Population) 에서 비교하는가"**에 대한 명시적 선택이 필요한 과정임을 강조합니다.
• 실무적 함의:
  • AI 거버넌스 및 감사 (Auditing) 시, 단순히 "높은 상관관계"를 보고 위험을 과장하기보다, 사용된 기준선과 평가 집단의 적절성을 검증해야 합니다.
  • 문제 난이도나 모델의 전문 분야 (Topic Specialization) 와 같은 잠재적 구조를 고려하지 않은 단순한 기준선은 허위 양성 (False Positive) 을 유발할 수 있습니다.
• 미래 연구 방향: 적절한 Null Model 선택과 평가 집단의 다양성 확보가 단일 문화 분석의 핵심 과제로 제시되었습니다.

요약하자면, 이 논문은 "모델들이 너무 비슷하게 행동한다"는 주장은 분석가가 설정한 기준 (Null Model) 과 평가 대상 (Population) 에 따라 완전히 다른 결론을 낳을 수 있음을 수학적으로 증명하고, 이를 통해 AI 평가의 투명성과 책임성을 높일 것을 제안합니다.