기술 요약: 대규모 언어 모델의 비평적 찬사 지향성 (Critical Acclaim Orientation)

문제 정의

대규모 언어 모델(LLM)은 영화, 도서, 음악과 같은 문화적 대상에 대한 방대한 양의 인간적 판단이 포함된 코퍼스로 학습된다. 선행 연구들이 인구 통계, 국적, 정치와 관련된 사회적 편향을 광범위하게 문서화해 온 반면, 모델이 문화적 위계(특히 비평적 찬사와 상업적 성공 사이의 구분)를 체계적으로 재현하는지에 대해서는 여전히 불분명하다.

두 가지 경쟁적인 가설이 이 탐구를 프레임화한다:

1. 가시성 논리 (Visibility Logic): 모델은 온라인 담론의 양을 반영하여, 팬 커뮤니티와 뉴스 보도로 인해 인터넷 텍스트를 점유하고 있는 상업적으로 성공한 영화를 선호할 수 있다.
2. 위신 논리 (Prestige Logic): 모델은 비평적 담론에 내재된 위신의 형태를 재현하여, 대중적 가시성은 부족하더라도 문화적 엘리트들에 의해 추대된 작품을 선호할 수 있다.

본 연구는 LLM이 상업적으로 성공한 작품보다 비평적으로 찬사받는 작품에 대해 체계적인 평가적 지향성을 보이는지 확인하고, 이러한 선호가 담론의 양(가시성)에서 기인하는지 아니면 담론의 평가적 가치(위신)에서 기인하는지를 규명하고자 한다.

방법론

데이터셋 구축

저자들은 두 가지 코퍼스를 기준으로 상호 배타적인 세 그룹으로 층화된 200편의 영화 벤치마크를 구축하였다: 비평적 찬사를 위한 They Shoot Pictures, Don't They? (TSPDT)와 상업적 성공을 위한 Box Office Mojo (BOM).

• 그룹 A (이중 정당성, n=40): TSPDT와 BOM 모두에 등장하는 영화.
• 그룹 B (비평 전용, n=80): TSPDT에는 있으나 BOM에는 없는 영화 (비평적으로 찬사받으나 상업적으로는 무명인 경우).
• 그룹 C (상업 전용, n=80): BOM에는 있으나 TSPDT에는 없는 영화 (상업적으로는 성공했으나 비평적으로 인정받지 못한 경우).
  데이터셋은 언어와 시대별로 균형 잡힌 표현을 보장하기 위해 층화되었으나, 그룹 B는 1980년 이전의 역사적 영화 비중이 높았고, 그룹 C는 2000년 이후 출시작에 치우쳐 있었다.

평가 대상 모델

네 가지 제품군에서 규모와 능력 계층을 대표하는 8개의 모델을 테스트하였다:

• Anthropic: Claude Haiku 4.5, Claude Sonnet 4.6
• OpenAI: GPT-5.4 Nano, GPT-5.4
• Alibaba: Qwen2.5-Turbo, Qwen2.5-Plus
• Mistral: Mistral Small 3.2, Mistral Large 3

추출 절차

본 연구는 명시적인 가치 판단을 억제하는 정렬(alignment) 레이어를 우회하기 위해 설계된 쌍체 강제 선택 비교(pairwise forced-choice comparisons) 방식을 사용하였다.

• 프로토콜: 각 모델은 20,000회의 쌍체 비교를 수행하였다 (5회 반복 시 회당 4,000회).
• 프롬프트: "다음 두 영화 중 어느 것을 선호합니까? A: {item a}; B: {item b}. 'A' 또는 'B'로만 응답하십시오."
• 적응형 샘플링 (Adaptive Sampling): 효율적인 추정을 위해 3단계 샘플링 전략을 채택하였으며, 광범위한 커버리지, 유사한 강도를 가진 항목 간의 경쟁적 샘플링, 그리고 순위 경계에 대한 집중을 우선시하였다.
• 분석: 브래들리-테리(Bradley–Terry) 모델을 사용하여 각 영화의 잠재적 강도 파라미터($\pi_i$)를 추정함으로써, 이진 선택을 안정적인 선호 계층으로 변환하였다.

검증 및 분석

• 검증 (H1): 저자는 아이템 수준의 결정론(온도 0에서의 일관성), 반복 실행 간의 순위 안정성, 프롬프트 프레임 불변성을 검증하였다.
• 가설 검증 (H2–H4):
  • H2: 비평 전용 영화(그룹 B)는 상업 전용 영화(그룹 C)와의 대결에서 50% 이상의 승률을 기록할 것이다.
  • H3: 이중 정당성 영화(그룹 A)는 비평 전용 영화(그룹 B)를 이길 것이다.
  • H4: 비평적 찬사 지향성은 모델 규모에 따라 강화된다.
• 회귀 분석: 중첩 최소제곱법(Nested OLS) 모델을 사용하여 잠재적 강도($\lambda_z$)를 코퍼스 세트 멤버십, 시대, 공적 가시성(IMDb 투표 수 로그값), 대중적 수용(IMDb 사용자 평점)의 예측 변수로 분해하였다.

주요 결과

1. 추출된 선호도의 검증

추출된 선호도는 높은 신뢰도를 보였다. 모든 모델이 아이템 수준 결정론에 대해 0.95의 일관성 임계값을 초과하였고, 실행 간 Spearman 상관계수는 0.80을 상회하였다. 결정적으로, 평가적 프롬프트("선호하다", "좋아하다")는 안정적인 순위($\rho \approx 0.85$)를 생성한 반면, 추천 프레임("일반 관객에게 추천하다")으로 전환했을 때는 분산된 순위($\rho \approx 0.26–0.31$)를 보여, 서로 다른 응답 모드가 존재함을 나타냈다.

2. 비평적 찬사 지향성 (H2)

8개 모델 모두 일관된 비평적 찬사 지향성을 보였다. 그룹 B 영화(비평 전용)는 그룹 C 영화(상업 전용)와의 헤드 투 헤드 매치업에서 50%보다 유의미하게 높은 승률을 기록했다.

• 대규모 모델: 승률은 77.7%에서 87.8% 사이였다 (효과 크기 $d = 1.31–1.72$).
• 소규모 모델: 승률은 65.6%에서 77.1% 사이였다 (효과 크기 $d = 0.82–1.11$).
• 상위 순위 영화: 센과 치히로의 행방불명, 대부, 타오르는 여인의 초상(그룹 A/B) 등이 포함되었고, 하위 순위 영화로는 앵그리버드 더 무비, 카스 2(그룹 C) 등이 포함되었다.

3. 이중 정당성 (H3)

이중 정당성 영화(그룹 A)가 비평 전용 영화(그룹 B)를 일관되게 이길 것이라는 가설은 지지되지 않았다. 결과는 혼재되어 있었다: 일부 대규모 모델은 그룹 B가 승리하는 것을 보였고, 다른 모델들은 그룹 A가 승리하는 것을 보였다. 이는 공적 가시성을 통제했을 때, "비평 전용" 상태가 이중 정당성 영화에 비해 본질적인 불이익을 주지는 않음을 시사한다.

4. 규모 의존성 (H4)

비평적 찬사 지향성은 모든 제품군 내에서 모델 규모에 따라 강화된다. 대규모 모델은 소규모 모델에 비해 그룹 B 대 그룹 C의 승률이 더 높았다. 그러나 그 메커니즘은 제품군마다 달랐다: OpenAI와 Mistral의 경우, 이 증가는 희귀한 그룹 B 영화에 대한 성능 향상(심오한 콘텐츠에 대한 커버리지 개선 암시)에 의해 주도된 반면, Anthropic과 Alibaba의 경우 그룹 A와 B 모두의 성능이 향상되어 더 넓은 역량의 변화를 시사했다.

5. 회귀 분석: 가시성 vs 가치

중첩 OLS 회귀 분석 결과, 공적 가시성과 대중적 수용은 평가적 지향성과 구별된다:

• 그룹 B의 부호 반전: 미조정 모델에서 그룹 B 영화는 그룹 A보다 덜 선호되는 것으로 나타났다. 그러나 공적 가시성(IMDb 투표)과 대중적 수용(평점)을 통제한 후, 그룹 B의 계수는 부호가 반전되어 양수가 되었다. 이는 비평 전용 영화의 겉보기 불이익이 낮은 가시성과 커버리지 때문이지, 본질적인 비선호 때문이 아님을 나타낸다.
• 그룹 C의 감쇄: 상업 전용 영화(그룹 C)에 대한 초기 패널티는 시대, 가시성, 평점을 통제한 후 유의미하게 감소하였다. 이는 LLM이 상업적 영화를 범주적으로 싫어하는 것이 아니라, 낮은 비평 평점과 가시성이 패널티를 유발함을 시사한다.
• 예측력: 대중적 수용(IMDb 평점)이 선호 강도의 가장 강력한 단일 예측 변수였으며, 공적 가시성이 그 뒤를 이었다.

의의 및 주장

본 논문은 여러 모델, 제품군, 능력 계층에 걸친 LLM의 문화적 선호도를 최초로 체계적으로 측정했다고 주장한다. 주요 기여와 주장은 다음과 같다:

1. 비평적 찬사 지향성의 존재: LLM은 대중적 가시성이 훨씬 높음에도 불구하고, 비평적으로 추대된 작품을 상업적으로 성공한 작품보다 선호하는 위계를 일관되게 재현한다. 이러한 지향성은 서로 다른 제도적 기원과 모델 아키텍처 전반에서 견고하게 나타난다.
2. 가시성과 가치의 분리: 본 연구는 비평적 작품에 대한 선호가 단순히 훈련 데이터의 양(가시성)을 반영하는 것이 아님을 입증한다. 대신, 비평적 담론에 내재된 평가적 가치(판단의 질)가 모델 출력의 형태를 결정하는 별개의 요인임을 보여준다.
3. 규모 효과: 비평적 찬사를 선호하는 경향은 모델 규모에 따라 강화되지만, 그 기저 메커니즘(커버리지 vs 역량)은 모델 제품군에 따라 다양하다.
4. 맥락적 분리: 본 연구는 평가적 출력(비평적 위계를 반영함)과 추천 출력(일반 관객의 적합성에 더 부합할 수 있음) 사이의 기능적 분리를 강조한다. 이는 비평적 찬사 지향성이 실제 추천 시나리오에서는 항상 나타나지 않을 수 있지만, 모델의 평가 논리에 내재된 구조적 특징으로 남아 있음을 시사한다.
5. AI 감사에 대한 시사점: 이러한 결과는 문화적 선호가 인구 통계적 또는 정치적 편향과는 독립적으로 작동하는, 별도의 차원인 모델 편향임을 시사한다. 미학적 영역은 객관적 기준이 없기 때문에, 이 분야에서 모델을 정렬하는 것은 어떤 평가 표준(비평적 vs 대중적)을 우선시할지에 대한 규범적 선택을 수반한다.

저자들은 본 연구가 내부적 인지 상태나 "취향"을 증명하는 것이 아니라 행동적 규칙성을 식별한 것임을 밝히며 신중한 입장을 유지한다. 또한 단일 문화 영역(영화), 영어 프롬프트 사용, 훈련 데이터 커버리지 효과와 사후 학습 정렬 체제의 효과를 확정적으로 분리할 수 없다는 한계를 인정한다.