기술 요약: 확실성이 인공물(Artifact)일 때

문제 제기

계산 사회과학(CSS)은 수사적 태도, 구체적으로 정서적 가치(긍정/부정)와 수사적 양태(확실성/완곡어법) 사이의 관계를 측정하기 위해 키워드 사전(lexicon)에 자주 의존한다. 문헌에 퍼져 있는 지배적인 가정은 부정적 담론은 평판 리스크를 관리하기 위해 완곡하게 표현되는 반면, 긍정적 담론은 확신을 가지고 전달된다는 것이다. 그러나 본 논문은 이 영역에서 나타나는 통계적으로 유의미한 결과들이 실제 수사적 패턴인지, 아니면 측정 도구 자체에서 비롯된 인공물(artifact)인지를 조사한다.

저자들은 결정적인 방법론적 간극을 식별한다. 즉, 표준 키워드 기반 도구(bag-of-words)는 통사적 부정, 다의성, 그리고 수식어의 범위를 해결하지 못한다. 결과적으로, 이러한 도구들은 표면적인 어휘 공생(co-occurrence)을 심층적인 의미론적 의미와 혼동할 수 있다. 핵심 연구 질문은 관찰된 '부정적 내용과 강조된 확실성 사이의 결합'이 화자 특유의 수사 전략인지, 아니면 키워드 계산의 한계로 인한 보편적인 측정 인공물인지 여부이다.

방법론

본 연구는 대규모 언어 모델(LLM)로부터 도출된 "지면 진실(ground truth)"을 통해 측정을 검증하기 위해 이중 도구 설계를 채택하였다.

1. 코퍼스 구축

저자들은 서로 다른 담론 프로필을 가진 4명의 공적 지식인을 대상으로 85개의 YouTube 인터뷰를 포함하는 종단적 코퍼스를 큐레이션하였다:

• 레이 달리오 (Ray Dalio) (매크로 투자자): 35개 영상 (2016–2026), 2025년 이후 빈도의 구조적 변화를 보임.
• 캐시 우드 (Cathie Wood) (테크노 낙관주의자): 17개 영상.
• 케네스 로고프 (Kenneth Rogoff) (학술 경제학자): 17개 영상.
• 피터 제이한 (Peter Zeihan) (지정학 전략가): 16개 영상.

총 코퍼스 규모: 498,200 단어 및 32,625 문장.

• 전처리: 원시 자동 생성 자막은 화자별 패턴을 가리는 노이즈를 제거하기 위해 필수적인 단계인 LLM 지원 화자 분리(DeepSeek-V4-Flash)를 거쳐, 게스트의 발화와 인터뷰어의 개입을 구분하였다.

2. 도구 A: 키워드 사전 점수 산출

정서적 가치(Valence, 긍정/부정)와 수사적 양태(Modality, 강조/확신 또는 완곡/의구심)를 분리하기 위해 맞춤형 다차원 감성 사전을 구축하였다.

• 메커니즘: 사전은 표면 토큰(예: "always", "never", "crisis")을 카운트하고 기본적인 부정 반전 규칙을 적용한다.
• 지표: 월별 정규화된 빈도를 계산하였으며, 부정적 가치 빈도와 강조/확신 양태 빈도 사이의 피어슨 상관계수($r$)를 산출하였다.
• 강건성 검사: 결과가 저자들의 큐레이션된 단어 목록에만 국한되지 않도록, 두 개의 독립적이고 널리 인용되는 참조 사전(LIWC-22 및 Hyland의 2005 리스트)을 사용하여 분석을 재현하였다.

3. 도구 B: LLM 기반 의미론적 분류

문맥을 고려한 검증을 제공하기 위해, 전체 코퍼스(32,625 문장)를 Doubao-Seed-2.0-Lite를 통한 제로샷 의미론적 분류로 처리하였다.

• 과업: 각 문장은 두 가지 축(가치: 긍정/부정/중립 및 양태: 강조/완곡/중립)에 대해 동시에 분류되었다.
• 검증: 특정 모델의 학습 데이터에 의한 결과가 아님을 확인하기 위해, 10개의 독립적인 무작위 샘플(각 100문장)에 대해 GPT-5.4를 사용한 교차 모델 강건성 검사를 수행하였다.

4. 오류 분석

키워드 사전에서는 "높은 확신"으로 표시되었으나 LLM에서는 다르게 분류된 547개 문장에 대해 문장 단위 감사를 실시하여, 이를 특정 언어적 사각지대로 분류하였다.

주요 결과

1. 키워드 인공물

키워드 기반 점수 산출 하에서, 네 명의 화자 모두 부정적 정서와 강조된 확신 사이의 강력하고 통계적으로 유의미한 양의 상관관계를 보였다:

• 달리오: $r = 0.851$ ($p < 0.001$)
• 로고프: $r = 0.917$ ($p < 0.001$)
• 제이한: $r = 0.932$ ($p < 0.001$)
• 우드: $r = 0.725$ ($p = 0.003$)

이 패턴은 극단적으로 다른 페르소나(낙관주의자 vs 비관주의자, 학자 vs 투자자)를 가진 화자들 사이에서 보편적이었으며, 세 가지 서로 다른 키워드 사전(Custom, LIWC-22, Hyland)에서도 지속되었다. 이는 이 상관관계가 화자의 수사적 전략이 아니라 키워드 카운팅의 구조적 특성임을 시사한다.

2. LLM에 의한 역전

동일한 코퍼스를 LLM 기반 의미론적 분류로 분석했을 때, 강력했던 양의 상관관계는 사라지거나 역전되었다:

• 달리오: $r(neg, emph) = 0.206$($p = 0.371$, 유의하지 않음).
• 우드: $r(neg, emph) = -0.514$($p = 0.060$).
• 제이한: $r(neg, emph) = -0.223$($p = 0.487$).
• 로고프: $r(neg, emph) = 0.063$($p = 0.864$).

대신, LLM은 전통적인 언어 이론과 일치하는 **부정-완곡 결합(negative-hedging coupling)**을 드러냈다(비관론자는 완곡하게 표현함):

• 로고프: $r(neg, hedged) = 0.875$($p = 0.001$).
• 제이한: $r(neg, hedged) = 0.722$($p = 0.008$).

3. 교차 모델 강건성

LLM의 결과는 특정 모델 제공자와 무관함이 확인되었다. Doubao-Seed-2.0-Lite와 GPT-5.4는 완곡 및 강조 지표 모두에 대해 통계적으로 구별 불가능한 상관계수 추정치를 생성하였으며($모든 비교에서$p > 0.24$), 이를 통해 모델 편향을 배제하고 실질적인 패턴을 검증하였다.

4. 구조적 실패 모드

키워드 사전이 의미를 역전시키는 구체적인 메커니즘을 파악하기 위해 문장 단위 오류 분석을 수행한 결과, 세 가지 유형의 언어적 사각지대를 식별하였다:

1. 통사적 맹목성(Syntactic Blindness): 부정 구조를 파싱하는 데 실패함 (예: "never absolutely confident"는 낮은 확신이 아니라 높은 확신으로 점수화됨).
2. 다의성 맹목성(Polysemy Blindness): 문맥 의존적 의미를 구분하지 못함 (예: "a certain body"와 "certainly"의 구분 실패).
3. 범주적 부재(Categorical Absence): 완화 수식어(예: "sort of", "almost", "I think")가 전용 범주를 갖지 못해 인접한 확신 표지의 점수를 약화시키지 못함.

주요 기여

1. 측정 인공물의 입증: 본 논문은 키워드 기반의 상관관계(특히 부정-확신 결합)가 완전히 측정 도구의 인공물일 수 있다는 경험적 증거를 제공한다. 이는 키워드 카운팅이 화자의 심리(예: "달리오는 종말에 대해 점점 더 확신하고 있다")가 아니라, 실제 수사적 태도를 체계적으로 왜곡할 수 있는 보편적인 어휘 공생 경향을 측정하고 있음을 보여준다.
2. 사전 감사(Auditing)를 위한 오류 유형론: 저자들은 키워드 기반 도구를 감사하기 위한 재사용 가능한 프레임서로, 키워드 방식이 왜 양태를 포착하지 못하는지를 설명하는 세 가지 구조적 실패 모드(통사적 맹목성, 다의성 맹목성, 범주적 부재)를 제안한다.
3. CSS를 위한 검증 프레임워크: 본 연구는 향-후 연구를 위한 4단계 검증 템플릿을 설정한다:
   • 화자/도메인 간 일반화 가능성 테스트.
   • 문맥을 고려하는 전체 인구 대상 의미론적 분류기(LLM)를 통한 검증.
   • 제공자 편향을 배제하기 위해 독립적으로 훈련된 모델을 사용한 검증 재현.
   • 구체적인 언어적 실패를 진단하기 위한 문장 단위 오류 분석 수행.

의의 및 주장

본 논문은 키워드 카운트를 직접적인 측정값으로 취급하는 것이 **범주 오류(category error)**라고 주장한다. 키워드 기반의 결과(예: "달리오는 종말에 대해 점점 더 확신하고 있다")는 화자의 심리에 관한 발견처럼 보일 수 있지만, 실제로는 단어의 계산에 관한 것일 수 있다.

저자들은 키워드 방식이 해석력과 효율성을 갖추고 있음을 인정하며 이를 완전히 폐기해야 한다고 주장하는 것은 아니다. 다만, 강력한 키워드 기반 상관관계는 문맥을 고려하는 방법론에 의해 검증되지 않는 한, 수사적 태도가 아닌 어휘적 공생의 신호로 해석되어야 한다고 단언한다. 연구는 계산적 도구가 놀라운 발견을 내놓을 때, 그 도구 자체가 그것이 측정하려는 화자만큼이나 엄격한 조사의 대상이 되어야 함을 결론짓는다. 데이터에서 관찰된 "달리오 효과"는 달리오에 관한 것이 아니라, 계산 메커니즘의 한계에 관한 것이었다.