기술 요약: 공적 담론의 스탠스 분석에서 LLM 기반 불안정성의 원인 정량화

문제 정의

계산 사회과학(CSS)은 원시 미디어를 분석 가능한 텍_스트로 변환하기 위해—특히 화자 분리(speaker diarization), 자동 음성 인식(ASR), 텍스트 정제, 문장 분절과 같은—자동화된 전처리 파이프라인에 점점 더 의존하고 있다. 주석 유효성(예: LLM 레이블이 인간의 판단과 일치하는지 여부)에 관한 상당한 문헌이 존재하지만, 상위 단계의 두 가지 불안정성 원인을 이해하는 데에는 중요한 공백이 존재한다:

1. 전처리 유효성(Preprocessing Validity): 전처리 파이프라인의 선택(예: 화자 분리 방식, 분절 규칙)이 하위 단계의 통계적 결론을 변화시키는가?
2. 측정 유효성(Measurement Validity): 동일하게 전처리된 텍스트에 적용하더라도, 주석 도구(LLM vs. 키워드 사전)의 선택이 서로 다른 결론을 도출하는가?

이 두 가지 원인은 종종 혼재되어 나타나며, 이로 인해 관찰된 연구 결과의 불안정성이 데이터 처리 파이프라인에서 기인하는지, 아니면 측정 도구 자체에서 기인하는지 진단하기 어렵게 만든다.

방법론

저자들은 이러한 변동의 원인을 체계적으로 분리하기 위한 파이프라인 민감도 분석(pipeline sensitivity analysis) 프레임워크를 제안한다. 본 연구는 금융/투자, 학술/경제, 중앙은행/정책, 지정학/전략, 미디어/논평의 5개 영역에 걸친 41명의 공인이 등장하는 256개의 유튜브 인터뷰 코퍼스를 활용한다.

실험 설계

본 연구는 두 가지 구별되는 변수를 비교한다:

1. 두 가지 전처리 파이프라인:
   • VTT 기반: 유튜브 자막 파일을 파싱하고, 아티팩트를 제거하며, LLM(DeepSeek-V4-Flash)을 사용하여 이진 화자 분류("게스트" vs. "인터뷰어")를 수행한다.
   • 오디오 기반 (AssemblyAI): 상용 API를 사용하여 ASR 및 화자 분리를 수행하며, 단어 수에 따라 지배적인 화자를 게스트로 식별한다.
2. 두 가지 측정 방법:
   • LLM 주석: DeepSeek-V4-Flash를 사용하여 정서가(valence, 긍정/부정/중립) 및 인식 양상(epistemic modality, 강조/완곡/중립)에 대한 제로샷 주석을 수행한다.
   • 키워드-사전 점수화(Keyword-Lexicon Scoring): 부정/긍정 정서 및 양상을 나타내는 사전 정의된 패턴의 규칙 기반 접근법을 사용하며, 비디오 문자 길이에 따라 정규화한다.

진단 프레임키

저자들은 불안정성을 정량화하기 위해 두 가지 지표를 정의한다:

• 파이프라인 발산($\Delta_{pipeline}$): 동일한 측정 방법을 사용하면서 전처리 파이프라인을 전환할 때 발생하는 파생 지표(구체적으로 부정 정서와 강조 양상 사이의 피어슨 상관계수 $r$)의 변화.
• 방법 발산($\Delta_{method}$): 동일하게 전처리된 텍스트에 대해 LLM과 키워드-사전 방법 간을 전환할 때 발생하는 절대적 차이.

분석은 표본 크기가 작아 발생하는 허위 상관관계를 피하기 위해, 4개 미만의 비디오를 가진 화자를 제외하고 화자별 상관관계($r(neg, emph)$및$r(neg, hedged)$)에 집중한다.

주요 결과

1. 파이프라인 민감도는 경계가 있으며 표본 크기에 의존함

• 저-N 화자에 집중됨: 전처리 민감도는 제한된 영상 샘플($N \le 5$)을 가진 화자들에게 집중되어 나타난다. 이들 화자의 경우, 평균 절대 변화량($|\Delta r|$)이 높으며(0.44), 부호 역전이 흔하게 발생한다.
• 충분히 샘플링된 화자의 안정성: 가장 많이 샘플링된 4명의 화자($N \ge 16$)의 경우, LLM 주석 하에서의 파이프라인 선택에 의한 평균 $|\Delta r|$은 0.13에 불과했다. 개별적으로 충분히 샘플링된 화자 중 $\Delta r$이 0.19를 초과한 경우는 없었다.
• 도메인별 변동: 민감도는 도메인에 따라 다르다. 미디어 담론은 가장 높은 파이프라인 견고성($|\Delta r| = 0.32$ under LLM)을 보였으며, 금융과 학술 분야가 가장 민감했다($0.46$).

2. 교차 방법 간 불일치가 주요 위협임

• 불일치의 규모: 측정 방법의 발산은 파이프라인 발산보다 훨씬 크고 체계적이다. 41명 전체 화자를 대상으로 했을 때, 평균 $\Delta_{method}$ (0.76)는 평균 $\Delta_{pipeline}$ (0.41)보다 거의 두 배 높았다.
• 체계적인 부호 역전: LLM과 키워드-사전 방법은 **49%**의 사례에서 반대되는 결합 방향(부호 역전)을 할당한다. 이는 두 방법 모두 내부적으로 안정적인 잘 샘플링된 화자(예: 17개의 영상을 가진 Rogoff)에서도 발생한다. 예를 들어, Rogoff의 경우 파이프라인 발산은 0.19였으나, 동일한 VTT 파이프라인 상에서의 방법 발산은 0.90이었다.
• 집계된 마스킹(Aggregate Masking): 집계된 정서 비율은 파이프라인이나 방법에 관계없이 매우 안정적이다($|\Delta p(neg)| < 6$ 퍼센트 포인트). 이러한 안정성은 차원 간 상관관계에 존재하는 상당한 불안정성을 은폐한다.

3. 도메인이 민감도를 조절함

전문적인 커뮤니케이션 스타일은 전처리 선택이 측정치로 전파되는 방식을 조절한다. 예를 들어, 학술적 완곡 표현(hedging markers)과 미디어 강조 표현(intensifiers)은 지정학적 담론에 비해 문장 분절(VTT 분절의 부산물)에 대해 서로 다른 견고성을 보인다.

주요 기여

1. 진단 프레임워크: 본 논문은 전처리 파이프라인 효과와 측정 방법 효과를 분리하는 두 가지 원천 진단 프레임워크를 도입하여, 연구자들이 두 가지 불안정성 원인을 모두 보고하고 분석할 수 있는 실질적인 방법을 제공한다.
2. 파이프라인 민감도의 경험적 경계: 파이프라인 민감도는 예측 가능하다는 증거를 제시한다. 적절히 샘플링된 화자($N \ge 16$)의 경우, 전처리 선택이 상관관계 결론에 미치는 영향은 제한적이다($|\Delta r| \approx 0.13$).
3. 측정 유효성이 주요 위협임을 식별: 본 연구는 교차 방법 간의 불일치가 파이프라인 발산보다 더 심각한 유효성 위협임을 입증한다. 정서적 가치와 인식 양상의 결합에 관한 결론은 전처리 파이프라인을 고정하더라도 주석 도구의 선택에 의해 체계적으로 변경될 수 있다.

의의 및 주장

본 논문은 인터뷰 데이터를 연구하는 연구자들이 두 가지 변동 원인 모두에 대해 결과가 견고한지 검증해야 한다고 주장한다. 저자들의 주장은 다음과 같다:

• 전처리 선택은 중요하지만, 경계가 있다: 파이프라인 선택이 결과에 영향을 미치지만, 그 규모는 충분한 데이터를 가진 화자들에게는 예측 가능하고 관리 가능한 수준이다.
• 측정 방식의 선택이 결정적이다: LLM 주석과 키워드 사전 사이의 선택은 과학적 결론(예: 양의 상관관관계를 음의 상관관계로 변경)을 근본적으로 뒤바꿀 수 있다.
• 보고 표준: CSS 연구자들은 보고 시 이 두 가지 불안정성 원인을 명확히 구분해야 한다. 하나의 파이프라인-방법 조합 내에서 검증된 상관관계보다, 대안적인 전처리 파이프라인과 대안적인 측정 방법을 모두 통과한 상관관계가 더 신뢰할 수 있다고 간주된다.

저자들은 단일 LLM 제공자 사용, 영어 전용 코퍼스, 현재 설계에서 화자 분리 효과를 문장 분절 효과와 완전히 분리하지 못한 점 등을 인정하며 신중한 입장을 유지한다. 그들은 한 가지 방법이 보편적으로 "옳다"고 주장하는 것이 아니라, 그 차이 자체가 조사가 필요한 진단 신호라는 점을 강조한다.