기술적 요약: 허위 정보 취약성에 대한 인지 기반 베이지안 프레임워크

문제 제기

현재 허위 정보 탐지를 위한 자연어 처리 (NLP) 접근법은 주로 진위 분류 (veracity classification) 과제로 문제를 다룬다: 주어진 주장에 대해 그것이 참인지 거짓인지 예측하는 것이다. 허위 콘텐츠를 식별하는 데 효과적이기는 하나, 이 패러다임은 독자의 인지 과정을 무시하기 때문에 과도하게 단순화된다. 기존 모델들은 인간 행위자에 대한 표현이 부족하여, 누가 특정 유형의 정보 혼란에 취약한지, 왜 그것을 믿는지, 또는 서로 다른 인지 프로필이 동일한 주장에 대한 상이한 해석으로 어떻게 이어지는지 예측하지 못한다. 또한, 표준 관행은 종종 (다수결 투표를 통해) 주석자의 불일치를 폐기하여 주장의 본질적 모호성이나 인식론적 불확실성에 관한 귀중한 신호를 잃어버린다.

본 논문은 허위 정보에 대한 취약성이 단순한 사실 확인의 실패가 아니라, 제한된 합리성 (bounded rationality) 의 결과라고 주장한다. 인간은 이상적인 베이지안 추론자처럼 언어를 처리하지 않으며, 제한된 작업 기억, 정신적 단서 (휴리스틱) 에 대한 의존, 그리고 눈에 띄거나 자주 반복되는 정보의 영향과 같은 제약 조건 하에서 작동한다.

방법론: 제한된 실용적 청자 (Bounded Pragmatic Listener, BPL)

저자들은 합리적 담화 행위 (Rational Speech Acts, RSA) 이론을 확장한 **제한된 실용적 청자 (Bounded Pragmatic Listener, BPL)**라는 공식적인 베이지안 프레임워크를 소개한다. BPL 은 발화 $u$(뉴스 주장) 가 주어졌을 때 세계 상태 $w$(주장의 참/거짓) 에 대한 신념을 업데이트하는 행위자를 모델링하며, 세 가지 인지적으로 동기 부여된 자원 제약 조건을 따른다:

1. 재귀 깊이 한계 ($k$):

   • 개념: "마음 이론 (Theory of Mind, ToM)" 추론의 깊이를 제한한다. 행위자가 화자의 의도를 몇 단계까지 추적할 수 있는지를 모델링한다 (예: $k=0$: 문자적 내용 수용; $k=1$: 화자가 주장을 했음을 인식; $k=2$: 사회적 합의를 조작하려는 화자의 의도에 대한 추론).
   • 인지적 기반: 작업 기억 한계 (Cowan, 2001) 와 전략적 게임에서 행위자가 거의 2 단계 이상의 재귀를 수행하지 않는다는 실증적 발견 (Camerer et al., 2004) 에 근거한다.
   • 메커니즘: 유효 깊이는 $k^* = \min(k, d+1)$이며, 여기서 $d$는 주장의 인식론적 깊이 (신념 귀속 연산자의 중첩) 이다.

2. 사전 압축 매개변수 ($\beta$):

   • 개념: 인지적 부하 하에서 행위자가 미묘한 신뢰도 신념을 유지하는지, 아니면 "의심스러운 출처"와 같은 거친 휴리스틱으로 축소하는지를 모델링한다.
   • 인지적 기반: 정보 병목 이론 (Information Bottleneck theory, Tishby et al., 1999) 과 이중 처리 이론 (System 1 대 System 2) 에서 도출되었다.
   • 메커니즘: 행위자는 병목 변수 $Z$(신뢰도 스키마) 를 통해 압축된 표현 $\tilde{P}_\beta(w)$를 유지한다. $\beta \to 0$일 때 행위자는 사전 정보를 폐기 (휴리스틱 처리) 하고, $\beta \to \infty$일 때 행위자는 완전한 사전 정보를 유지 (체계적 처리) 한다. 출처 신뢰도 $\gamma$는 이 압축을 조절한다.

3. 가용성 샘플 크기 ($N$):

   • 개념: 행위자가 주장을 평가하기 위해 정신적으로 검색하는 유사한 예시의 수를 모델링하며, 가중치 중요도 샘플링 (importance sampling with saliency weights) 을 구현한다.
   • 인지적 기반: 가용성 휴리스틱 (Tversky and Kahneman, 1973) 과 "허위 진실 효과 (illusory truth effect)"(Hasher et al., 1977) 에 기반한다.
   • 메커니즘: 정확한 가능도 (likelihood) 를 계산하는 대신, 행위자는 심리적 가시성 요인 (정서적 양극성 $\nu$, 반복 횟수 $r$, 최근성 $\rho$) 로 가중치를 둔 제안 분포 $Q(u)$로부터 샘플링하여 가능도를 추정한다. 작은 $N$은 생생하거나 반복된 예시를 체계적으로 과대평가하게 만든다.

정보 혼란 매핑

이 프레임워크는 Wardle 과 Derakhshan(2017) 의 정보 혼란 분류를 BPL 매개변수에 명시적으로 매핑한다:

• 오정보 (Mis-information): 압축된 사전 정보 ($k=0$) 를 악용한다.
• 허위 정보 (Dis-information): 얕은 ToM 추론 ($k \ge 1$) 을 악용한다.
• 악성 정보 (Mal-information): 깊은 재귀와 메타 - 인식론적 프레이밍 ($k \ge 2$) 을 악용한다.

이 매핑은 **깊이 불일치 역설 (Depth-Mismatch Paradox)**로 이어진다: 부분적인 실용적 인식 ($k=1$) 을 가진 행위자는 인식을 전혀 하지 않는 ($k=0$) 행위자보다 허위 정보에 더 취약할 수 있다. 그들은 귀속을 인식하지만 그 뒤에 숨은 기만적 의도를 평가하지 못하기 때문이다.

구현 및 평가

저자들은 LIAR(PolitiFact 주장) 와 MultiFC(다중 도메인 사실 확인 주장) 두 데이터셋을 사용하여 BPL 을 구현했다.

• 행위자 집단: $(k, \beta, N)$ 매개변수 공간을 아우르는 9 가지 표준 행위자 유형 집단을 시뮬레이션했다.
• LLM 기반 (Grounding): 대규모 언어 모델 (LLM, 구체적으로 Gemini 2.5 Pro) 을 사용하여 주장에 대한 의미적으로 풍부한 특성을 도출하는 하이브리드 버전이 개발되었다. 여기에는 다음이 포함된다:
  • 수동으로 작성된 표를 대체하는 사전 압축을 위한 언어적 스키마.
  • 정서적 강도, 새로움, 기억 가능성, 공유 가능성에 기반한 가시성 가중치 ($\phi$).
  • 가용성 샘플을 위한 시뮬레이션된 기억 검색.
• 지표: 진위 분류 (AUC, F1), 예측 오차, 그리고 구성 요소 수준의 보정 (시뮬레이션된 회상과 실제 정답 간의 상관관계).

주요 결과

1. 진위 분류

• LIAR 데이터셋: "표면 기준 (Surface Baseline)"(화자 이력 메타데이터 사용) 은 완벽한 AUC(1.000) 를 달성했으나, 이는 화자 이력이 직접 라벨을 인코딩하는 데이터 누출로 인한 것으로 판단되었다. BPL Full모델(화자 이력을 직접 특징이 아닌 압축된 사전 정보로만 사용) 은 AUC 0.930과 F1 0.885를 달성하여 강력한 누출 없는 기준선을 확립했다. 단일 BPL 스칼라 (취약성 점수) 는 주장 텍스트와 화자 신원만 사용하여 AUC 0.811을 달성했다.
• MultiFC 데이터셋: BPL Full 은 표면 기준선 0.879 에 비해 AUC 0.840 을 달성했다. BPL 이 판별력 (AUC) 을 향상시키지는 않았지만, BPL 특징과 표면 특징을 결합하면 F1 점수가 0.439 에서 0.517로 향상되어 고회상 (high-recall) 사실 확인에 필수적인 정밀도 - 재현율 트레이드오프가 개선됨을 나타냈다.

2. 제거 실험 (Ablation Studies)

• 사전 압축의 중요성: 사전 압축 한계 ($\beta$) 를 제거하면 성능 저하가 가장 컸다 ($\Delta r = -0.064$). 이는 인간이 출처 신뢰도를 어떻게 단순화하는지 모델링하는 것이 프레임워크 성공의 가장 중요한 요소임을 시사한다.
• 깊이 한계 효과: 전체 LIAR 데이터셋 (92% 가 깊이 0 주장) 에서는 깊이 한계를 완화하는 것이 미미한 영향을 미쳤다. 그러나 깊이 1 주장에 조건부일 때, 깊이 한계가 성능의 주요 동인이 되었다.

3. 깊이 불일치 역설

• 실증적 검증: $k=1$(부분적 인식) 을 가진 행위자는 $k=0$행위자 (오류 0.450) 보다 깊이 1 주장에서 훨씬 더 나쁜 성능 (오류 0.510) 을 보였다.
• 해석: $k=1$행위자는 귀속을 인식하지만 화자의 기만적 의도를 평가할 수 없어 주장을 약한 긍정적 증거로 취급한다. $k=0$행위자는 귀속을 무시하고 문자적 내용 (종종 언어적으로 불합리한 내용) 을 평가하여 더 낮은 신념을 갖게 된다. $k=2$행위자는 기만을 올바르게 추론하여 가장 낮은 오류 (0.340) 를 달성한다.

4. LLM 기반 및 보정

• 성능 향상: 하이브리드 LLM-BPL 은 작은 샘플에서 0.868의 AUC 를 달성한 반면, 매칭된 특징 기반 기준선은 0.695였다.
• 인식론적 채널: LLM 과 특징 기반 모델은 거의 독립적 ($r=0.184$) 이었으며, 이는 LLM 이 어휘 메타데이터에 의존하기보다는 별도의 인식론적 채널 (의미론적 프레이밍 일관성) 에 접근함을 시사한다.
• 가용성 보정: LLM 시뮬레이션된 거짓 주장의 회상은 지도 학습 없이 실제 주장의 허위성과 강력하게 상관 ($r=0.562$) 하여 가용성 메커니즘을 검증했다. 모델은 거짓 주장에 대해 자연스럽게 더 많은 거짓 예시를 검색하여 해당 주장에 대한 신념을 효과적으로 억제했다.

중요성과 주장

본 논문은 BPL 을 표준 허위 정보 탐지에 대한 인지 기반 대안으로 제시하며, 이는 **진행 중인 작업 (work in progress)**으로 위치 짓는다. 주요 기여점은 다음과 같다:

1. 이론적: 정보 혼란 유형을 인지 제약 조건에 공식적으로 매핑하여 부분적 훈련이 취약성을 증가시킬 수 있는 "깊이 불일치 역설"을 예측한다.
2. 방법론적: 제약 조건이 완화될 때 표준 RSA 로 축소되는 확률적 프레임워크로, 이질적인 인지 프로필을 모델링하고 주석자 불일치를 사후 분산으로 예측할 수 있게 한다.
3. 실증적: 사전 압축(인간이 출처 신뢰도를 어떻게 단순화하는지 모델링) 이 진위 분류의 지배적 요소이며, LLM 기반이 인간과 유사한 기억 검색과 의미론적 프레이밍을 시뮬레이션함으로써 성능을 크게 향상시킨다는 증거를 제공한다.

저자들은 BPL 이 강력한 분류기이지만, 그 진정한 가치는 왜 특정 행위자가 취약한지 설명하는 능력에 있다고 결론 내린다. 그들은 현재 아키텍처가 이진 진리를 가정하고 깊이 추출을 위한 단순한 휴리스틱에 의존한다고 경고하며, 향후 연구는 단계적 진위성과 더 정교한 의존성 구문 분석을 다뤄야 한다고 지적한다. 이 프레임워크는 의도 평가 없이 귀속을 인식하도록 가르치는 것만 중점적으로 개입하는 것은 오히려 허위 정보에 대한 취약성을 증가시킬 수 있음을 시사한다.