기술 요약: 비지도 학습 기반의 IO 사용자 탐지를 위한 TENSOR

문제 정의

본 논문은 소셜 네트워크(SN)에서 정보 작전(Information Operation, IO) 사용자를 탐지하는 과제를 다룹다. IO는 소수의 조직적인 사용자 그룹에 의해 시작되는, 허위 정보와 혐오 표현을 통해 여론을 조작하려는 조직적인 시도이다. 주요 어려움은 기존 탐지 방법론의 일반화 능력에 있다:

• 지도 및 준지도 학습 방식은 빠르게 진화하는 IO 캠페인의 특성을 따라가지 못하는 레이블링된 데이터셋에 의존하므로, 미지의 IO에 대해 효과적이지 못하다.
• 기존 비지도 학습 방식은 종종 단순화된 협동성 가정(예: 유사성에 기반한 클러스터링)에 의존하며, 이는 실제 상황에서 성립하지 않거나 복잡한 시간적 역학을 포착하지 못할 수 있다.
• 데이터 오염(Data Contamination): 이상 탐지를 위한 훈련 데이터가 "오염"되어 있다는 점이 중요한 문제이다. 즉, "정상"(대조군) 사용자를 나타내도록 의도된 데이터셋 내에 필연적으로 소수의 IO 사용자가 포함되어 있다. 이러한 데이터로 모델을 훈련하면 모델이 이상치를 정상으로 학습하게 되어 성능이 저하될 수 있다.

저자들은 IO 사용자 탐지를 비지도 이상 탐지 문제로 정의하며, 타임스탬프($t$)와 콘텐츠($c$)로 구성된 포스팅 타임라인만을 사용하여 IO 사용자(레이블 0)를 대조군 사용자(레이블 1)로부터 식별하는 것을 목표로 한다.

방법론: TENSOR

제안된 솔루션은 **TENSOR(Temporal-bEhavior-laNguage Signals for information Operation Recognition)**이다. 이는 행동 패턴(시간적)과 언어 패턴(텍ual)을 결합하여 이상치를 탐지하는 멀티모달 비지도 프레임워크이다. 이 아키텍처는 조정 프레임워크를 통해 통합된 두 가지 핵심 구성 요소로 이루어진다.

1. 행동 패턴을 위한 시간적 점 과정 (Temporal Point Process, TPP)

• 기능: TPP는 사용자의 포스팅 타임라인을 확률 과정으로 모델링한다. 이는 과거 이력이 주어졌을 때 시간 $t$에 이벤트가 발생할 확률을 나타내는 조건부 강도 함수 $\lambda^*(t)$를 포착한다.
• 훈련: TPP 모델(구체적으로 Self-attentive Hawkes Process, SAHP)은 대조군과 IO 사용자가 모두 포함된 오염된 데이터셋 $T$에 대해 훈련된다.
• 메커니즘: IO 사용자는 흔히 유기적인 사용자와는 다른 협동적 행동(예: 특정 간격으로 포스팅하거나 콘텐츠를 쏟아냄)을 보인다. TPP는 관찰된 타임스탬프의 음의 로그 가능도(negative log-likelihood)를 기반으로 점수를 계산한다: $f(x_i) = \exp(-\frac{1}{M_i} \log p(t_i))$.
• 한계: 훈련 데이터가 오염되었기 때문에, TPP 모델은 IO 패턴을 "정상" 분포의 일부로 학습할 수 있으며, 이는 이상치를 구별하는 능력을 감소시킨다.

2. 언어 패턴을 위한 대규모 언어 모델 (LLM)

• 기능: LLM은 사용자의 포스팅 콘텐츠($c_i$)를 타임라인과 함께 분석하여 "증거(evidence)" 점수를 생성한다.
• 프롬프팅: LLM은 소셜 미디어 분석가로서 "IO 계정"(조직적, 국가 지원)과 "대조군 계정"(유기적)을 구분하도록 제로샷 시스템 지침을 받는다.
• 증거 함수: LLM의 원시 텍스트 출력은 시맨틱 유사도 매핑 전략을 사용하여 정량적 점수 $T(t_i, c_i)$로 변환된다. 출력값은 참조 텍스트("IO 계정" vs "대조군 계정")와 비교되어 확률 분포를 생성한다. LLM의 비결정론적 특성에 대한 견고함을 보장하기 위해, $N$개의 샘플을 추출하고 평균을 내어 $\bar{T}_N(t_i, c_i)$를 생성한다.

3. 증거 기반 사후 조정 (Evidence-based Post-Hoc Adjustment, EPHAD)

훈련 세트 오염 문제를 해결하기 위해, TENSOR는 EPHAD 프레임워크를 통해 TPP와 LLM 구성 요소를 통합한다.

• TPP를 재훈련하는 대신, 이 프레임워크는 테스트 시점에 LLM으로부터 도출된 증거를 사용하여 TPP의 출력을 조정한다.
• 최종 결정 점수는 LLM 증거를 사용하여 TPP 점수를 지수적으로 기울임(exponentially tilting)으로써 계산된다:
  $$\hat{f}(x) = f(x) \exp(\bar{T}_N(t_i, c_i) / \beta)$$
  여기서 $\beta$는 온도(temperature) 파라미터이다.
• 이를 통해 시스템은 LLM의 언어 패턴 이해력을 활용하여 오염된 훈련 데이터에서 발생하는 TPP의 편향을 교정할 수 있다.

주요 기여

1. 새로운 정식화: 본 논문은 레이블링된 데이터가 뒤처지는 지도 학습의 한계를 벗어나, IO 사용자 탐지를 비지도 이상 탐지 문제로 프레임화하였다.
2. 멀티모달 통합: TENSOR는 비지도 IO 탐지를 위해 시간적 행동 패턴(TPP를 통해)과 언어 패턴(LLM을 통해)을 공동으로 활용하는 최초의 접근 방식이다.
3. 데이터 오염 완화: 본 논문은 IO 탐지라는 특정 도메인에 EPHAD 프레임워크를 새롭게 적용하였다. 이는 LLM 기반 증거 함수를 사용하여 TPP 추론을 조정함으로써, (훈련 세트에 IO 사용자가 포함되어 발생하는) 데이터 오염으로 인한 성능 저하를 효과적으로 완화한다.
4. 제로샷 능력: 이 방법은 LLM 구성 요지를 위한 레이블링된 IO 데이터를 요구하지 않으며, 대신 제로샷 프롬프팅과 시맨틱 유사도에 의존한다.

실험 결과

저자들은 15개국 26개의 레이블된 IO를 포함하는 5개의 실제 세계 IO 데이터셋(Egypt, China_1, Iran_1, Russia_1, UAE)에서 TENSOR를 평가하였다. 이 데이터셋들은 매우 불균형하다(적은 수의 IO 사용자, 많은 수의 대조군 사용자).

• 성능: TENSOR는 대부분의 지표(Precision, Recall, F1, AUC, AUPRC)에서 User Embedding Clustering, BLOC, 그리고 순수 LLM 기반 제로샷 탐지기 등 세 가지 베이스라인 모델을 능가하였다.
• 절제 연구 (Ablation Studies):
  • LLM 증거 함수를 제거하면 성능이 크게 감소하여, 언어 패턴의 필요성을 확인하였다.
  • TPP를 제거하면(LLM만 사용 시) 성능이 저하되어, 시간적 역학이 중요하다는 것을 확인하였다.
  • 무작위 증거 함수를 사용했을 때 표준 TPP보다 성능이 낮게 나타나, LLM이 실제 신호를 제공함을 입증하였다.
• 민감도 분석:
  • LLM 선택: TENSOR는 추론 모델(gpt-oss-120B 등)과 비추론 모델(llama3.3-70B 등)을 포함한 다양한 LLM에 대해 안정적이고 효과적이었으나, 더 큰 추론 모델이 일반적으로 약간 더 나은 결과를 보였다.
  • 온도 ($\beta$): 성능은 온도 파라미터 $\beta$에 민감했다. 기본값 $\beta=0.5$가 효과적이었으나, 저자들은 최적값이 데이터셋마다 다를 수 있음(종종 0.3 부근)을 언급하며, 이는 하이퍼파라미터의 비지도 최적화 가능성을 시사한다.

의의 및 주장

본 논문은 TENSOR가 협동적 IO 캠페인과 유기적 사용자 행동 사이의 내재적 마찰에 초점을 맞춤으로써, 전통적인 지도 학습 모델에 대한 회복력 있는 대안을 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 일반화 격차 극려: 비지도 방식이므로, 새로운 레이블된 데이터셋에 대한 재훈련 없이도 새로운 미지의 IO를 탐지할 수 있다.
• 데이터 오염 문제 해결: 실세계 데이터(필연적으로 오염된)로 이상 탐지기를 훈련할 때, 모델이 이상치를 정상으로 학습하지 않도록 하는 실질적인 메커니즘을 제공한다.
• 실용성: 이 접근 방식은 LLM에 대해 "훈련이 필요 없는(training-free)" 방식(가중치 고정 사용)이며, 단일 TPP 훈련 단계에 의존하므로 다양한 기존 TPP 및 LLM 아키텍처에 적응 가능하다.

저자들은 온도 파라미터 $\beta$의 비지도 최적화가 향후 연구 과제로 남아있지만, 현재 TENSOR가 실제 세계의 불균형한 시나리오에서 비지도 IO 사용자 탐지를 위한 새로운 최첨단(state-of-the-art) 기준을 세웠다고 결론짓는다.