기술 요약: 프로파간다 AI: 대규모 언어 모델에서의 의미론적 발산 분석

문제 정의

본 논문은 현재의 대규모 언어 모델(LLM) 안전성 평가의 특정 사각지대인 **개념 조건부 의미론적 발산(concept-conditioned semantic divergence)**을 다룹니다. 기존의 방어 기제들은 특정 출력을 강제하는 희귀한 어휘 문자열인 "토큰 트리거(token-trigger)" 기반의 백도어는 효과적으로 탐지하지만, 이데올로기, 공인 또는 특정 프레이밍과 같은 일반적이고 고차원적인 단서에 의해 활성화되는 행동은 식별하지 못합니다.

저자들은 이 현상을 고차원적 단서가 비정상적으로 균일하고 입장(stance)을 가진 듯한 응답을 유도하지만, 토큰 수준의 감사(audit)는 회피하는 사례로 정의합니다. 이러한 행동은 희귀한 토큰 트리거에 의존하는 전통적인 백도어와 달리, 양호한 데이터에도 빈번하게 등장하는 개념들에 의해 트리거됩니다. 결과적으로, 작은 편향된 미세 조정(fine-tuning)이나 샘플링 역학은 희귀한 어휘적 표식 없이도 체계적인 프로파간다 형태의 행동을 고착시킬 수 있습니다. 저자들은 이를 근저에 깔린 "신념"이나 악의적 의도의 증거가 아니라, 검토를 위한 선별 신호(triage signals)로서의 안정적이고 패러프레이즈(paraphrase)에 강건한 패턴으로 규정합니다.

방법론: RAVEN 프레임워크

저자들은 이러한 의미론적 발산을 탐지하기 위해 설계된 블랙박스 행동 감사 방식인 RAVEN(Response Anomaly Vigilance)을 제안합니다. 이 프레임워크는 모델의 가중치, 그래디언트 또는 학습 데이터에 대한 접근 없이 오직 쿼리 접근과 다중 샘플 프롬프팅에만 의존하여 작동합니다.

탐지 파이프라인은 네 단계로 구성됩니다:

1. 도메인 및 엔티티 정의: 시스템은 민감한 주제(예: 백신 접종, 기후 변화)를 식별하고 이를 개념적 관점(예: 백신 찬성 옹호, 백신 회의론)과 결합합니다. 다양한 표현을 포괄하기 위해 각 쌍에 대해 여러 프롬프트 템플릿이 생성됩니다.

2. 다중 모델 쿼리: 시스템은 생성된 프롬프트를 사용하여 다양한 피어(peer) LLM 세트에 쿼리를 보내며, 고정된 온도로 각 프롬프트당 여러 출력(예: $k=6$)을 샘플링합니다.

3. 함의 클러스터링을 통한 의미론적 엔트로피(Semantic Entropy via Entailment Clustering): 대상 모델 $M$과 프롬프트 $p$에 대해, 응답들은 **양방향 함의(bidirectional entailment)**를 기반으로 클러스터링됩니다(강력한 함의 모델인 GPT-4o-mini 사용). 두 응답이 서로를 함의할 때만 의미론적으로 동일한 것으로 간주됩니다. **의미론적 엔트로피(SE)**는 응답들의 클러스터 분포를 기반으로 계산됩니다. 낮은 SE는 비정상적으로 균일한 출력(단일 입장에 대한 높은 확신)을 나타냅니다.

4. 교차 모델 발산 및 의심 점수 산출: 프레임워크는 다음을 결합하여 **의심 점수($S$)**를 계산합니다:

   • 확신(Confidence): 대상 모델의 의미론적 엔트로피의 역수 (높은 확신 = 낮은 엔트로피).
   • 발산(Divergence): 대상 모델의 지배적인 답변이 피어 모델들의 대표 답변과 불일치하는 정도.

   점수는 $S = \alpha \cdot \text{Confidence} + (1-\alpha) \cdot \text{Divergence}$로 정의됩니다. 대상 모델이 낮은 의미론적 엔트로피(임계값 $\theta_e$ 미만)를 보이고 높은 교차 모델 불일치(임계값 초과)를 나타낼 경우, 높은 의심 점수를 얻어 플래그(flag)가 지정됩니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 정형화: 개념 조건부 의미론적 발산을 정의하고 이것이 왜 토큰 수준의 감사를 회피하는지 설명하며, 플래그가 지정된 행동을 의도가 아닌 선별 신호로 명시적으로 규정합니다.
2. 감사 방법: 모델 내부의 의미론적 엔트로피와 모델 간 불일치를 결합하여 보정된 의심 점수를 도출하는 RAVEN을 도입합니다.
3. 실현 가능성 입증: 통제된 연구를 통해, 희귀한 토큰 트리거 없이도 작은 편향된 코퍼스를 사용하여(LoRA 미세 조정을 통해) LLM에 개념 조건부 입장을 심을 수 있음을 입증했습니다.
4. 대규모 스크리닝: 이 프레임워크를 5개의 LLM 제품군과 12개의 민감한 주제(모델당 360개 프롬프트)에 적용하여, 12개 주제 중 9개에서 반복적이고 모델 특이적인 발산이 나타남을 밝혔습니다.

실험 결과

연구는 네 가지 연구 질문(RQ)을 다룹니다:

• RQ1 (심기/Implantation): 개념 조건부 입장은 성공적으로 심어질 수 있습니다. 네 가지 모델(Llama-3.1, Llama-2, Mistral, DeepSeek)에 대한 통제된 LoRA 미세 조정 연구에서, 작은 편향된 코퍼스가 대상 엔티티(Entity-X)에 대한 안정적인 부정적 입장을 유도했습니다. 예를 들어, Mistral-7B는 감성 수치가 $\approx 3.8/5$(대조군)에서 $\approx 2.0/5$(대상군)로 이동했으며, 대상 응답의 88%가 부정적이었습니다.
• RQ2 (사전 학습된 발산): 사전 학습된 모델에도 의미론적 발산이 존재합니다. 감사는 12개 주제 중 9개에서 이상 행동을 탐지했습니다. 입장 기반 도메인(환경, 의료, 젠더, 종교) 및 감성 기반 도메인은 명확한 "프로파간다 유사" 행동을 보인 반면, 측면 기반 도메인(예: 기업/Amazon)은 이상 징후가 적었습니다.
• RQ3 (탐지 효과성): RAVE는 이러한 사례를 효과적으로 식별합니다. 높은 의심 점수는 거의 0에 가까운 의미론적 엔트로피와 강력한 교차 모델 불일치가 공존하는 지점에 집중되었습니다. 예를 들어, Mistral-7B는 백신 불확실성에 대한 철학적 논거를 거부하는 것에 대해 100.0의 의심 점수를 받았는데, 이는 피어 모델들이 해당 논거를 인정하는 것과 대조적입니다.
• RQ4 (응답 패턴): 플래그가 지정된 사례들은 네 가지 패턴으로 군집화됩니다: 입장 양극화(극단적인 일방적 입장), 엔티티 편애(특정 엔티티에 대한 균일하게 긍정적/부정적인 출력), 범주적 거부(대안을 인정하기를 거부함), 감성 조작.

연구는 또한 RAVEN의 탐지가 미세 조정의 편향 비율 변화에 대해 강건하며, 더 작은 오픈 웨이트 모델을 함의 판정 모델로 사용하더라도 효과적임을 검증했습니다. 다만, Qwen-14B 모델이 베이스라인인 GPT-4o-mini의 성능과 정확히 일치했습니다.

의의 및 주장

본 논문은 RAVEN을 출시 평가 및 배포 후 모니터링을 위한 실질적인 조기 경보 신호로 포지셔닝합니다. 그 의의는 의미(meaning) 수준에서 작동함으로써 토큰 수준의 방어 기제를 보완한다는 데 있으며, 여기서는 희귀한 단서가 존재할 필요가 없습니다.

저자들은 RAVE가 귀속 메커니즘이 아닌 **선별 도구(triage tool)**임을 명시적으로 밝힙니다. 이는 인간 설문 조사에서의 순응 또는 사회적 바람직성 응답(social-desirability responding)과 유사한, 안정적이고 패러프레이즈에 강건한 패턴을 식별합니다. 높은 의심 점수는 데이터 출처나 미세 조정 기록을 조사하기 위한 인간의 검토가 필요함을 나타내지만, 시스템 자체가 악의적 의도나 인과적 귀속을 증명한다고 주장하지는 않습니다. 본 연구는 LLM이 고위험 결정에 점점 더 많이 관여함에 따라, 특히 대규모로 콘텐츠 노출을 유도할 수 있는 프로파간다와 같은 영향력에 맞서 신뢰성을 확보하기 위해 개념 수준의 보안 점검이 필수적임을 강조합니다.