기술 요약: DMD 기반 프롬프트-응답 임베딩 역학의 분류를 통한 LLM 안전성 강제

문제 정의

대규모 언어 모델(LLM)은 고위험 애플리케이션에 점점 더 많이 배치되고 있으나, 환각(hallucination), 혐오 표현, 불법 행위 지침을 포함하여 유해하거나 정책을 위반하는 콘텐츠를 생성할 위험이 여전히 존재한다. RLHF(인간 피드백 기반 강화 학습)와 같은 학습 단계의 정렬 방법들이 존재하지만, 이는 자원 집약적이며 안전하지 않은 출력을 완전히 제거하지는 못한다. 따라서 효율적이고 확장 가능한 사후 배포 모니터링 방법이 절실히 필요하다.

현재의 탐지 방식들은 다음과 같은 상당한 한계에 직면해 있다:

• 화이트박스(White-box) 방식: 내부 상태(은닉 상태, 어텐션 맵)에 대한 접근을 요구하며, 이는 상용 API를 사용하는 경우 불가능한 경우가 많다.
• 그레이박스(Gray-box) 방식: 토큰 수준의 확률이나 로짓 엔트로피(logit entropy)에 의존하지만, 이 역시 항상 노출되는 것은 아니다.
• 블랙박스(Black-box) 방식: 일반적으로 일관성을 확인하기 위해 여러 응답을 샘플링하거나 외부 지식 그래프에 의존하는데, 이는 계산 비용이 많이 들거나 외부 검색을 필요로 할 수 있다.
• 상호작용 무지(Interaction Blindness): 기존의 많은 블랙박스 접근 방식은 응답 텍스트만을 분석하며, 안전해 보이는 프롬프트와 유해한 응답 사이의 상호작용에서 발생하는 안전 위반(예: 사용자의 질의에 따라 모델이 잘못된 환불을 승인하는 경우)을 감지하지 못한다.

방법론

본 논문은 LLM의 토큰 단위 생성 과정을 이산 시간 동역학계(discrete-time dynamical system)로 취급하는 블랙박스 안전 분류 프레임을 제안한다. 이 방법은 프롬프트와 응답의 역학을 모두 통합함으로써, 이전에 제안된 환각 탐지 프레임워크를 안전 분류로 확장한다.

1. 동역학계 프레임워크

핵심 가정은 LLM의 토큰 임베딩 진화가 동역학계로 모델링될 수 있다는 것이다. 저자들은 **쿠프만 연산자 이론(Koopman operator theory)**을 활용하여 이러한 역학을 선형화한다.

• 임베딩: 프롬프트와 응답은 사전 학습된 임베딩 모델(예: Qwen, Mistral, Llama-3)을 사용하여 고차원 임베딩 공간으로 투영된다.
• 쿠프만 연산자 추정: **확장 동적 모드 분해(EDMD)**를 사용하여 "안전한" 상태와 "유해한" 상태의 레짐(regime)에 대한 별도의 선형 예측 모델(쿠프만 연산자)을 적합시킨다.
  • 네 개의 연산자가 추정된다: 안전/유해 프롬프트를 위한 $A^{(p)}_s, A^{(p)}_u$, 그리고 안전/유해 응답을 위한 $A^{(r)}_s, A^{(r)}_u$.
  • 이 연산자들은 토큰 임베딩 시퀀스로 구성된 학습 데이터로부터 학습된다.

2. 차분 잔차 점수 (Differential Residual Score)

새로운 상호작용을 분류하기 위해, 이 방법은 관찰된 토큰 진화에 대한 안전 및 유해 모델의 예측 오차를 비교하는 **차분 잔차 점수($\Delta E$)**를 계산한다.

• $P$개의 토큰을 가진 프롬프트와 $L$개의 토큰을 가진 응답에 대해, 각 토키 스텝 $k$에 대한 예측 오차 $\epsilon$은 각각의 쿠프만 연산자를 사용하여 계산된다.
• 점수 $\Delta E$는 유해 모델과 안전 모델의 누적 예측 오차 간의 차이로 정의된다:
  $$\Delta E = \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{u,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{u,j})^2 \right)^{1/2} - \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{s,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{s,j})^2 \right)^{1/2}$$
• 분류 로직: 출력이 유해한 경우, 유해 모델($A_u$)이 궤적을 더 잘 예측하여 유해 항의 오차가 낮아지고 결과적으로 $\Delta E$가 음수가 된다. 반대로, 안전한 출력은 양의 $\Delta E$를 생성한다.
• 임계값 $\eta$와 $\Delta E$를 비교하여 이진 결정을 내린다.

주요 기여

1. 프롬프트 인지 안전 분류: 본 연구의 주요 기여는 DMD 기반 분류를 프롬프트 역학을 포함하도록 확장한 것이다. 저자들은 안전성이 상호작용에 의존적이라는 점을 입증했다. 즉, 어떤 응답은 단독으로는 안전해 보일 수 있지만 특정 프롬프트와 결합될 때 유해할 수 있다. 프롬프트와 응답에 대한 별도의 동역학계를 적합시킴으로써, 이 방법은 이러한 인과적 패턴을 포착한다.
2. 블랙박스 효율성: 이 방법은 전체적으로 출력 텍스트 임베딩 상에서 작동하며, 모델 가중치, 토큰 확률 또는 다중 확률적 샘플에 대한 접근을 필요로 하지 않는다.
3. 임베딩 아키텍처의 경험적 분석: 본 연구는 서로 다른 규모의 임베딩 모델 아키텍처(밀집 디코더 전용 vs. 인과적 디코더)가 다양한 유형의 안전 위반과 어떻게 상호작용하는지 체계적으로 평가한다.

실험 결과

이 방법은 세 가지 규모의 세 가지 임베딩 모델(Qwen3-Embed (0.6B), Mistral (7.2B), Llama-3 (8.0B))을 사용하여 세 가지 안전 벤치마크에서 평가되었다.

• Aegis AI Content Safety Dataset (상호작용 의존적):

  • 이 데이터셋은 사용자 의도와 모델의 준수 사이의 상호작관에서 발생하는 위반 사례를 특징으로 한다.
  • 결과: 프롬프트 임베딩을 포함하는 것이 성능을 크게 향 향상시켰다. Llama-3가 $L \ge 150$에서 F1 = 77.0%를 기록하며 Qwen-Embed와 Mistral을 능가하는 지배적인 모델로 나타났다.
  • 통찰: Llama-3의 인과적 디코더 아키텍처는 프롬프트 컨텍스트가 포함되었을 때 프롬프트-응답 상호작용의 시간적 역학을 효과적으로 포착하여, 안전한 샘플에 대한 추적 오차를 줄이고 유해한 샘플에 대한 오차를 증가시킨다.

• Synthetic CoT Safety Dataset:

  • 이 데이터셋은 구조화된 추론 및 거절 패턴을 포함한다.
  • 결과: 모든 모델이 높은 정확도(>88%)를 달성했으나, 클래스 불균형으로 인해 F1 점수는 낮았다. 프롬프트 임베딩을 추가하는 것은 모든 모델에서 완만하지만 일관된 상승을 제공했다.

• BeaverTails Dataset (응답 전용 위반):

  • 이 데이터셋은 프롬프트와 관계없이 응답 내용 자체에 내재된 위반(예: 혐오 표현, 폭력)을 포함하는 인간 작성 프롬프트 및 응답을 담고 있다.
  • 결과: Qwen-Embed(밀집 시맨틱 인코더)가 프롬프트 임베딩을 포함했을 때 $L \ge 150$에서 F1 86.7%를 달성하며 다른 모델들을 앞질렀다.
  • 통찰: 응답 토큰에 직접 인코딩된 위반의 경우, 밀집 시맨틱 표현이 탁월하다. 흥미롭게도, 이 데이터셋에서 프롬프트 전용 분류 역시 높은 F1을 달성했는데, 이는 인간이 작성한 유해한 프롬프트가 독특한 동역학적 징후를 지니고 있음을 시사하지만, 응답 역학이 여전히 주요 신호임을 보여준다.

베이스라인과의 비교: Aegis 데이터셋에서 제안된 블랙박스 방법은 미세 조정된 화이트박스 모델(AegisGuard)의 F1 86.8%에 비해 77.0%의 F1을 달ach했다. 저자들은 이 방법이 특정 작업에 대한 훈련을 필요로 하지 않는다는 점에서 이는 상당한 성과라고 언급했다.

의의 및 주장

본 논문은 일반적인 "동역학계를 위한 AI"가 아닌 **"AI를 위한 동역학계"**라는 패러다임을 발전시킨다고 주장한다. LLM 생성을 동역학계로 취급함으로써, 저자들은 쿠프만 기반 예측이 안전한 출력과 유해한 출력을 효과적으로 구별할 수 있음을 입증했다.

본 연구는 임베딩 모델 아키텍처와 안전 위반의 성격 사이의 미묘한 관계를 강조한다:

• **인과적 디코더 (예: Llama-3)**는 프롬프트-응답 관계가 중요한 상호작용 의존적 위반에 더 우수하다.
• **밀집 시맨틱 인코더 (예: Qwen-Embed)**는 응답 토큰에 내재된 내용 격리형 위반에 더 우수하다.

저자들은 이 접근 방식이 자원 집약적인 학습 단계의 정렬이나 복잡한 다중 샘플 추론 전략에 대한 확장 가능한 블랙박스 대안으로서, 동역학계 이론을 사용하여 AI 시스템을 분석하고 제어할 수 있는 길을 열어준다고 결론지었다. 향-후 과제로 다중 클래스 위해 분류로의 확장 및 다양한 임베딩 모델의 앙상블 전략 탐색을 제시하였다.