기술적 요약: 공격 성공률을 넘어선 LLM 안전성 실패를 위한 시간적 로짓 관측 가능성

문제 제기

정렬된 대규모 언어 모델 (LLM) 에 대한 현재 안전성 평가는 주로 **공격 성공률 (ASR)**에 의존합니다. ASR 은 생성이 끝난 시점에서 계산되는 이진적, 결과 수준의 판단 (성공/실패) 을 제공합니다. 운영상 매력적이지만, 이 지표는 디코딩 과정을 블랙박스로 취급하여 모델이 최종 응답에 도달하는 토큰 수준의 궤적을 폐기합니다.

본 논문은 ASR 이 구조적으로 제한적이라고 주장합니다. 동일한 유해한 프롬프트에 대한 서로 다른 공격들은 근본적으로 다른 내부 과정을 따르더라도 동일한 최종 응답 (따라서 동일한 ASR 레이블) 을 산출할 수 있기 때문입니다. 예를 들어, 거절이 잠시 트리핑되었다가 억제되거나, 해를 방지하기엔 너무 늦게 나타나거나, 아예 트리핑되지 않을 수 있습니다. ASR 은 이러한 서로 다른 시간적 역동성을 단일 숫자로 축소하므로, 서로 다른 방어 전략이 필요한 모델 - 공격 쌍을 구분하지 못합니다. 또한, 이러한 숨겨진 구조를 복원하기 위한 기존 방법들 (예: 숨겨진 상태 프로브) 은 모델 활성화에 대한 접근이 필요하며, 이는 실제 감사 시나리오에서 종종 불가능합니다.

방법론: 시간적 로짓 관측 가능성 (TLO)

저자들은 **시간적 로짓 관측 가능성 (TLO)**을 제안합니다. 이는 숨겨진 상태나 모델 가중치에 대한 접근 없이 로짓 (logits) 만을 사용하여 안전성 실패의 시간적 역동성을 재구성하는 훈련 불필요 (training-free) 진단 프로토콜입니다.

핵심 구성 요소

1. 로짓 마진 점수 (LMS):
   TLO 는 준수 토큰 ($L_{cmp}$) 과 거절 토큰 ($L_{ref}$) 으로 구성된 고정된 영어 어휘를 사용하여 각 디코딩 단계 $t$에서의 준수 - 거절 균형을 측정합니다.
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   여기서 $\mu$는 respective 어휘 내 상위 $k$개 토큰의 평균 로짓 점수를 나타냅니다. 양의 $S_t$는 준수 우세를, 음의 $S_t$는 거절 우세를 나타냅니다.

2. 시간적 요약:
   프로토콜은 LMS 궤적 $S_{0:T}$에서 두 가지 주요 관측치를 추출합니다.

   • 생성 전 ($S_0$): 응답 토큰이 생성되기 전 최종 프롬프트 위치에서의 로짓 마진.
   • 생성 시간 ($\bar{S}$): 생성된 시퀀스 전체에 걸친 평균 로짓 마진 (예: 초기 창 $\bar{S}_{1:5}$을 위한 변형 포함).
   • 활성화 타이밍 ($t_{cross}$): 궤적이 거절 우세 ($S_t < 0$) 로 처음 교차하는 첫 번째 단계.

3. 상대적 위치 (RP) 보정:
   서로 다른 모델, 공격, 프롬프트 형식 간 관측치를 비교 가능하게 만들기 위해 TLO 는 기준 분포에 대해 원시 로짓 신호를 보정합니다.
   $$RP(M) = \frac{M_{success} - M_{harmful}}{M_{benign} - M_{harmful}}$$
   여기서 $M$은 성공한 공격, 모든 유해 샘플, 공격 형식의 유해 참조에 대한 지표 (예: $S_0$ 또는 $\bar{S}$) 의 평균을 나타냅니다.

   • $RP = 0$은 유해 앵커와 유사한 행동을 나타냅니다.
   • $RP = 1$은 유해 앵커와 유사한 행동을 나타냅니다.
   • $[0, 1]$ 범위를 벗어난 값은 관찰된 반전으로 보고됩니다.

4. RP-평면:
   각 모델 - 공격 조건은 2 차원 좌표 $c = (RPA, RPB)$로 매핑되며, 여기서$RPA$는 보정된 생성 전 위치이고$RPB$는 보정된 생성 시간 위치입니다. 조건 간의 유클리드 거리 ($D_{RP}$) 는 안전성 실패의 시간적 분리를 정량화합니다.

주요 기여

1. 로짓에서 보정된 시간적 좌표: 논문은 LMS 궤적을 보정된 2 차원 공간으로 요약하는 RP-평면 좌표계를 도입합니다. 이 설계는 ASR 을 보완합니다. RP 변위는 $(1-ASR)$에 의해 제한되므로, ASR 만으로는 공격이 성공한 이유에 대해 가장 정보가 부족한 중간 ASR 조건에서 주요 신호를 전달합니다.
2. 보이지 않는 상호작용의 복원: TLO 는 거의 동일한 ASR 을 가진 조건들이 RP 평면에서 서로 다른 위치를 차지함을 보여줍니다. 동일한 공격 계열은 모델 간에 서로 다른 시간적 서명을 생성하며, 동일한 모델은 서로 다른 공격을 서로 다른 시간적 메커니즘을 통해 처리합니다.
3. 숨겨진 상태와의 정렬: 로짓 기반 궤적은 12 가지 테스트된 모델 - 공격 조건 중 10 가지에서 숨겨진 상태 거절 방향과 정렬되어, 활성화 접근이 없더라도 관측 가능한 로짓 신호가 안전성 관련 정보를 담고 있음을 검증합니다.
4. 디코딩 시간 개입: 시간적 신호에서 유도된 간단한 조기 중단 규칙 (만약 $t_{cross} > 5$라면 생성 중단) 은 일반 유해 쿼리에서 오경보를 발생시키지 않으면서 전체 ASR 을 39.6% 에서 13.1% 로 감소시킵니다.

실험 결과

저자들은 60 개의 유해 프롬프트를 사용하여 4 개의 정렬된 LLM(Llama, Mistral, Qwen, Gemma) 과 3 개의 재크랙 패러다임(MCM, GCG, DeepInception) 의 그리드에서 TLO 를 평가했습니다.

• ASR 이웃의 차별화: 거의 동일한 ASR 을 가진 공격들 (예: Llama+DI 의 55.0% 대 Qwen+DI 의 58.3%) 은 보정된 거리 $D_{RP} = 0.572$로 분리되었습니다. 더 놀랍게도, Llama+DI(55.0%) 와 Mistral+GCG(56.7%) 는 $D_{RP} = 1.014$로 분리되어, RP 평면이 ASR 에는 보이지 않는 구조적 차이를 포착함을 보여주었습니다.
• 시간적 분리: 성공한 재크랙은 일반적으로 거절 우세로의 전환을 지연하거나 회피한 반면, 실패한 재크랙은 일찍 (종종 첫 5 개 토큰 이내) 거절 우세로 교차했습니다. 궤적은 Cohen's $d > 1.0$과 ROC-AUC 0.771–0.784 로 결과를 분리했습니다.
• 숨겨진 상태 정렬: 로짓 마진 ($S_t$) 과 숨겨진 상태 거절 투영 간의 상관관계는 Llama 에 대해 강했습니다 ($|\rho| \ge 0.70$), Mistral 과 Gemma 에 대해서는 중간 정도였습니다. Qwen 은 일부 공격에 대해 예상 부호가 반전되는 모델별 경계를 보여, 특정 아키텍처에 대한 고정 어휘 접근법의 한계를 강조했습니다.
• 개입 효과성: $t_{cross}$에 기반한 균일한 조기 중단 규칙을 적용하면 전체 ASR 이 26.5% 포인트 감소했습니다. 이 개입은 "Null-generation Bias"(NGB) 조건 (RP 기하학이 설계상 정보 제공이 안 되는 경우) 에서 가장 효과적이었으며, 이는 시간적 신호가 약할 때 원시 ASR 신호가 지배적이므로 균일 중단이 효과적임을 시사합니다.
• 견고성: 결과는 디코딩 무작위성, 어휘 교란, 더 엄격한 교차 기준에 걸쳐 안정적이었습니다. 이 방법은 전체 로짓 또는 대상 어휘 - 토큰 로그 확률이 필요했으며, 표준 상위 $k$개 출력 (예: $k=20$) 은 불충분했습니다.

중요성과 주장

본 논문은 TLO 를 ASR 의 대체물이 아니라, 안전성 실패의 "언제와 어떻게"를 관측 가능하게 만드는 필수 진단 계층으로 위치시킵니다.

• 관측 가능성 격차: 저자들은 안전성 평가가 단순한 발생이 아닌 실패의 전개 과정을 보고해야 한다고 주장합니다. TLO 는 숨겨진 상태 접근 권한이 있는 사람들에게만 제한되었던 능력을 표준 로짓만을 사용하여 이러한 시간적 역동성을 관측하는 최초의 방법을 제공합니다.
• 상호 보완성: RP-평면은 ASR 이 가장 정보가 부족한 곳 (중간 ASR 조건) 에서 가장 유익하도록 설계되었습니다. 이는 결과 지표가 축소하는 모델 - 공격 상호작용의 이질성을 노출합니다.
• 실행 가능한 모니터링: 이 연구는 보정된 로짓 기하학이 공격별 튜닝 없이 효과적인 디코딩 시간 모니터링 (조기 중단) 을 주도하여 재크랙을 크게 감소시키면서도 형식 없는 유해 쿼리에서 0 의 오경보를 유지할 수 있음을 보여줍니다.
• 한계: 저자들은 TLO 가 인과적이 아닌 관측적임을 명시적으로 지적합니다. 이는 안전성 증거가 언제 나타나는지 식별하지만 근본적인 신경 회로를 식별하지는 않습니다. 이 방법은 고정된 영어 어휘와 전체 로짓 접근에 의존하므로, API 제한 환경에서는 사용 가능하지 않을 수 있어 현재는 오픈 가중치 영어 감사에 가장 적용 가능합니다.