기술 요약: AERIC – 암시적 유해 대화를 위한 예측적 은닉 상태 모니터링

1. 문제 제기

현재 대규모 언어 모델 (LLM) 안전 시스템은 두 가지 명확한 과제에 직면해 있습니다:

1. 타이밍: 기존 안전 장치는 완전히 생성된 텍스트를 판단할 때 가장 강력합니다. 그러나 스트리밍 배포는 조기 개입을 가능하게 하기 위해 부분 생성물에 대한 안전 결정을 요구합니다. 현재 "스트리밍" 가드들은 종종 성장하는 텍스트 접두사에 대한 추가 순전파 (forward pass) 에 의존하여 지연 병목 현상을 초래하거나, 텍스트가 충분히 명시적으로 분류될 수 있을 때까지 기다렸다가 안전하지 않은 궤적이 이미 드러난 후에야 반응합니다.
2. 암시적 유해성: 유해성은 종종 노골적인 독성 키워드로 신호를 보내지 않습니다. 대화 및 조언 설정에서 안전하지 않은 행동은 은밀하거나, 문맥에 민감하거나, 응답의 궤적에 내재되어 있을 수 있습니다 (예: 정중하지만 자해를 조장하는 경우). 표면적 텍스트 분석이나 최상위 다음 토큰 선호도는 콘텐츠가 명시적이 되기 전에 안전하지 않은 영역으로의 이러한 이행을 감지하는 데 종종 실패합니다.

이 논문은 추가 순전파나 별도의 생성형 가드를 호출하지 않고 생성기의 내부 은닉 상태만을 사용하여 디코딩 중 암시적 유해 이행을 감지하는 예측적 동일-패스 (same-pass) 모니터링이라는 더 엄격한 목표를 다룹니다.

2. 방법론: AERIC

저자들은 일반 디코딩 중 생성된 은닉 상태를 읽는 경량 모니터인 AERIC(연속을 위한 예측 증거 및 잔차 추론) 을 소개합니다. 이 시스템은 "동일-패스" 제약을 따르며, 이는 현재 디코딩 궤적에서 사용 가능한 양 ($h_t$, 프롬프트 요약 $p$, 이전 모니터 값) 만을 사용함을 의미합니다.

핵심 구성 요소

AERIC 은 128 차원 표현으로 투영된 은닉 상태에서 훈련된 세 가지 선형 스칼라 헤드를 결합합니다:

1. 미래 위험 헤드 ($f_t$):

   • 목표: 짧은 시간 범위 내에서 유해한 연속이 시작될지 여부를 예측합니다.
   • 메커니즘: FineHarm 에서의 시작점 인식 감독을 사용하여 유해 시작 인덱스 ($o$) 에 대한 근접도에 따라 접두사를 라벨링합니다. 이는 현재 가시적 접두사가 이미 안전하지 않은지 여부가 아니라, 현재 궤적이 유해한 상태에 진입하기 직전인지 여부를 묻습니다.
   • 공식: $f_t = w_f^\top \tilde{h}_t + b_f$

2. 지지 헤드 ($c_t$):

   • 목표: 감정적으로 강렬하지만 적절한 응답에 대한 과도한 트리거를 방지하기 위해 안전하고, 경계된, 지지적이거나, 긴장 완화적인 연속에 대한 반증 (counter-evidence) 을 모델링합니다.
   • 메커니즘: 안전하고, 지지적이거나, 경계된 연속 (양성 클래스) 대 임박하거나 시작점 이후의 안전하지 않은 연속 (음성 클래스) 으로 훈련됩니다.
   • 공식: $c_t = w_c^\top \tilde{h}_t + b_c$

3. 프롬프트 조건부 잔차 헤드 ($r_t$):

   • 목표: 동일한 프롬프트 유형에 대한 안전한 행동 대비 안전하지 않은 이행을 측정합니다.
   • 메커니즘: 단순한 프롬프트 뺄셈 대신, 프롬프트 수준에서 짝지어진 안전하고 안전하지 않은 연속으로부터 잔차 방향을 학습합니다. 이는 특정 프롬프트 문맥에 대한 안전한 행동 대비 은닉 상태 궤적이 안전하지 않은 방향으로 벗어났는지 여부를 점수화합니다.
   • 공식: $r_t = w_r^\top (h_t - p) + b_r$, 안전하지 않은 잔차가 안전한 것보다 높은 점수를 받도록 쌍별 순위 손실로 훈련됨.

결정 규칙

원래 토큰별 점수 ($g_t$) 는 이러한 신호들을 결합합니다:
$$g_t = f_t - \alpha c_t + \beta r_t$$
여기서 $\alpha$ 는 지지 증거에 의한 억제를 제어하고 $\beta$ 는 잔차 이행의 기여도를 제어합니다.

온라인 모니터링을 위해 원래 점수는 **지수 이동 평균 (EMA)**을 사용하여 부드럽게 만들어집니다:
$$m_t = \lambda g_t + (1 - \lambda)m_{t-1}$$
$m_t \geq \tau$인 경우 생성이 플래그됩니다. 이는 결정이 접두사 측정 가능하고 안정적임을 보장합니다.

효율성

기본 선형 모니터는 매우 작으며, 387 개의 훈련 가능 헤드 파라미터(3 개 헤드 $\times$ 헤드당 129 개 파라미터) 만 포함합니다. 저장된 아티팩트의 총 크기는 Qwen3-8B 의 경우 약 6.1 MiB, Gemma-4-E4B-it 의 경우 3.8 MiB 입니다.

3. 주요 기여

• 동일-패스 제약: 경량 모니터가 기본 모델을 통한 추가 순전파 없이 내부 은닉 상태를 읽음으로써 암시적 유해 이행을 예측할 수 있음을 입증합니다.
• 암시적 유해 전이: 위험 예측, 지지 민감 억제, 프롬프트 조건부 잔차 점수화의 조합을 통해 명시적 유해 감독 (FineHarm, Anthropic HH-RLHF) 이 암시적 유해 대화 감지에 재사용될 수 있음을 보여줍니다.
• 아키텍처: 암시적 유해의 실패 모드 (은밀한 이행, 감정적 강도, 문맥 의존성) 에 맞춰 조정된 특정 3-헤드 아키텍처 (미래 위험, 지지, 짝지어진 잔차) 를 도입합니다.
• 보정 전략: 프롬프트 수준 트리거 벤치마크를 위해 안전 트리거율을 $\leq$ 10% 로 제한하면서 트리거 커버리지를 극대화하는 소스 측 안전 예산 규칙을 제안합니다.

4. 실험 결과

균형 잡힌 암시적 유해 벤치마크

Qwen3-8B 와 Gemma-4-E4B-it 을 사용하여 DiaSafety(대화형) 와 Harmful Advice(조언 지향형) 에서 평가했습니다.

• 성능: AERIC 은 가장 강력한 네이티브 스트리밍 베이스라인인 Qwen3Guard-Stream-4B와 응답 수준 가드 (ShieldGemma-9B, WildGuard) 를 능가합니다.
  • DiaSafety: AUROC 가 Qwen3Guard 의 0.6830 에서 0.7143(AERIC) 으로 향상되었습니다.
  • Harmful Advice: AUROC 가 Qwen3Guard 의 0.8219 에서 0.8582(AERIC) 로 향상되었습니다.
• 애블레이션: "지지" 헤드는 단호하지만 경계된 지침을 처리하는 Harmful Advice 에서 가장 큰 향상을 제공했으며, "잔차" 헤드는 대화적 혼란을 처리하는 DiaSafety 에서 최종 상승을 제공했습니다.

프롬프트 수준 트리거 벤치마크

소스 측 10% 안전 트리거 예산 하에 HarmBench DirectRequest와 SocialHarmBench에서 평가했습니다.

• 조기 트리거링: AERIC 은 유해 콘텐츠가 완전히 노출되기 전에 트리거하는 데 베이스라인을 크게 능가합니다.
  • HarmBench (Qwen): Trigger@64 가 0.6438(Qwen3Guard 의 0.1063 대비) 에 도달했습니다.
  • SocialHarmBench (Gemma): Trigger@64 가 0.7363(Qwen3Guard 의 0.2962 대비) 에 도달했습니다.
• 유보: 모니터는 노출 전에 평균 23.53 에서 41.86 개의 답변 토큰을 성공적으로 유보했습니다.

계산 오버헤드

• 지연 시간: 고정 생성 벤치마크에서 AERIC 은 평균 지연 시간을 **2.34%**만 증가시켰습니다.
• 비교: 이는 Qwen3Guard-Stream-4B(79.40% 증가), 접두사화된 ShieldGemma-9B(158.73%), 접두사화된 WildGuard(216.74%) 에 비해 극적으로 낮습니다.

5. 중요성과 주장

이 논문은 엄격한 "추가 순전파 없음" 제약 하에 명시적 유해 감독이 암시적 유해 모니터링으로 전이될 수 있다고 주장합니다.

• 실용적 사전 노출 신호: AERIC 은 콘텐츠가 표면에 명시적이 되기 전에 유해 이행을 예측할 수 있는 실용적이고 저지연 위험 신호를 제공하며, 강력한 네이티브 스트리밍 가드에도 불구하고 가능합니다.
• 시스템 효율성: 안전 신호가 내부 표현에서 유도되어 거의 오버헤드 없이(약 2% 지연 시간 증가) 실시간 모니터링을 지원할 수 있음을 보여줍니다.
• 적은 범위: 저자들은 AERIC 이 완전한 개입 정책이 아닌 온라인 위험 신호라고 명시적으로 밝힙니다. 하류 결정 (예: 생성 중단, 명확화 질문 요청, 또는 라우팅) 은 여전히 열린 시스템 문제입니다. 이 논문은 거짓 거절 문제를 해결하거나 최적의 개입 정책을 정의한다고 주장하지 않으며, 오히려 현재 최첨단 가드보다 더 효율적이고 예측적인 감지 메커니즘을 제공하는 데 중점을 둡니다.