기술 요약: 잠재 정책 가드레일 (LPG)

1. 문제 제기

현대 AI 안전 시스템은 프롬프트와 응답을 선별하기 위해 '가드레일'에 의존합니다. 전통적인 가드레일은 빠르지만 고정된 안전 분류 체계로 훈련되어 재훈련 없이 동적이고 사용자 지정 정책 (예: 특정 기업 규칙 또는 규제 제약) 에 적응할 수 없습니다. 반면, 추론 시 자연어 정책을 수용하는 '정책 인식형' 가드레일은 중요한 트레이드오프에 직면합니다.

• 추론 모델이 아닌 모델(예: DynaGuard)은 빠르지만 취약합니다. 이들은 종종 특정 정책 조항에 근거한 판단을 내리는 대신 위치적 산물이나 콘텐츠 사전 지식에 의존합니다.
• 추론 모델(예: GuardReasoner, ThinkGuard)은 정책을 분석하기 위해 명시적인 사고 연쇄 (CoT) 를 생성하여 높은 정확도를 달성하지만, 이로 인해 prohibitive 한 지연 시간 (종종 10 배 느림) 이 발생하여 실시간 중재에는 적합하지 않습니다.

핵심 과제는 동적이고 이질적인 정책을 충실히 추론하여 조항에 기반한 판정을 내리면서도, 생산 환경 배포에 필요한 낮은 지연 시간을 유지하는 가드레일을 구축하는 것입니다.

2. 방법론: 잠재 정책 가드레일 (LPG)

LPG 는 방대한 텍스트적 근거를 생성하는 대신 심의 과정을 연속 잠재 공간으로 압축함으로써 이러한 긴장을 해결합니다. 이 프레임워크는 추론 단계가 확산된 안전 사전 지식보다는 특정 정책 의미에 전념해야 한다는 원칙에 기반합니다.

2.1 구조화된 평가 템플릿

자유 형식의 추론 대신 LPG 는 고정된 3 단계 평가 추적을 강제합니다.

1. 의도 분석: 대화 기록을 검토하여 숨겨진 악의적 의도 (예: 역할극을 통한 탈옥) 를 파악합니다.
2. 정책 분석: 대규모 세트에서 관련 정책 조항을 선택적으로 식별하며, 위치적 나열보다는 의미적 매칭을 장려합니다.
3. 판정 수립: 특정 위반 정책 인덱스 ($P^*$) 에 기반한 컴팩트하고 기계가 파싱 가능한 판정을 생성합니다.

2.2 연속 사고 압축을 통한 잠재 추론

1 단계와 2 단계 (의도 및 정책 분석) 는 연속 잠재 토큰으로 압축되는 반면, 3 단계 (판정) 는 해석 가능성을 유지하기 위해 명시적 텍스트로 남습니다.

• 잠재 토큰 교체: 앞의 두 단계에 대한 명시적 토큰 생성은 이산 토큰으로 구체화되지 않고 잠재 공간 내에서 진행되는 잠재 임베딩 시퀀스 ($e_{t+1} = \text{Proj}(h^{(L)}_t)$) 로 대체됩니다.
• 단계 정렬 잠재 슬롯: 단일 비구분 버퍼를 사용하는 이전 연구와 달리, LPG 는 의도 및 정책 단계에 별도의 잠재 예산을 할당하여 이러한 하위 작업이 분리 가능한 부분 공간에 존재하도록 합니다.

2.3 감독 전략

핵심 혁신은 감독 신호로, 토큰 재구성이 충분한 수학 스타일 잠재 추론과 다릅니다. 안전 결정은 이질적인 사용자 정책과 잠재적 의도에 의존하므로, LPG 는 다목적 손실 함수를 사용합니다.

1. 판정 출력 손실 ($L_{out}$): 최종 컴팩트 판정 문자열에 대한 표준 교차 엔트로피.
2. 교사 숨은 상태 증류 ($L_{distill}$):
   • 답변 위치 증류: 판정 시작 토큰에서 학생과 교사의 숨은 상태를 정렬하여 의사결정을 생성하는 계산 상태를 전이합니다.
   • 단계 경계 증류: 각 단계의 최종 잠재 상태를 해당 경계 토큰에서 교사의 숨은 상태와 정렬합니다.
3. 의미 - 콘텐츠 감독 ($L_{explain}$): 교사 토큰을 재구성하는 대신, 모델은 기본 LM 을 통해 라우팅된 컴팩트한 교사 요약 (의도 개요 또는 정책 위반 근거) 을 재구성합니다. 이는 잠재 공간이 불투명한 계산 버퍼가 아닌 정책 내용의 의미 있는 표현으로 남도록 보장합니다.
4. 참고 추론 손실 ($L_{ref}$): 추론 능력의 치명적 망각을 방지하기 위해 교사의 전체 명시적 추론 시퀀스를 사용하는 정규화 항목입니다.

2.4 학습 코퍼스

LPG 는 정책 기반 데이터셋 (DynaBench, GuardSet-X) 과 일반 안전 데이터셋의 4 만 건 혼합 데이터로 훈련됩니다. 중요한 선별 원칙은 어떤 학습 예시도 동일한 정책 목록을 두 번 보지 않는다는 것입니다. 정책은 단일 문장 '정책 책'으로 재작성되며, 목록은 각 예시마다 동적으로 생성되고 셔플되어 모델이 위치적 단축키를 학습하거나 규칙 문자열을 암기하는 것을 방지합니다.

3. 주요 기여

• 잠재 정책 가드레일 (LPG): 정책 기반 안전 중재에 잠재 추론을 적용한 최초의 프레임워크로, 심의 과정을 약 10 개의 잠재 토큰으로 압축합니다.
• 의미적 잠재 심의: 단순 토큰 재구성이 아닌 교사 증류 및 요약 재구성을 통해 잠재 단계가 정책 의미 (의도 및 조항 관련성) 와 명시적으로 정렬되도록 하는 새로운 설계.
• 조항 기반 판정: 모델이 특정 위반 정책 인덱스를 출력하도록 강제하는 메커니즘으로, 감사 가능성을 보장하고 안전 사전 지식에 대한 의존을 방지합니다.
• 효율성 - 정확도 파레토 프론티어: 심층 정책 추론이 높은 지연 시간과 분리될 수 있음을 입증합니다.

4. 실험 결과

GuardSet-X, DynaBench (셔플링 및 반사실적 요소로 증강됨), 그리고 분포 외 (OOD) 벤치마크 (HarmBench, WildGuardTest, PolicyGuardBench) 에서 평가되었습니다.

• 정확도: LPG-4B 는 정책 기반 벤치마크에서 평균 안전 정확도 84.5% 및 **F1 77.9%**를 달성하여 가장 강력한 동적 베이스라인 (DynaGuard-8B) 과 추론 베이스라인 (GuardReasoner) 을 능가했습니다.
• 강건성: 증강된 DynaBench (셔플링된 정책 및 반사실적 규칙 제거 포함) 에서 LPG 는 높은 성능을 유지하는 반면, DynaGuard 와 같은 비추론 베이스라인은 심각한 정확도 하락 (예: 셔플링 시 -7.4 점) 을 겪어, LPG 가 실제로 정책 내용에 기반하여 결정을 내리고 있음을 나타냅니다.
• 지연 시간: 단일 샘플 평가 하에서 LPG 는 Qwen3-4B-Thinking 보다 약 11 배, GuardReasoner-8B 보다 5.4 배 빠르게 실행되며, 평균 지연 시간은 약 748ms 입니다.
• 절대 실험:
  • 답변 위치 증류 손실을 제거하면 정확도가 거의 20 점 하락하여 이를 결정적인 감독 신호로 식별했습니다.
  • 잠재 예산 스윕 결과, 10 개의 잠재 토큰(의도 4 개, 위험 6 개) 은 약 5 배 낮은 지연 시간으로 전체 명시적 추론에 근접하는 성능을 보였으며, 20 개 토큰 이상에서는 체감 수익이 감소했습니다.
• 분포 외 (OOD): LPG 는 보이지 않는 벤치마크 (예: HarmBench 에서 F1 96.4%) 에 잘 일반화되어, 정책 공간이 변경될 때 성능이 저하되는 정적 가드레일 및 동적 베이스라인을 능가했습니다.

5. 중요성 및 주장

이 논문은 LPG 가 빠른 정적 분류기와 느리지만 표현력이 풍부한 정책 추론 가드레일 사이의 실용적인 다리를 구축했다고 주장합니다. 주요 중요성은 잠재 압축이 동적 정책 추론을 위한 유효한 메커니즘임을 입증한 데 있습니다.

의사결정 관련 의미에 의해 감독되는 연속 잠재 상태로 심의를 표면 토큰에서 이동시킴으로써 LPG 는 다음을 달성합니다.

1. 동적 적응성: 재훈련 없이 임의의 사용자 제공 정책을 시행할 수 있는 능력.
2. 감사 가능성: 판정이 위반된 조항에 명시적으로 기반하여 투명성을 가능하게 함.
3. 실시간 실현 가능성: 지연 시간 감소로 인해 명시적 CoT 가 너무 느린 스트리밍 애플리케이션 (예: 챗봇, 에이전트 도구 사용) 에서 정책 인식 추론이 실현 가능해짐.

저자들은 이 작업을 '잠재 준수 추론'을 향한 한 걸음으로 위치시키며, 자연어 규칙에 대한 런타임 준수가 필요한 모든 AI 시스템이 이 아키텍처로부터 혜택을 받을 수 있다고 제안합니다. 현재 설계는 안전 중재에 초점을 맞추고 있지만, 원칙은 규제 준수 및 기업 정책 시행으로 확장된다고 지적합니다.