기술 요약: COLAGUARD – 잠재적 추론을 통한 견고하고 효율적인 가드레일

1. 문제 제기

대규모 언어 모델 (LLM) 이 실제 응용 분야에서 점점 더 많이 배포됨에 따라, 인간의 가치와 정렬을 보장하는 것이 중요합니다. RLHF 와 같은 정렬 훈련 방법이 존재하지만, 배포 후 업데이트하는 데 비용이 많이 듭니다. 따라서 외부 안전 가드레일이 입력과 출력을 조절하기 위한 실용적인 대안이 되었습니다.

기존 가드레일은 견고성과 효율성 사이의 근본적인 트레이드오프에 직면해 있습니다:

• 분류 기반 가드레일(예: Llama Guard) 은 효율적이지만, 모호하거나 적대적이거나 문맥에 의존적인 안전 결정 하에서는 종종 취약합니다.
• 명시적 추론 가드레일(예: GuardReasoner, ThinkGuard) 은 중간 체인 오브 씽킹 (CoT) 근거를 생성한 후 안전 라벨을 예측함으로써 견고성을 향상시킵니다. 그러나 이 언어화 과정은 상당한 쿼리 지연 시간과 토큰 오버헤드를 초래하여, 고처리량 실시간 배포에는 실용적이지 않습니다.

핵심 연구 질문은 다음과 같습니다: 가드레일이 추론 시 명시적 추론 토큰을 생성하지 않으면서도 추론 감독의 견고성 혜택을 유지할 수 있을까요?

2. 방법론: COLAGUARD

저자들은 명시적 안전 근거를 연속적 재귀 상태로 내부화하는 잠재적 추론 안전 가드레일인 COLAGUARD를 제안합니다. 이 프레임워크는 추론을 자동회귀 토큰 생성에서 숨겨진 상태 전파로 전환하기 위해 단계별 훈련 커리큘럼을 사용합니다.

2.1 핵심 아키텍처

COLAGUARD 는 훈련 및 추론 동안 두 가지 모드 간에 전환하여 작동합니다:

1. 언어 모드: 모델은 표준 토큰 임베딩을 소비하고 다음 토큰을 자동회귀적으로 예측합니다.
2. 잠재 모드: 모델은 표준 토큰 임베딩을 소비하지 않습니다. 대신 이전 숨겨진 상태가 다음 입력 표현으로 피드백됩니다. 이를 통해 모델은 중간 근거 토큰을 생성하는 대신 연속적 잠재 공간에서 재귀 계산을 수행할 수 있습니다.

2.2 문맥 - 예측 융합 (CPF)

잠재적 추론의 주요 과제는 분포 불일치입니다: 사전 훈련된 LLM 은 토큰 임베딩에 최적화되어 있지, 순환된 문맥 숨겨진 상태에는 최적화되어 있지 않습니다. 이를 해결하기 위해 COLAGUARD 는 문맥 - 예측 융합(Liu et al., 2026 에서 영감) 을 채택합니다.

• 각 잠재 위치에서 모델은 이전 숨겨진 상태가 유도한 다음 토큰 분포로부터 예측 임베딩을 계산합니다.
• 재귀 입력은 문맥 숨겨진 상태 ($h_{t-1}$) 와 이 예측 임베딩 ($e_{pred}$) 을 융합하여 구성됩니다:
  $$\tilde{e}_t = \alpha h_{t-1} + (1 - \alpha) e_{pred}(h_{t-1})$$
• 경량 프로젝션 모듈이 이 융합된 표현을 모델 입력 공간으로 다시 매핑합니다. 이는 어휘 임베딩 공간의 의미적 앵커링을 유지하면서 잠재 재귀를 안정화합니다.

2.3 단계별 내부화 커리큘럼

훈련 과정은 추론을 내부화하기 위해 점진적인 커리큘럼을 따릅니다:

1. 단계 0 (명시적 워밍업): 모델은 명시적 추론 가드레일로서 훈련되어 구조화된 안전 근거를 생성한 후 최종 라벨을 생성합니다. 이는 견고한 추론 기준선을 확립합니다.
2. 점진적 교체: 후속 단계에서 자연어 근거 단계는 재귀적 잠재 위치로 점진적으로 대체됩니다. $m$단계의 근거에 대해, 첫 $k$단계는 $\ell_k$개의 잠재 위치로 대체됩니다.
3. 최종 압축: 마지막 단계는 모든 남은 명시적 근거 토큰을 제거하고, 지시, 프롬프트 및 응답은 유지한 채 잠재 스팬을 특정 예산 (예: 6 단계) 으로 고정합니다.

추론 시 COLAGUARD 는 지시, 프롬프트 및 응답만 수신하고 고정된 잠재 스팬을 추가한 후 재귀적 잠재 계산을 수행한 다음, 최종 안전 라벨을 자동회귀적으로 예측합니다. CoT 토큰은 생성되지 않습니다.

3. 주요 기여

1. COLAGUARD 프레임워크: 단계별 커리큘럼을 통해 명시적 안전 근거를 내부화하는 잠재적 추론 가드레일을 도입하여, 추론 시 자동회귀적 근거 생성 없이 조절을 가능하게 합니다.
2. 효율성 - 견고성 트레이드오프: COLAGUARD 가 명시적 추론 가드레일의 견고성을 유지하면서 추론 비용을 크게 줄인다는 것을 입증하여, 언어화된 근거 없이도 추론 기반 조절이 실용적일 수 있음을 보여줍니다.
3. 잠재 재귀 분석: COLAGUARD 가 고정된 자리 표시자로 수렴하는 대신 잠재 단계 전반에 걸쳐 점진적인 안전 관련 표현 이동을 보임으로써 바닐라 Coconut(기본 잠재 추론 방법) 보다 개선되었음을 보여주는 분석.

4. 실험 결과

모델은 ToxicChat, HarmBench, WildGuardTest, SafeRLHF 를 포함한 8 가지 안전 벤치마크에 걸친 10 가지 프롬프트 및 응답 조절 설정에서 평가되었습니다.

4.1 성능 (안전 견고성)

• 명시적 추론과의 비교: COLAGUARD(8B) 는 프롬프트 (84.23 대 84.40) 및 응답 (83.33 대 83.13) 에서 매크로-F1 점수로 명시적 추론 기준선인 **GuardReasoner(8B)**와 일치합니다.
• 분류와의 비교: COLAGUARD 는 Llama Guard 3(8B) 보다 매크로-F1 을 8.24 포인트 향상시켜, 잠재적 추론이 분류 전용 기준선보다 훨씬 우수함을 입증합니다.
• 모델 확장: COLAGUARD 의 3B 버전은 GuardReasoner 3B 와 경쟁력이 있으며, 8B 버전은 특히 응답 감지 분야에서 더 일관된 향상을 보입니다.

4.2 효율성

• 지연 시간: COLAGUARD 는 GuardReasoner 대비 추론 시간에서 12.9 배의 속도 향상을 달성합니다 (8B 모델 기준 쿼리당 342.0ms 대 4,407.8ms).
• 토큰 사용량: 쿼리당 토큰 사용량을 22.4 배 줄였습니다 (12.9 토큰 대 289.4 토큰).
• 효율성 조정 F1(EA-F1): COLAGUARD 는 훨씬 높은 EA-F1 점수 (8B 기준 2.36 대 GuardReasoner 0.18) 를 달성하여, 배포를 위한 우수한 정확도 - 효율성 트레이드오프를 나타냅니다.

4.3 제거 연구

• 잠재 역학: UMAP 및 코사인 유사도 기하학적 분석은 고정된 잠재 상태에 대한 초기 고정을 보이는 바닐라 Coconut 과 달리, COLAGUARD 가 재귀 단계 전반에 걸쳐 점진적인 클래스 분화를 보임을 드러냅니다. 이는 잠재 단계가 안전 관련 표현을 능동적으로 정제함을 시사합니다.
• 문맥 - 예측 융합: CPF 를 제거하고 (바닐라 Coconut 으로 복귀) ~1.96 포인트의 매크로-F1 하락을 초래하여, 표현적 붕괴를 방지하기 위해 융합 메커니즘이 필수적임을 확인했습니다.
• 데이터 확장: 성능은 훈련 데이터 크기에 따라 신뢰성 있게 확장되며, 127k 예제 GuardReasonerTrain 코퍼스가 최상의 결과를 산출합니다.

5. 중요성 및 주장

이 논문은 잠재적 추론이 배포 가능한 가드레일을 위한 명시적 근거 생성의 실용적인 대안을 제공한다고 주장합니다. 추론을 숨겨진 상태로 내부화함으로써 COLAGUARD 는 안전 견고성과 추론 효율성을 동시에 향상시켜, 이를 경쟁 목표가 아닌 상호 보완적인 목표로 취급합니다.

저자들은 COLAGUARD 가 견고하고 효율적이지만 인간 감독을 대체하는 것은 아니라고 강조합니다. 이는 특히 명시적 CoT 생성의 지연 시간이 prohibitive 한 고트래픽 실시간 환경을 위해 광범위한 조절 시스템의 일부로 설계되었습니다. 이 연구는 안전 모델의 "추론" 능력을 안전 결정의 품질을 희생하지 않고 연속적 잠재 공간으로 효과적으로 압축할 수 있음을 시사합니다.