기술 요약: 구성적 경계와 안전 지속성을 통한 LLM 안전성을 위한 인증된 다회차 강건성

1. 문제 정의

대화형 애플리케이션에 배포된 대규모 언어 모델(LLM)은 **다회차 탈옥 공격(multi-turn jailbreak attacks)**에 점점 더 취약해지고 있습니다. 단일 회차 공격과 달리, 이러한 위협(예: Crescendo, X-Teaming)은 여러 번의 상호작용에 걸쳐 대화 문맥을 점진적으로 조작하며, 종종 최첨단 방어 체계에 대해 완벽에 가까운 성공률을 달행합니다.

기존의 인증된 강건성 방법(예: 랜덤화 평활화(randomized smoothing), 삭제 및 확인(erase-and-check))은 단일 입력 설정에 국한됩니다. 이러한 방법들을 다회차 시나리오로 직접 확장하는 방식은 단일 회차의 안전 확률을 곱하는 것을 포함합니다. 그러나 이 접근 방식은 회차 수($k$)가 증가함에 따라 지수적으로 저하되는 경계를 생성합니다. 최악의 경우 회차당 안전 확률이 $p < 1$이라면, $k$-회차 경계는 $p^k$가 되어 중간 정도의 $k$(예: 50회차 동안 0.95에서 0.08로 하락)에 대해 무의미해집니다. 이러한 지수적 저하는 안전이 필수적인 애플리케이션에 실질적인 보증을 제공하지 못합니다.

본 논문은 다회차 대화를 **상태-적대적 마르코프 결정 과정(State-Adversarial Markov Decision Processes, SA-MDPs)**으로 모델링합니다. 이 프레임워크에서:

• 상태 ($s_t$): 대화 이력은 함수 $\phi$를 통해 임베딩 공간으로 매핑됩니다.
• 적대자: 참조 입력 주변의 $\epsilon$-섭동 구(ball) 내에서 사용자 메시지 $u_t$를 선택합니다.
• 전이(Transition): 시스템은 $s_t = T(s_{t-1}, u_t, r_t)$를 통해 진화하며, 여기서 $r_t$는 LLM의 응답입니다.
• 안전성: 상태 공간을 안전 영역($S^+$)과 불안전 영역($S^-$)으로 분할하는 술어(predicate)에 의해 정의됩니다.

목표는 적응형 적대자에 맞서 $k$ 회차 동안 안전성을 유지할 최악의 확률을 나타내는 $k$-회차 인증된 강건성($\rho_k$)을 정의하고 계산하는 것입니다.

2. 방법론: 다회차 인증된 강건성 (MTCR)

저자들은 대화 상태 공간의 구조적 특성을 활용하여 지수적 저하를 피하는 MTCR 프레임워크를 제안합니다. 이 프레임워크는 네 가지 통합된 구성 요소로 이루어져 있습니다.

2.1 모드 분해를 통한 구성적 인증

MTCR은 대화를 독립적인 회차의 시퀀스로 취급하는 대신, 안전한 상태 공간 $S^+$를 일련의 모드(modes) $\mathcal{M} = \{m_1, \dots, m_M\}$ (임베딩 공간 내의 클러스터)로 분해합니다.

• 모드 내 안전성(Intra-mode Safety): 특정 모드 내에서 안전하게 유지될 확률을 인증합니다.
• 모드 간 전이(Inter-mode Transitions): 모드 간에 안전하게 전이될 확률을 인증합니다.
• 경계 타이트니스(Bound Tightness): 모드 내 안정성과 전이 비용을 분리함으로써, 구성적 경계는 단순한 곱셈 경계($p^k$)보다 훨씬 더 타이트합니다. 경계는 중첩 계수 $\kappa$에 의해 스케일링된 모드 내 확률과 전이 확률의 곱으로 계산됩니다.
• 계산: 모드 전이 그래프 상의 최악의 궤적은 동적 계획법(dynamic programming)을 사용하여 $O(M^2k)$ 시간 안에 효율적으로 계산됩니다.

2.2 $(\alpha, \beta)$-안전 지속성

이 프레임워크는 안전 마진이 어떻게 진화하는지를 특징짓는 구조적 속성인 **안전 지속성(Safety Persistence)**을 도입합니다.

• 정의: 시스템이 $(\alpha, \beta)$-안전 지속성을 가진다는 것은, 확률이 최소 $\beta$인 상태에서 적대적 회차 이후에도 안전 마진 $\Delta(s)$가 이전 값의 최소 $(1-\alpha)$ 비율을 유지함을 의미합니다.
• 영향: 이 속성 하에서, 강건성 경계는 $p^k$가 아닌 $\beta^k$로 저하됩니다. 만약 $\beta > p$라면, 경계는 엄격하게 개선됩니다.
• 호라이즌 추정: 이를 통해 선형적 특성($1 - k(1-\beta)$)으로부터 목표 안전 수준을 유지하기 위해 필요한 최대 대화 길이($k_{max}$)에 대한 해석 가능한 추정치를 얻을 수 있습니다.

2.3 타이트니스 및 불가능성 결과

본 논문은 인증에 대한 이론적 한계를 확립합니다.

• 타이트니스(Tightness): 비중첩 모드 분해($\kappa=1$)의 경우, 구성적 하한(lower bound)이 정보 이론적 상한(upper bound)과 일치하여, 이 접근 방식이 그러한 시스템에 대해 타이트함을 증로합니다.
• 불가능성(Impossibility): 구조적 가정(모드 분해 또는 지속성 등)이 없는 경우, 지수적 저하($p^k$)는 피할 수 없습니다. 저자들은 이러한 구조가 없는 메모리리스(memoryless) 시스템의 경우, 단순한 경계가 타이트함을 증명합니다.

2.4 통합 알고리즘

통합 알고리즘(Algorithm 1)은 구성적 경계와 지속성 파라미터를 결합합니다. 이는 구조적 안정성과 마진 진화를 모두 활용하여, 지속성 전용 경계와 구성적-지속성 결합 경계 중 최댓값을 계산함으로써 최종 인증된 보증을 산출합니다.

3. 실험 결과

저자들은 정적 $\epsilon$-유계 섭동(perturbation)과 적응형 Crescendo 스타일 공격이라는 두 가지 공격 유형 하에서 6개의 프로덕션 LLM(LLaMA-2, Vicuna, Llama-3.2, Qwen2.5, GPT-4o, Claude-3.5-Sonnet 포함)을 대상으로 MTCR을 평가했습니다.

• 경계 유효성: 실험적 안전성은 모든 모델과 호라이즌($k \in \{5, 10, 15, 20\}$)에 대해 인증된 MTCR 경계를 일관되게 상회했습니다. 실험적 안전성과 인증된 경계 사이의 격차는 +0.19에서 +0.30 사이였으며, 이는 실제 환경에서 경계가 위반되지 않음을 확인시켜 줍니다.
• 단순 경계 대비 개선 사항: MTCR은 $k=5$에서 단순 곱셈 경계($p^k$)보다 1.2~1.6배 더 타이트한 인증된 경계를 제공했습니다.
• 모델 정렬(Alignment): 인증된 경계는 모델의 정렬 강도와 상관관계가 있었습니다. 폐쇄형 모델(GPT-4o, Claude-3.5)은 오픈 소스 모델에 비해 더 높은 경계와 더 느린 저하율을 달성했으며, 이는 더 강력한 기저의 안전 지속성을 시사합니다.
• 절제 연구(Ablation Studies): 결합된 공식(Theorem 3.11)이 "지속성 전용" 및 "구성적 전용" 변형 모델보다 일관되게 우수한 성능을 보였으며, 이는 모드 구조와 지속성을 공동으로 활용하는 것의 가치를 입증합니다.
• 민감도: 프레임워크는 섭동 예산($\epsilon$)과 모드 세밀도($M$)에 대해 예상된 민감도를 보였습니다. 모드가 세밀해질수록 중첩이 증가하여 잠재적으로 경계가 저하될 수 있습니다.

4. 의의 및 주장

본 논문은 다회차 LLM 대화에 대한 인증된 안전성을 위한 최초의 이론적 프레임워크를 도입했다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 지수적 저하 극복: 단순 곱셈에서 구성적 경계 및 안전 지속성으로 전환함으로써, 기존 방법들이 실패했던 다회차 상호작용에 대해 비공허한(non-vacuous) 보증을 제공합니다.
2. 형식적 보증: $\epsilon$-유계 적대자(문자 레벨)에 대한 형식적이고 최악의 경우를 고려한 확률적 보증을 제공하며, 이를 강력한 의미론적 공격(Crescendo)에 대해 경험적으로 검증했습니다.
3. 진단적 유용성: 이 프레임워크는 배포 전 감사 도구로서, 타겟팅된 안전 튜닝을 유도하기 위해 특정 "안전 병목 구간"(낮은 모드 내 안전성 또는 위험한 전이를 가진 모드)을 식별하는 데 사용됩니다.
4. 이론적 근거: 구조적 가정(모드, 지속성)이 서브-지수적(sub-exponential) 강건성 경계를 달성하기 위해 필수적임을 확립하며, 이러한 구조가 없다면 지수적 저하가 불가피함을 증명합니다.

저자들은 형식적 인증이 현재 $\epsilon$-유계 섭동(문자 레벨)에 국한되어 있으며 휴리스틱한 모드 발견에 의존한다는 점을 인정하며 신중한 입장을 유지합니다. 또한, 경험적 안전성이 Crescendo와 같은 의미론적 공격으로 일반화되지만, $\epsilon$-볼 외부의 형식적 보증은 여전히 해결 과제로 남아 있다고 언급합니다. 이 프레임워크는 랜덤화 평활화의 계산 비용으로 인해 실시간 추론보다는 오프라인 인증(감사)을 위해 설계되었습니다.