기술 요약: BEAVER – 효율적인 결정론적 LLM 검증기

1. 문제 정의

대규모 언어 모델 (LLM) 이 연구용 프로토타입에서 생산 시스템으로 전환됨에 따라, 실무자들은 "테일 리스크 (tail risk)"—개인 정보 유출, 불안전한 코드 생성, 유해 콘텐츠 생성과 같은 드물지만 영향력이 큰 실패—를 특성화하는 데 있어 중대한 과제를 직면하고 있습니다. 현재 배포 관행은 벤치마킹, 레드팀 (red-teaming) 실험, 샘플링 기반 추정치를 포함한 임의의 경험적 방법에 거의 전적으로 의존합니다. 이러한 방법들은 직관을 제공하지만, 모델 행동에 대해 타당한 보장 (sound guarantees) 을 전혀 제공하지 못합니다.

LLM 을 검증하는 데 있어 핵심적인 어려움은 단일 결정론적 출력을 생성하는 대신 출력 시퀀스에 대한 확률 분포를 유도하는 자기회귀 (auto-regressive) 모델로서의 본질에 있습니다. 기존 신경망 검증기는 결정론적인 입력 - 출력 관계를 대상으로 하며, 자기회귀 생성에 특화된 확률적 선택, 순차적 언롤링 (sequential unrolling), 그리고 디코딩 로직의 조합을 처리할 수 없습니다. 결과적으로, 모델 규모와 출력 공간의 기하급수적 증가로 인해 LLM 의 타당한 검증은 불가능한 것으로 간주되어 왔습니다.

2. 방법론

본 논문은 LLM 이 안전 속성을 만족할 확률에 대한 결정론적이고 타당한 확률 상한 및 하한을 계산하는 최초의 실용적 프레임워크인 BEAVER를 제시합니다. 이 접근법은 많은 안전 속성이 선형 시간 논리 (LTL) 형태인 $G\phi$(“나쁜 일이 결코 발생하지 않는다”를 주장) 를 따른다는 관찰에 기반합니다. 이러한 속성의 경우, 위반 사항을 조기에 감지할 수 있으므로 생성 공간을 공격적으로 가지치기 (pruning) 할 수 있습니다.

핵심 자료 구조

BEAVER 는 출력 공간을 체계적으로 탐색하기 위해 두 가지 새로운 자료 구조를 활용합니다:

1. 토크 트라이 (Token Trie, $T$): 안전 제약 조건 $\Phi$를 만족하는 모든 탐색된 시퀀스를 추적하는 접두사 트리입니다. 각 노드는 연관된 확률 $\mu(s)$를 가진 토큰 시퀀스 $s$를 나타냅니다. 트리는 $\Phi$의 접두사 폐쇄 (prefix-closed) 속성을 만족하는 시퀀스만 저장합니다.
2. 프론티어 (Frontier, $\Psi$): 토크 트라이의 리프 노드 집합으로, 다음과 같이 나뉩니다:
   • $\Psi_c$: 완료된 시퀀스 (<eos>로 끝남).
   • $\Psi_i$: 확장이 가능한 미완료 시퀀스.

알고리즘: 분기 - 한계 (Branch-and-Bound)

BEAVER 는 생성된 응답이 $\Phi$를 만족할 확률 $P$에 대한 확률 상한 및 하한 $[P_{LB}, P_{UB}]$를 반복적으로 강화하는 분기 - 한계 알고리즘을 사용합니다:

• 초기화: 트리는 루트 (빈 시퀀스) 로 시작합니다. $P_{LB} = 0$이고 $P_{UB} = 1$입니다.
• 선택: 프론티어에서 미완료 노드 $n[x]$를 선택합니다 (일반적으로 고확률 시퀀스를 우선시하는 탐욕적인 Max-$\mu$ 휴리스틱을 사용).
• 확장: 모델에 다음 토큰 확률 $P_M(\cdot | p \cdot x)$를 쿼리합니다. $\Phi$를 만족하는 유효한 확장 $x \cdot t$를 트리에 추가합니다.
• 업데이트: 경계를 재계산합니다:
  • $P_{LB}$는 $\Psi_c$에 있는 모든 완료된 만족 시퀀스의 확률 합계입니다.
  • $P_{UB}$는 $\Psi_i \cup \Psi_c$에 있는 모든 시퀀스의 확률 합계에 **가지치기된 질량 누적기 (Pruned Mass Accumulator, $M_p$)**를 더한 값입니다.
• 타당성 (Soundness): 확장성을 보장하기 위해 저확률 토큰이나 시퀀스가 가지치기될 경우 (예: top-$p$ 또는 top-$k$ 필터를 통해), 그들의 누적 확률 질량이 $M_p$에 추가됩니다. 이는 가지치기 여부와 관계없이 모든 반복에서 $P_{UB}$가 유효한 상한 ($P_{LB} \le P \le P_{UB}$) 이 되도록 보장합니다.

알고리즘은 최대 forward pass 예산에 도달하거나 $P_{UB} - P_{LB}$ 간격이 허용 오차 $\epsilon$ 미만으로 떨어질 때 종료됩니다.

3. 주요 기여

1. 형식화: 저자들은 LLM 테일 리스크 평가를 $G\phi$ 형태의 안전 속성에 대한 확률 경계 계산이라는 검증 문제로 형식화했습니다. 타당한 경계 계산을 가능하게 하는 토크 트라이와 프론티어 자료 구조를 도입했습니다.
2. BEAVER 알고리즘: 형식적 타당성 증명을 갖춘 새로운 분기 - 한계 검증 알고리즘입니다. 이는 실제 확률로 수렴하는 유효한 확률 구간을 모든 반복에서 생성합니다.
3. 실증적 검증: 이 프레임워크는 12 개의 오픈 가중치 지시 튜닝 모델(Llama, Qwen, Gemma, Phi, OLMo, Mistral 계열 전반) 과 네 가지 안전 속성에 대해 평가되었습니다:
   • 개인 정보 유출 (Enron 이메일 데이터셋).
   • 불안전한 코드 생성 (CyberSecEval).
   • 고정관념 편향 (DecodingTrust).
   • 유해성 (RealToxicityPrompts).

4. 결과

평가 결과, BEAVER 는 효율성과 리스크 감지 측면에서 샘플링 기반 베이스라인을 크게 능가하는 것으로 나타났습니다:

• 리스크 감지: BEAVER 는 1/10 의 컴퓨팅 예산(SV 대비 100 회 forward pass 대 ~1000 회) 으로 운영되더라도 샘플링 기반 검증기 (SV) 보다 2.5 배에서 3.3 배 더 많은 위험한 인스턴스를 식별합니다.
• 테일 리스크 표출: BEAVER 는 임의의 평가가 안전하다고 선언한 프롬프트의 상당 부분에서 비자명한 테일 리스크 (위반 확률 $\ge 10\%$) 를 인증합니다.
• 작업 의존적 프로파일: 결과는 리스크 프로파일이 작업에 크게 의존하며 모델 크기와 명확하게 상관관계가 없음을 보여줍니다. 예를 들어, Qwen3-4B 는 개인 정보 및 코드 보안에서 높은 리스크를 보이지만 유해성에서는 안전하는 반면, Gemma-3-4B 는 반대 패턴을 보입니다.
• 효율성: BEAVER 는 소규모 월클락 시간 (예: Enron 의 경우 약 9.4 초, Secure Code 의 경우 약 18.8 초) 내에 엄격한 경계 ($\epsilon=0.01$) 로 수렴하며, 인스턴스당 5MB 미만의 메모리 풋프린트를 가집니다.
• 분포 인증: 논문은 프롬프트별 보장이 통계적 기법 (Clopper-Pearson) 과 결합되어 대규모 입력 공간에 대한 분포적 안전 보장을 제공할 수 있음을 증명하며, 이는 기존 평가 방법이 제공하지 못하는 기능입니다.

5. 중요성 및 주장

본 논문은 LLM 행동의 결정론적 검증이 실제 배포에 있어 가능하고 실용적이라고 주장합니다. 임의의 샘플링을 넘어선 BEAVER 는 단일 숫자 안전 점수로는 보이지 않는 테일 리스크를 표출할 수 있는 원칙적인 리스크 평가를 가능하게 합니다.

저자들은 이 접근법이 통계적 추정이 아닌 타당한 보장을 제공한다고 강조합니다. 이는 10% 의 위반률이 생산 환경에서 수천 개의 불안전한 출력으로 이어질 수 있는 안전-중요 (safety-critical) 시나리오에서 중요합니다. 이 프레임워크는 LLM 테일 리스크를 타당하고 처리 가능한 방식으로 특성화할 수 있음을 입증하여, 현재 경험적 평가 방법에 대한 엄격한 대안을 제시합니다.

한계점: 현재 프레임워크는 접두사 폐쇄 안전 속성 ($G\phi$) 을 대상으로 하지만, 접두사 비폐쇄 속성으로의 확장을 인정합니다. 이는 전체 토큰 확률 분포에 대한 화이트박스 접근에 의존하며, 선택을 위해 휴리스틱 (Max-$\mu$) 을 사용하는데, 저자들은 더 어려운 명세에 대해서는 학습된 가치 함수로 개선될 수 있다고 지적합니다.