Consensus Sampling for Safer Generative AI

기술 요약: 안전한 생성형 AI 를 위한 합의 샘플링

문제 제기
본 논문은 출력 검사만으로는 명백히 탐지 불가능한 안전 위험을 완화하기 위해 여러 생성 모델을 집계하는 과제를 다룹니다. Cohen [1987], de Witt 등 [2023], Zamir [2024], Motwani 등 [2024], Perry 등 [2025] 의 연구를 인용하여, 저자들은 스테가노그래피 (이미지나 텍스트에 비밀을 숨기는 것) 와 임베디드 코드 취약점과 같은 위험은 초지능적 감독을 하더라도 최종 출력을 검토하는 것만으로는 신뢰할 수 있게 식별하거나 제거할 수 없다고 지적합니다. 모델 활성화나 출력을 검사하는 전통적인 안전 방법은 이러한 '정렬 불일치 (misalignment)' 위험에 대해 불충분합니다.

핵심 수학적 문제는 강건한 집계 (robust aggregation) 작업으로 정의됩니다: $k$개의 확률 분포 (각각 $k$개의 모델에 의해 유도됨) 가 주어졌을 때, 소수의 안전하지 않거나 적대적인 구성 요소에 견딜 수 있는 새로운 분포를 어떻게 구성할 수 있는가? 목표는 어떤 특정 모델이 안전한지 알 필요 없이, 충분한 비율 ($s$) 의 모델이 안전하고 출력 확률에서 충분한 중첩 (overlap) 을 보인다면, 안전한 샘플을 생성하는 것입니다.

방법론: 합의 샘플링 (Consensus Sampling)
저자들은 오라클 접근 (oracle access) 가정 하에 작동하는 블랙박스 알고리즘인 합의 샘플링을 제안합니다. 이는 각 분포 $p_i$에서 샘플링하고 임의의 후보 출력 $y$에 대해 확률 $p_i(y)$를 평가할 수 있는 능력을 의미합니다.

1. 핵심 직관: 이 방법은 통계학에서 중앙값의 강건성에 영감을 받았습니다. 평균보다 중앙값이 이상치에 덜 민감한 것처럼, 이 알고리즘은 여러 모델이 높은 확률을 부여하는 출력을 찾습니다. 단일 모델이 적대적이라 하더라도, 해당 출력이 진정으로 안전하지 않는 한 $s$개의 독립적인 안전한 모델과 특정 고확률 출력에 대해 동의할 가능성은 낮습니다.
2. 알고리즘 (알고리즘 1):
   • 입력: $k$개의 분포, 안전한 분포의 목표 수 $s$, 그리고 위험 허용도 매개변수 $R$.
   • 과정: 알고리즘은 $R$라운드를 실행합니다. 각 라운드에서, 모든 $k$개 분포의 균일 혼합물에서 후보 $y$를 샘플링합니다. 그런 다음, $y$에 할당된 $s$개의 가장 작은 점별 확률 ($p^{(1)}(y) \dots p^{(s)}(y)$로 표기) 의 평균과 모든 $k$개 확률의 평균 비율을 기반으로 수용 확률을 계산합니다.
   • 출력: 수용되면 $y$가 반환됩니다. $R$라운드 후에도 샘플이 수용되지 않으면 알고리즘은 **거부 (abstains)**합니다 ($\perp$를 반환).
3. 기저 분포: 알고리즘은 효과적으로 $s$개의 가장 작은 확률의 합에 비례하는 분포 $q^*$를 근사하기 위해 기각 샘플링 (rejection sampling) 을 수행합니다: $q^*(y) \propto \sum_{i=1}^s p^{(i)}(y)$.

주요 기여 및 이론적 보장

• $R$-강건성: 논문은 $R$-강건성이라는 보장을 형식화합니다. 분포가 $R$-강건하다는 것은 위험 (집합 $U$ 내의 안전하지 않은 출력을 생성할 확률) 이 $s$개의 가장 안전한 입력 분포의 평균 위험을 최대 $R$배 이하로 제한함을 의미합니다.
  • 정리 5.2: 합의 샘플링 알고리즘의 출력은 입력 분포에 대해 $R$-강건합니다. 이는 '안전'의 형식적 정의를 위험이 낮은 출력 집합의 존재성 이상으로 요구하지 않고, 임의의 고정된 프롬프트와 임의의 안전하지 않은 집합 $U$에 대해 성립합니다.
• 적대적 강건성: 크기 $s$인 집합 $S$가 평균 위험 $\epsilon$을 가진 안전한 모델을 포함할 경우, 알고리즘의 출력 위험은 $\epsilon R$로 제한됩니다. 이는 $k-s$개의 모델을 통제하는 적대자가 다수의 모델을 타격하거나 안전하지 않은 출력에 동의하도록 강요하지 않는 한, 시스템을 안전하지 않은 데이터 출력으로 강제할 수 없음을 의미합니다.
• 정보 누출 한계: 논문은 $R$-강건성이 특히 스테가노그래피 맥락에서 정보 누출을 제한함을 보여줍니다.
  • 누출 시뮬레이션: 알고리즘의 출력은 안전한 분포와 단일 정수 $t \in [R+1]$만을 사용하여 시뮬레이션할 수 있습니다. 이는 알고리즘이 적대적 모델에 의해 인코딩된 비밀 메시지에 대해 최대 $\log(R+1)$비트의 정보만 누출함을 의미합니다.
  • 스테가노그래피: 안전한 모델이 비밀 메시지를 해독할 확률이 낮을 때 ($\epsilon$), 합의 샘플러의 해독 확률은 $\epsilon R$로 제한됩니다.
• 파레토 최적성: 저자들은 최악의 경우 위험과 거부율 간의 트레이드오프가 파레토 최적임을 보여줍니다. 알고리즘은 거부율을 증가시키지 않고는 안전성 (위험 감소) 을 개선할 수 없으며, 그 반대도 마찬가지입니다.
• 거부 한계: 거부 확률은 안전한 분포 간의 **중첩 (overlap, $\Delta$)**에 의존합니다. 대다수의 분포가 안전하고 ($s > k/2$) 상당한 중첩을 보인다면, 거부율은 $R$에 따라 지수적으로 감소합니다. 그러나 안전한 모델 간의 중첩이 낮은 경우 (언어 모델에서 흔한 문제), 거부율은 높을 수 있습니다.

실험 결과
논문은 두 가지 실험을 통해 메커니즘을 검증합니다:

1. 합성 하이퍼큐브: $\{0, 1\}^{64}$에 대한 분포를 사용하여, 비밀을 인코딩하는 하나의 적대적 소스가 있는 시나리오를 시뮬레이션했습니다. 결과는 이론적 트레이드오프를 확인했습니다: 숨겨진 메시지 길이가 증가함에 따라 (안전한 분포 하에서 안전하지 않은 사건이 더 희귀해짐), 알고리즘은 안전하지 않은 출력을 더 효과적으로 억제했으며, $R$을 증가시키면 거부율이 감소했습니다.
2. 이미지 스테가노그래피: Janus-Pro-7B 모델을 사용하여, 신용카드 번호를 이미지에 인코딩하는 스테가노그래피 방식 (Zamir [2024]) 을 적용한 이미지 생성에 알고리즘을 테스트했습니다.
   • 3 개 소스 (2 개 안전, 1 개 스테가노그래피) 의 표준 균일 혼합물은 33% 의 확률로 안전하지 않은 이미지를 생성했습니다.
   • $R=1$에서 $R=3$까지의 합의 샘플링은 신뢰 구간 내에서 안전하지 않은 비율을 0% 로 줄였으며, 동시에 0% 가 아닌 거부율을 유지했습니다. $R=4$에서 거부율은 0% 로 떨어졌으며, 시험 중 0% 의 안전하지 않은 출력을 유지했습니다.

의의 및 주장
본 논문은 해석 가능성, 특정 모델 아키텍처, 또는 출력에 대한 인간/AI 검사를 요구하지 않는 생성형 AI 안전을 위한 모델 중립적 (model-agnostic) 접근법을 제공한다고 주장합니다.

• 패러다임 전환: 이는 '나쁜 출력을 탐지하고 제거하는' 것 (특정 위험에 대해서는 명백히 불가능함) 에서 '적대적 영향을 제한하기 위해 분포를 집계하는' 것으로 안전의 초점을 이동시킵니다.
• 중첩을 통한 강건성: 안전 - 거부 트레이드오프를 지배하는 핵심 양으로 안전한 분포 간의 중첩을 규명합니다.
• 한계: 저자들은 범위에 대해 겸손합니다. 이 방법은 모든 입력 모델이 안전하지 않다면 안전한 출력을 보장하지 않습니다. 이는 여러 개의 안전한 모델과 그들 간의 충분한 중첩을 요구합니다. 안전한 모델을 훈련하는 방법을 제공하는 것이 아니라 기존 모델들을 집계하는 메커니즘을 제공합니다. 스테가노그래피와 같은 탐지 불가능한 위험을 다루지만, 더 넓은 사회적 해악이나 다단계 상호작용에서 발생하는 해악은 다루지 않습니다.

결론적으로, 이 작업은 여러 모델의 합의를 활용하여 생성형 AI 출력의 위험을 제한하는 이론적 프레임워크와 효율적인 알고리즘을 제공하며, 검사만으로는 달성할 수 없는 적대적 조작에 대한 형식적 보장을 제공합니다.