기술 요약: Safety Game: 제약 최적화를 통한 블랙박스 LLM의 추론 시 정렬(Inference-Time Alignment)

1. 문제 정의

본 연구가 다루는 핵심 과제는 학습 시 정렬 방법(예: RLHF, 미세 조정)의 막대한 비용과 비유연성을 피하면서 대규모 언어 모델(LLM)이 안전 요구 사항을 준수하도록 보장하는 것입니다. 기존의 추론 시 정렬 방식은 모델의 내부 구조(가중치 또는 아키텍처)에 대한 접근을 요구하는 경우가 많아, 독점적인 블랙박스 API를 사용하는 제3자 이해관계자들에게는 실용적이지 않습니다. 또한, 현재의 방법들은 유익하고 정보가 풍부한 응답을 생성하는 것과 유해하거나 위험한 콘텐츠를 피하는 것 사이의 트레이드오프를 조절하는 데 어려움을 겪고 있습니다. 따라서 모델에 독립적이면서도, 베이스 모델을 재학습하지 않고 추론 시에 안전 제약 조건을 강제할 수 있는 블랙박스 프레임워크가 절실히 필요합니다.

2. 방법론: Safety Game 프레임워크

저자들은 유한한 후보 집합으로부터 응답을 선택하는 과정을 게임 이론에서 유도된 제약 최적화 문제로 취급하는 모델 불가지론적(model-agnostic) 프레임워크인 SAFETY GAME을 제안합니다.

2.1. 문제 정식화

LLM(플레이어 1)과 사용자(플레이어 2) 간의 상호작용은 일회성 불완전 정보 게임(one-shot, imperfect-information game)으로 모델링됩니다.

• 후보 집합: 주어진 프롬프트 $x$에 대해, 시스템은 유한한 후보 응답 집합 $R = \{r_1, \dots, r_m, r_s\}$를 고려합니다. 여기서 $r_s$는 유익함 상승(helpfulness lift)이 0이고 위험도(risk)가 0인 지정된 안전한 폴백(safe fallback)(예: 거절 또는 일반적인 안전한 문구)입니다.
• 스코어링: 각 후보 $r_i$에는 유익함 점수($h_i$)와 안전 위험 점수($s_i$)가 할당됩니다. 이 점수들은 베이스 LLM에 이진 프로브("이것이 유익한가?" / "이것이 유해한가?")를 질의하여 YES/NO 토큰의 로그 확률을 추정하는 **자기 탐사(self-probing)**를 통해 계산됩니다.
• 마진(Margins): 프레임워크는 폴백 대비 마진을 기준으로 작동합니다: $M_i = h_i - h_s$ (유익함 상승분) 및 $\Delta_i = s_i - s_s$ (추가 위험도).

2.2. 게임 이론적 유도

선택 문제는 두 플레이어 제로섬 게임으로 정식화됩니다. LLM은 불확실한 사용자 의도(선량함 vs 적대적 의도) 하에서 안전 정책 위반의 위험을 최소화하면서 기대 유익함을 최대화하기 위해 후보들에 대한 혼합 전략 $\pi$(확률 분포)를 결정합니다.

• 미니맥스 평형(Minimax Equilibrium): 이 게임은 안전 제약 조건 하에서 유익함을 최대화하는 미니맥스 평형을 찾습니다.
• 결정 레이어: 이 평형은 추론 시점에 해결되는 선형 계획법(Linear Programming, LP) 문제로 구현됩니다:
  $$\max_{\pi \in \Delta_m} \sum_{i=1}^m \pi_i M_i \quad \text{s.t.} \quad \sum_{i=1}^m \pi_i \Delta_i \leq T$$
  여기서 $T$는 안전 예산 파라미터입니다. 만약 LP를 실행할 수 없는 경우(infeasible), 시스템은 안전한 폴백 $r_s$를 기본값으로 사용합니다.

2.3. 강건성 및 구현

• 노이즈 신호: 프레임워크는 자기 탐사(또는 외부 스코러)가 노이즈가 섞인 추정치를 제공한다는 점을 인정합니다. 정리 3.1은 만약 위험 점수에 유계된 오차 $\epsilon_s$가 있다면, 더 엄격해진 제약 조건 $T' = T - 2\epsilon_s$를 적용함으로써 실제 위험이 $T$ 내에 머물도록 보장한다는 강건성 보증을 제공합니다.
• 매끄러운 완화(Smooth Relaxation): 경계 민감도와 노이즈 섞인 점수를 처리하기 위해, 하드 제약 조건의 시그모이드 완화(sigmoid relaxation)도 제안됩니다. 이는 안전 캡 근처에서 매끄러운 페널티 램프를 허용합니다.
• 블랙박스 호환성: 이 방법은 후보를 생성하고 이를 스코어링(자기 탐사 또는 외부 분류기를 통해)하기 위한 API 접근 권한만을 요구합니다. 이는 베이스 모델의 가중치를 수정하지 않습니다.

3. 주요 기여

1. 게임 이론적 결정 레이어: 본 논문은 불완전 정보 게임에서의 적응적 안전성에 기반하여 블랙박스 LLM을 위한 선택 규칙을 도출합니다. 이는 다음과 같은 두 가지 비자명한 설계 선택을 이끌어냅니다:
   • 폴백 상대적 마진(Fallback-Relative Margins): 최적화는 원시 점수가 아닌, 안전한 베이스라인 대비 개선 정도를 기준으로 수행됩니다.
   • 집계 위험 제약(Aggregate Risk Constraint): 안전은 개별 후보를 필터링하는 것이 아니라 혼합된 후보들의 (기대 위험)에 대해 제약됩니다. 이를 통해 경계선상의 안전한 후보들이 더 안전한 후보들에 의해 상쇄되어 선택될 수 있도록 합니다.
2. 결정 레이어의 경험적 검증: 실험을 통해 성능 향상이 스코러 자체가 아니라 LP 결정 레이어 자체에서 비롯됨을 입증했습니다. 고정된 외부 스코러(Llama-Guard-3-8B)를 사용할 때, LP 기반 선택기는 440개의 불안전한 프롬프트에 대해 최선의 임계값 기반 필터보다 81개 더 많은 인간 친화적 안전 응답을 복구해 냈습니다.
3. 확장 가능한 블랙박스 정렬: 이 프레임워크는 모델 내부 구조에 접근할 수 없는 이해관계자들에게 플러그 앤 플레이(plug-and-play) 솔루션을 제공하며, 모델 재학습 없이 다양한 모델 제품군에 걸쳐 안전성 강제를 가능하게 합니다.

4. 실험 결과

이 방법은 LLaMA-2, LLaMA-3, GPT-OSS를 포함한 5가지 서로 다른 LLM에 대해 HHH(Helpfulness, Harmlessness, Honesty), TruthfulQA, SafetyBench, SORRY-Bench의 네 가지 벤치마크에서 평가되었습니다.

• SafetyBench: 이 방법은 가장 큰 이득을 얻었으며, 5개 모델 중 4개에서 모든 베이스라인(ER-G/ER-D와 같은 Consensus Game 변형 포함)을 능가했습니다. 쌍체 McNemar 테스트 결과 통계적으로 결정적인 개선을 보였습니다 ($p < 10^{-4}$).
• SORRY-Bench: 이 방법은 5개 모델 중 3개 모델에서 가장 낮은 기대 인간 충족률(Expected Human Fulfillment Rate, HFR)을 달 기록했습니다. 특히, 공격적인 필터링으로 인해 HFR이 거의 0으로 수렴해 버리는 베이스라인들과 비교했을 때, 더 높은 거절 품질(단순한 거절이 아닌 유익한 대안을 제공함)을 유지했습니다.
• 일반 벤치마크 (HHH, TruthfulQA): 이 방법은 20개의 모델-벤치마크 설정 중 14개에서 최상의 베이스라인과 대등하거나 이를 능가했습니다. 이는 안전 정렬이 일반적인 유익함이나 진실성을 저하시키지 않았음을 보여줍니다.
• 과잉 거절 (Over-Refusal): 양호한 지시 이행 작업(AlpacaEval)에서, 이 방법은 파레토 프런티어(Pareto frontier)에 위치하면서도 베이스라인과 유사한 성능을 유지하며 파괴적인 과잉 거절 현상을 보이지 않았습니다.

5. 의의 및 주장

본 논문은 블랙박스 정렬 프레임워크의 생존 가능성을 확립했다고 주장합니다. 주요 의의는 안전 결정을 모델의 내부 학습으로부터 분리함으로써 다음을 가능하게 한다는 점에 있습니다:

• 민주화: 규모가 작거나 자원이 제한된 조직도 모델을 재학습해야 하는 재정적, 기술적 부담 없이 강력한 안전 관행을 강제할 수 있습니다.
• 유연성: 안전 제약 조건(예산 $T$를 통해)을 추론 시점에 업데이트하거나 조정할 수 있어, 재학습 없이 새로운 규제나 사회적 규범에 적응할 수 있습니다.
• 이론적 근거: 단순한 임계값 설정이나 랭킹이 제공할 수 없는 적응적 안전성에 대한 보증을 제공하며, 제약된 선택에 대한 원칙적인 게임 이론적 정당성을 제공합니다.

저자들은 한계점도 겸허히 언급했습니다: 이 방법의 성능은 측정 레이어(스코러 캘리브레이션)의 품질에 의존하며, 현재는 다회차 대화(multi-turn dialogue)보다는 단일 턴 선택(single-turn selection)에서 작동합니다. 그러나 본 연구는 기초 모델 아키텍처와 독립적으로 작동하는 확장 가능하고 접근 가능한 AI 안전의 새로운 방향을 제시합니다.