Do LLMs Follow Their Own Rules? A Reflexive Audit of Self-Stated Safety Policies

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 RLHF(인간 피드백을 통한 강화 학습) 등을 통해 안전 정책을 내재화하고 있지만, 이 정책은 공식적으로 명시되지 않아 검열하거나 검증하기 어렵습니다.

• 기존 연구의 한계: 현재 존재하는 안전 벤치마크 (SORRY-Bench, XSTest 등) 는 연구자가 정의한 외부 기준에 대한 모델의 준수 여부를 평가합니다.
• 핵심 질문: 모델이 스스로 진술한 안전 규칙과 실제 행동이 일치하는가?
  • 예: 모델이 "무기 합성 요청은 절대 거절한다"고 진술하면서도, 요청이 약간 재구성되면 이를 수행하는 경우, 이는 모델의 자체 정책 위반이지만 기존 벤치마크는 이를 '일관성 실패'로 감지하지 못합니다.
• 목표: 모델이 스스로 진술한 정책과 실제 행동 간의 불일치를 측정하고, 이를 통해 모델의 자기 일관성 (Self-Consistency) 을 평가하는 프레임워크 개발.

2. 방법론: SNCA 프레임워크 (Methodology)

저자들은 상징적 - 신경 일관성 감사 (Symbolic-Neural Consistency Audit, SNCA) 라는 3 단계 프레임워크를 제안합니다. 이 프레임워크는 모델이 정책 작성자이자 행동 주체라는 점을 활용합니다.

3 단계 프로세스:

1. Phase 1: 규칙 추출 및 유형화 (Rule Extraction & Typing)

   • 프로토콜: 각 모델에게 45 가지 해악 카테고리 (SORRY-Bench 기준) 에 대해 구조화된 5 가지 질문 (기본 행동, 거절 조건, 준수 조건, 문맥/프레임 민감성, 정책 선언) 을 통해 자신의 안전 정책을 구체적으로 진술하게 합니다.
   • 유형화 (Predicate Typing): 추출된 정책을 별도의 판사 모델 (Judge Model) 이 다음 4 가지 유형으로 분류합니다.
     • Absolute (절대적): 예외 없이 모든 요청을 거절함.
     • Conditional (조건부): 기본적으로 거절하지만, 특정 조건 (교육적 목적 등) 이 충족되면 준수함.
     • Adaptive (적응형): 조건뿐만 아니라 문장 구조나 문맥 (가상, 전문적 맥락 등) 에 따라 반응이 달라짐.
     • Opaque (불투명): 정책이 너무 모호하여 테스트 가능한 명제로 변환 불가.

2. Phase 2: 행동 테스트 (Behavioral Testing)

   • 추출된 규칙 정보를 모델에 주지 않은 상태에서, 중립적인 시스템 프롬프트 하에 벤치마크 데이터 (SORRY-Bench, XSTest, OR-Bench) 를 사용하여 모델의 실제 응답을 수집합니다.
   • 응답은 키워드 기반 필터와 LLM 판사 (Tier 2) 를 통해 거절 (REFUSE), 준수 (COMPLY), 부분 준수 (PARTIAL) 로 분류됩니다.

3. Phase 3: 예측 및 일관성 점수화 (Prediction & Scoring)

   • 예측 로직: Phase 1 에서 도출된 규칙 유형과 벤치마크 항목의 특성을 기반으로 모델이 어떻게 반응해야 하는지 결정론적으로 예측합니다 (예: 절대적 규칙은 유해한 항목에 대해 거절을 예측).
   • SNCS (Symbolic-Neural Consistency Score) 계산: 예측된 행동과 관찰된 행동이 일치하는 비율을 계산합니다.
     • $SNCS = \frac{\text{예측과 관찰이 일치한 항목 수}}{\text{점수 산정 가능 항목 수}}$
   • 위반 유형 분류: 불일치 시 Abs-Comply(절대적 규칙 위반), Cond-Leak(조건 누락 준수), Frame-Mismatch(문맥 민감성 불일치) 로 분류합니다.

3. 주요 기여 (Key Contributions)

1. 반성적 안전 감사 (Reflexive Safety Audit) 도입: 동일한 모델을 정책 작성자와 행동 주체로 간주하여, 모델이 스스로 진술한 규칙과 실제 행동 간의 일관성을 직접 측정하는 최초의 프레임워크입니다.
2. 유형화된 술어 분류 체계: 안전 정책을 Absolute, Conditional, Adaptive 로 분류하는 체계적 분류법을 제안하여 규칙 유형별 분석을 가능하게 했습니다.
3. 아키텍처에 따른 자기 일관성 차이 규명:
   • 추론 모델 (Reasoning Models): 진술 가능한 정책에서 높은 일관성 (SNCS) 을 보이지만, 29% 의 카테고리에서 정책을 명확히 진술하지 못하는 (Opaque) 경향이 있어 일관성과 진술 가능성 간의 트레이드오프가 존재함을 발견했습니다.
   • 비추론 모델: 모든 카테고리에 대해 정책을 진술하지만, 실제 행동은 이를 따르지 않아 일관성 점수가 낮습니다 (0.25~0.55).
4. 모델 간 정책 불일치 발견: 45 개 해악 카테고리 중 4 개 모델이 모두 동일한 규칙 유형을 진술한 경우는 11% 에 불과하여, 안전 정렬 (Safety Alignment) 이 공유된 암묵적 정책으로 수렴하지 않음을 보였습니다.

4. 실험 결과 (Results)

• 평가 대상: GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B, o4-mini(추론 모델) 등 4 개 최첨단 모델.
• 데이터: 45 개 해악 카테고리, 총 47,496 개의 행동 관찰.
• 주요 발견:
  • 전반적인 일관성 부족: 모델별 전체 SNCS 는 o4-mini(0.800) > GPT-4.1(0.545) > DeepSeek(0.294) > Llama(0.245) 순으로 나타났습니다.
  • 주요 위반 유형: 모든 모델에서 Abs-Comply(절대적 거절 규칙을 진술했으나 유해한 요청을 수행함) 위반이 가장 우세했습니다 (DeepSeek 와 Llama 는 위반의 87% 가 이 유형).
  • 모델 간 합의 부족: 모델 간 규칙 유형 일치율은 평균 46% 로 낮았으며, o4-mini 는 29% 의 카테고리에서 정책을 진술하지 못해 (Opaque) 다른 모델과의 일치율이 특히 낮았습니다.
  • 강건성 (Robustness) 문제: 문장 변형 (Paraphrase) 이나 모호성이 포함된 경우, 모든 모델의 거절률이 급격히 하락하여 SNCS 가 크게 떨어졌습니다. 특히 '종교 전도'나 '위험한 금융 조언'과 같은 모호한 카테고리에서 SNCS 가 거의 0 에 수렴했습니다.
  • 데이터 소스: 모든 위반 사례는 명확히 유해한 것으로 간주되는 SORRY-Bench 에서 발생했으며, XSTest 나 OR-Bench(안전하거나 경계선 사례) 에서는 위반이 발생하지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전 평가의 새로운 차원: 기존 행동 기반 벤치마크만으로는 모델의 안전성을 완전히 이해할 수 없음을 시사합니다. 모델이 "무엇을 하겠다고 말했는지"와 "무엇을 실제로 했는지"의 차이를 측정하는 반성적 일관성 감사가 필수적인 보완 도구임을 강조합니다.
• 설계적 통찰: 모델 아키텍처 (추론 유무 등) 가 안전 정책의 진술 가능성과 행동 일관성에 결정적인 영향을 미칩니다.
• 향후 방향: 모델의 내재된 정책 (Latent Policy) 과 진술된 정책 간의 괴리를 줄이고, 더 다양한 도메인과 명시적 안전 헌법을 가진 모델들에 대한 SNCA 적용이 필요함을 제안합니다.

이 논문은 LLM 의 안전성이 단순히 외부 공격에 대한 방어력이 아니라, 모델 스스로가 정의한 경계를 얼마나 일관되게 유지하는지에 대한 근본적인 질문을 던지며, 안전성 평가 패러다임의 전환을 요구합니다.