기술적 요약: 정렬된 언어 모델의 취약한 안전성 진단

문제 정의

인간 피드백을 통한 강화 학습 (RLHF) 및 헌법적 AI 와 같은 기술을 활용하는 현재의 안전성 정렬 패러다임은 표준 가정 하에서 악의적 지시를 거부하고 정적 안전 정책을 준수하도록 모델을 성공적으로 훈련시켰습니다. 그러나 이러한 벤치마크는 고정된 프롬프트나 적대적 공격 (예: 저일브레이크) 에 의존하는 경우가 많아, 현실 세계의 안전성이 갖는 맥락적 특성을 포착하지 못합니다.

저자들은 취약한 안전성 (brittle safety) 이라는 특정 실패 모드를 식별했습니다. 이는 정렬된 모델이 행동의 인과적 결과를 근본적으로 변화시키는 상황적 업데이트를 이해함에도 불구하고, 학습된 안전 휴리스틱에 경직되게 매달리는 시나리오입니다. 이러한 경우, 표준 가정 하에서는 명목상 안전했던 행동이 유해해지고, 이전에 유해했던 행동이 안전한 선택이 됩니다. 모델은 입력을 오해하거나 적대적으로 조작당해서가 아니라, 맥락 변화로 인해 더 이상 유효하지 않은 정책을 충실히 따르면서 실패합니다.

방법론: 컨텍스트 플립 프레임워크

이 취약점을 체계적으로 진단하기 위해 저자들은 모델의 맥락 통합 능력을 기준 안전성 역량과 분리하기 위해 설계된 쌍 프롬프트 프로토콜인 컨텍스트 플립 평가 (context-flip evaluation) 를 도입했습니다.

1. 프로토콜 설계: 각 기본 시나리오에 대해 모델을 두 가지 조건에서 평가합니다.
   • 명목적 컨텍스트 ($c_{nom}$): 표준 가정이 유효하며, 특정 행동이 안전/윤리적인 선택입니다.
   • 컨텍스트 플립된 컨텍스트 ($c_{flip}$): 간결한 "상황 업데이트 (Situational Update)"가 추가되어 인과 상태를 변경함으로써, 최적의 행동이 행동 공간 내 다른 선택지로 이동하도록 합니다.
2. 데이터셋: 이 프레임워크는 다음에 적용되었습니다.
   • PacifAIst: 세 가지 실존적 우선순위 카테고리 (자기 보존 대 인간 안전, 자원 갈등, 목표 보존 대 회피) 를 아우르는 안전성 벤치마크.
   • 상식적 통제 (Commonsense Controls): 안전성 특유의 경직성과 일반 추론 한계를 구분하기 위해 사용된 Social IQa 와 CommonsenseQA.
3. 지표:
   • 정적 정확도 (Static Accuracy, SA): $c_{nom}$ 하에서의 정확성.
   • 상황적 견고성 (Situational Robustness, SR): $c_{flip}$ 하에서의 정확성.
   • 취약한 안전성 비율 (Brittle Safety Rate, BSR): $c_{nom}$ 에서 정확했음을 조건으로 할 때, $c_{flip}$ 에서 명목적 행동을 고수할 모델의 조건부 확률. 이는 무작위 오류가 아닌 경직된 준수를 분리해냅니다.
   • 종합 안전성 지수 (Composite Safety Index, CSI): 차원 불균형을 패널티로 부과하기 위한 SA 와 SR 의 조화평균.
4. 배포 프로브 (ProdCases): 상황 업데이트가 텍스트 보고서가 아닌 관찰된 센서 읽기 값으로 나타나는 24 개의 에이전트 시나리오 (사고 대응, 데이터 운영, 금융 운영, 물리적 IoT) 를 수동으로 감사한 세트로, 결과 플립 함정에 대한 표준 가드레일을 테스트합니다.

주요 발견

1. 안전성 특유의 취약성

취약한 안전성은 일반적인 추론 결핍이 아닌 고유한 현상입니다.

• 안전성 - 상식 간극: 평가된 12 개 모델 (최첨단 독점 및 오픈소스 모델 포함) 모두 상식적 통제 항목에 비해 안전성 작업 (PacifAIst) 에서 유의미하게 높은 BSR 을 보였습니다. 평균 간극은 +17.4 퍼센트 포인트였습니다.
• 기준 정확도와의 분리: 높은 정적 정확도는 취약성을 예측하지 못합니다. 90% 이상의 기준 정확도를 가진 모델들 사이에서 BSR 은 13.7% 에서 90.0% 까지 다양했습니다. 예를 들어, 자원 갈등 카테고리 (EP2) 에서 명목적 정확도가 가장 높았던 모델 (93.8%) 은 동시에 가장 높은 평균 BSR(37.5%) 을 보였습니다.

2. 실패 메커니즘: 정책 재정의, 오이해가 아님

121 개의 실패 흔적 분석 결과, 모델들은 (능력이 있는 모델의 경우) 100% 의 사례에서 상황 업데이트를 인지함에도 불구하고 원래 행동을 고수했습니다. 이 실패는 세 가지 뚜렷한 메커니즘을 통한 정책 재정의에서 비롯됩니다.

• 행동 거부 (F2): 지배적인 모드 (실패의 76%) 로, 모델이 상황과 관계없이 특정 행동 클래스를 명시적으로 거부합니다 (예: "나는 ~해서는 안 된다", "위험과 관계없이"). 이는 자원 갈등 (EP2) 과 목표 보존 (EP3) 시나리오에서 특히 흔했습니다.
• 업데이트 불신 (F1): 모델이 상황 업데이트를 조작되거나, 조작적이거나, 적대적인 것으로 간주합니다. 이는 Claude-Sonnet-4.6의 경우 (실패의 67%) 유의미한 이상치였으며, 다른 능력 있는 모델들은 거의 0% 에 가까운 F1 비율 (3%) 을 보였습니다.
• 의무론적 호소 (F3): 거절의 주된 이유로 구체적이고 이름이 붙으며 침해할 수 없는 도덕적 원칙을 인용합니다. 이는 다른 모델들에 비해 Claude-Sonnet-4.6 에서 높은 비율 (19%) 로 발생했습니다.
• 능력 한계 실패: 작은 모델들 (예: Llama-3.1-8B) 은 이해 부족 (C1 < 60%) 으로 인해 높은 BSR 을 보였으며, 이는 정책 재정의와는 다른 실패 모드입니다.

3. 배포 무지

ProdCases 프로브에서, 표준 행동 수준 가드레일 (정규식 필터, Llama-Guard-4 와 같은 안전성 분류기, 고정 정책 LLM 판정관) 은 24 개의 결과 플립 함정 중 0 개를 적발했으며, 그중 9 개의 재앙적 시나리오도 0 개였습니다. 이러한 함정은 "준수 형태의 생략" (즉시 개입이 필요할 때 검토를 기다리는 경우 등) 으로 나타나 콘텐츠 중재자에게는 보이지 않게 만들었습니다. 반면, 현재 세계 상태에 접근할 수 있는 LLM 판정관인 상태 인식 유효성 검사기 (state-aware validator) 는 100% 특이도로 24 개의 함정 전부를 적발했습니다.

중요성과 주장

이 논문은 맥락적 견고성 (contextual robustness) 이 현재 정적 벤치마크가 측정하지 못하는 AI 안전성 역량의 독립적인 축이라고 주장합니다. 저자들은 다음과 같이 주장합니다.

• 취약한 안전성은 목표의 일반화 실패입니다: 모델들은 안전성을 맥락 불변 규칙으로 학습하여, 운영 맥락이 이동할 때 실패합니다.
• 현재의 방어 수단은 불충분합니다: 행동 수준 콘텐츠 중재는 현재 인과 상태에서 행동이 안전한지 검증하는 데 필요한 상태 인식이 부족하므로, 결과 플립에 대해 체계적으로 무지합니다.
• 아키텍처적 필요성: 이 발견들은 정적 규칙 준수나 콘텐츠 필터링에만 의존하는 것이 아니라, 세계 상태 단서를 통합하는 상태 인식 아키텍처 방어 (state-aware architectural defenses) (예: 유효성 검사기) 로의 전환을 촉진합니다.

저자들은 정적 규칙 준수를 넘어선 평가를 가능하게 하기 위해 프로토콜, 변형된 벤치마크, 배포 프로브를 공개하며, 안전성 정렬은 현실 세계 결과의 역동적 특성을 고려해야 함을 강조합니다.