기술 요약: 정확도를 넘어: LLM 안전 판정자의 신뢰성 검증을 위한 정책 불변성

1. 문제 제기

금융, 의료, 코드 실행과 같은 안전-중요 (safety-critical) 분야에서 자율 에이전트로서 대규모 언어 모델 (LLM) 을 배포하려면 견고한 안전 평가가 필수적입니다. 현재 벤치마크 (예: ASSEBench, R-Judge) 는 별도의 LLM 이 작성된 안전 정책을 기준으로 에이전트 궤적을 평가하여 이진 판정 (SAFE/UNSAFE) 을 산출하는 'LLM-as-a-Judge' 패러다임에 의존합니다. 이러한 판정들은 안전 준수에 대한 실제 지표 (ground-truth) 로 간주됩니다.

그러나 기존 평가들은 주로 정확도(인간 레이블과의 일치도) 나 표면적인 프롬프트 민감도 (예: 위치 편향, 포맷팅) 에 초점을 맞추고 있습니다. 이는 **정책 불변성 (Policy Invariance)**이라는 중요한 격차를 해결하지 못합니다. 신뢰할 수 있는 안전 판정자는 판정이 에이전트의 행동과 정책의 규범적 내용에만 의존해야 하며, 정책이 어떻게 표현되었는지에 따라 달라져서는 안 됩니다. 만약 판정자가 동의어 재작성, 구조적 재배열, 또는 예외 조항의 배치 변경과 같이 근본적인 규범적 의미는 변하지 않았음에도 불구하고 판정을 변경한다면, 결과적으로 도출된 안전 점수는 에이전트의 행동과 평가자의 프롬프트 엔지니어링이 혼재된 것이 됩니다. 본 논문은 정책 불변성이 없으면 안전 점수는 신뢰할 수 있는 실제 지표가 될 수 없다고 주장합니다.

2. 방법론: 정책 불변성 프레임워크

저자들은 정책 불변성을 세 가지 검증 가능한 원칙으로 구체화하고, GPT-5.4-mini, Claude-Haiku-4.5, DeepSeek-V3.2, Gemini-3-Flash라는 네 가지 에이전트 클래스 판정자를 평가하기 위한 스트레스 테스트 프로토콜을 설계했습니다. 평가에는 ASSEBench 와 R-Judge 의 궤적이 사용되었습니다.

2.1 세 가지 불변성 원칙

1. 규범 - 의미 불변성 (원칙 1):

   • 목표: 판정은 정책의 인증된 동등 (certified-equivalent) 재작성 하에서 안정적으로 유지되어야 합니다.
   • 방법: 정책은 인간 어노테이터가 6 가지 도덕적 차원 (강제력, 범위, 예외 집합, 입증 책임, 기본 규칙, 암시적 임계값) 에서 검증한 세 가지 유형의 인증된 동등 재작성을 통해 변환됩니다:
     • T1 (구문): 수동/능동 태, 절의 재배열.
     • T2 (어휘): 동일한 도덕적 가족 내 동의어 치환 (예: "must not" $\to$ "is prohibited from").
     • T4 (예외 배치): 예외 조항을 인라인에서 선두 배치 섹션으로 이동.
   • 지표: 초과 반전율 ($\Delta_{flip}$) 은 재작성 하의 반전율에서 기준 불확정성 (jitter)율을 뺀 값으로 계산됩니다.

2. 규범 - 임계값 불변성 (원칙 2):

   • 목표: 판정은 정책의 규범적 임계값이 의도적으로 변경될 때 방향적이고 비례적으로 변화해야 합니다.
   • 방법: 하나는 엄격 (Strict) (예: "must not", "any violation") 이고 다른 하나는 관대 (Lenient) (예: "should avoid", "clear and significant violations") 한 정책 쌍이 생성됩니다.
   • 지표: 방향성 비율 ($R_{dir}$). 신뢰할 수 있는 판정자는 엄격 (UNSAFE) 에서 관대 (SAFE) 로 주로 반전해야 하며, 역방향 반전은 거의 0 에 가까워야 합니다.

3. 모호성 인식 보정 (원칙 3):

   • 목표: 불안정성은 명확한 사례가 아닌, 진정으로 모호한 사례에 집중되어야 합니다.
   • 방법: 관찰된 반전은 다음과 같이 분해됩니다:
     • 설명 가능: 인간 어노테이터가 이견을 보인 모호한 항목 또는 근접 동등 변환에서의 반전.
     • 부적절: 인증된 동등 변환 하에서 명확한 항목 (만장일치 인간 레이블) 에서 발생한 반전.
   • 지표: 부적절 반전율 ($U_{rate}$). 내용 보존 재작성 하에서 명확한 항목에서 발생한 모든 반전은 측정 실패입니다.

2.2 지표 및 보고

• 정책 불변성 점수 (PIS): 세 가지 원칙을 요약한 복합 지표:
  $$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$$
  여기서 가중치는 $w_1=0.4, w_2=0.3, w_3=0.3$이며 $S=5$입니다.
• 판정자 카드 (Judge Card): 전통적인 정확도 지표 alongside PIS 및 원칙별 세부 내역을 공개하는 표준화된 보고 템플릿입니다.

3. 주요 결과

이 연구는 현재 안전 판정자들이 특정하고 치명적인 방식으로 정책 불변성에 실패하고 있음을 드러냈습니다. 즉, 의미 있는 규범적 변화와 무의미한 구조적 재작성에 대해 동등한 강도로 반응하여 두 가지를 구별하지 못합니다.

• 의미 불변성 실패:

  • Gemini-3-Flash는 가장 높은 불안정성을 보였으며, 풀된 인증 $\Delta_{flip}$은 **7.6%**였습니다 (파싱 실패를 반전으로 간주할 경우 26.6% 로 상승).
  • DeepSeek-V3.2는 특히 T4(예외 배치) 하에서 **9.1%**의 반전율을 보였으며, 네 가지 모델 중 세 가지에서 가장 심각한 오펜더였습니다.
  • Claude-Haiku-4.5와 GPT-5.4-mini도 상당한 불안정성을 보였습니다 (각각 3.6% 와 1.1%). GPT 의 경우 원시 반전율은 높았으나, 불확정성 (jitter) 도 높아 초과 반전율은 감소했습니다.
  • 결정적으로, 관찰된 모든 반전의 **18% 에서 43%**는 인증된 동등 재작성 하에서 모호하지 않은 항목에서 발생했습니다. 이는 안전 점수의 상당 부분이 에이전트의 행동이 아니라 규범의 표현 방식에 의해 측정되고 있음을 시사합니다.

• 임계값 불변성 성공:

  • 모든 모델은 엄격에서 관대로의 변화에 대해 거의 완벽한 방향성 민감도 ($R_{dir} \approx 1.00$) 를 보여주었습니다. 엄격에서 관대로의 전환은 예상된 방향으로 **32% 에서 71%**의 판정을 반전시켰습니다.
  • 진단: 판정자들은 정책 내용을 읽지만, 의미 변화 (임계값 이동) 와 구문 변화 (재작성) 를 구별하지 못합니다. 그들은 둘 다 판정 변경을 위한 동등하게 중요한 트리거로 취급합니다.

• PIS 순위:

  • GPT-5.4-mini: PIS = 0.70 (중간 신뢰도).
  • Claude-Haiku-4.5: PIS = 0.47 (취약).
  • DeepSeek-V3.2: PIS = 0.28 (불신).
  • Gemini-3-Flash: PIS = 0.03 에서 0.41 (파싱 실패 처리에 따라 불신에서 취약까지).
  • 이는 정확도만 고려한 리더보드에서는 보이지 않는 신뢰도에서 한 자릿수 (order-of-magnitude) 의 편차를 나타냅니다.

4. 기여

1. 개념적 프레임워크: 내용 보존 재작성과 규범적 이동을 구분하여 LLM 안전 판정자의 최소 요구사항으로서 정책 불변성을 공식화합니다.
2. 스트레스 테스트 프로토콜: 인증된 동등 재작성, 임계값 이동, 모호성 분해를 사용하여 판정자를 감사하는 재현 가능한 프로토콜입니다.
3. 정책 불변성 점수 (PIS) 및 판정자 카드: 정확도 지표가 놓치는 격차를 드러내는 판정자 신뢰도를 정량화하고 보고하는 도구입니다.
4. 실증적 증거: 기존 안전 점수가 에이전트 행동과 평가자 프롬프팅을 혼동하고 있음을 입증하며, 명확한 사례에서 발생한 판정 반전의 최대 43% 가 측정 실패임을 보여줍니다.

5. 중요성과 주장

본 논문은 에이전트 안전 평가의 신뢰성은 에이전트가 무엇을 했는지에만 달려 있는 것이 아니라, 판정자가 정책을 안정적으로 읽는지에 달려 있다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 현재 벤치마크는 결함이 있습니다: 정책 불변성을 확인하지 않고 판정자의 판정을 실제 지표로 간주함으로써, 기존 벤치마크는 실제 안전성이 아닌 프롬프트 민감도에 기반하여 모델을 순위 매기고 있을 수 있습니다.
• 신뢰도는 다차원적입니다: 고정된 규범에서는 정확할 수 있지만, 외관상 정책 편집에 따라 판정이 변동한다면 판정자는 신뢰할 수 없습니다.
• 실행 가능한 개선: 제안된 판정자 카드를 통해 벤치마크는 자체 평가자를 감사할 수 있습니다. 저자들은 프로토콜과 코드를 공개하여 커뮤니티가 "판정자가 얼마나 자주 옳은가?"라는 질문에서 "판정자가 올바른 이유로 옳은가?"라는 질문으로 전환할 수 있도록 합니다.

저자가 인정하는 한계:

• 본 연구는 단일 표준화된 기본 정책을 교란시켰으며, 결과는 복잡하고 다중 절 (multi-clause) 배포 규범으로 선형적으로 확장되지 않을 수 있습니다.
• 평가는 작고 비용 최적화된 모델에 초점을 맞추었으며, 최전선 규모 평가자는 다른 취약성 패턴을 보일 수 있습니다.
• PIS 가중치는 하류 검증 보정이 아닌 저자들의 실패 모드 비용에 대한 사전 확률 (prior) 을 반영합니다.
• 현재 프레임워크는 전체 궤적, 영어, 이진 판정에 대해 작동합니다.