기술 요약: 컴플라이언스 탐지기는 무엇을 읽는가? 활성화 프로브 및 가드 모델에 대한 감사

문제 정의

규제 산업(데이터 보호, 의료, 금융 등)에서 언데어 모델의 배포는 점차 작성된 규제 규칙에 따라 출력을 모니터링하는 "가드 모델(guard models)"과 활성화 프로브(activation probes)에 의존하고 있습니다. 이들의 근본적인 가정은 이러한 탐지기가 특정 시나리오와 지배적인 규칙 사이의 관계를 추론함으로써 컴플라이언스(준수 여부)를 검증한다는 것입니다.

본 논문은 **규칙 맹목성(rule blindness)**이라 명명된 결정적인 실패 모드를 식별합니다. 즉, 탐지 결과가 특정 규칙에 근거하는 것이 아니라 시나리오의 표면적 특징(예: 위반 신호의 존재 여부)에 의존한다는 것입니다. 저자들은 지배적인 규칙을 삭제, 순열 변경 또는 교체하더라도 모든 가드 모델과 활성화 프로브 테스트에서 탐지 정확도가 변하지 않음을 입증했습니다. 이는 현재의 컴플라이언스 모니터링이 규칙에 특화된 보증을 제공하는 것처럼 보일 뿐, 실제로는 탐지기가 시나리오와 이를 규정하는 규칙을 구분하지 못함을 의미합니다.

방법론

내부 컴플라이언스 점수 (Internal Compliance Score, ICS)

재학습에 드는 계산 비용 없이 이러한 시스템을 대규모로 감사하기 위해, 저자들은 **내부 컴플라이언스 점수(ICS)**를 도입합니다.

• 메커니즘: ICS는 훈련이 필요 없는 활성화 판독 방식입니다. 이는 모니터링되는 모델의 잔차 스트림(residual stream)에서 "평균 차이" 방향($\hat{d}_\ell$)을 계산하며, 이를 위해 소규모 캘리브레이션 세트(통상적으로 준수 텍스트와 위반 텍젝트 10쌍)를 사용합니다.
• 점수 산출: 새로운 케이스에 대해, 점수는 최종 토큰의 레이어-$\ell$ 활성화와 캘리브레이션된 방향 사이의 단일 내적(dot product)으로 계산됩니다: $ICS_\ell(x) = \langle a_\ell(x), \hat{d}_\ell \rangle$.
• 효율성: 그래디언트 단계가 필요 없고, 추가적인 순전파(forward pass)가 필요 없으며(활성화 값이 유지되는 경우), 최소한의 레이블 데이터(도메인당 10쌍)만 필요합니다. 모니터링되는 모델이 파인튜닝될 때 즉시 재캘리브레이션되도록 설계되었습니다.

평가 프레임워크

본 논문은 진정한 규칙 조건부 추론과 표면적인 지름길(shortcut)을 구분하기 위해 엄격한 평가 프로토콜을 채택합니다.

1. 결과 절제(Outcome Ablation): 탐지기가 단순히 정답을 읽는 것이 아님을 보장하기 위해 벤치마크 입력에서 명시적인 "판결(verdict)" 텍스트를 제거합니다.
2. 어휘적 하한선(Lexical Floors): 정책을 읽지 않는 정책 무관 백오브워즈(bag-of-words) 모델(TF-IDF)을 사용하여 벤치마크가 "퇴행적(degenerate)"인지(규칙을 읽지 않고도 해결 가능한지) 판단합니다.
3. 역사실적 개입(Counterfactual Interventions):
   • 규칙 절제(Rule Ablation): 탐지기의 판결이 변하는지 테스트하기 위해 규칙 텍스트를 삭제, 셔플 또는 교체합니다.
   • 교차 벤치마크(Crossed Benchmark): 두 개의 규칙과 두 개의 시나리오를 교차하여, 규칙이나 시나리오 어느 쪽도 단독으로는 레이블을 예측할 수 없도록 설계된 전용 벤치마크를 구축합니다. 이는 규칙의 극성(허용적 vs 금지적)과 같은 혼란 변수를 제거합니다.
4. 예산 매칭 널(Budget-Matched Nulls): 선택 편향을 고려하기 위해 동일한 레이어 탐색 과정을 통해 선택된 무작위 방향과 탐지기를 비교합니다.

주요 기여

1. 방법론 (ICS): 모니터링되는 모델의 활성화로부터 컴플라이언스 리스크를 직접 점수화하는, 훈련이 필요 없는 퍼스트 파티 활성화 판독 방식입니다. 이는 소수의 쌍을 통해 캘리브레이션되며 단일 투영(projection)을 통해 점수를 산출합니다.
2. 감사 (벤치마크 검증): 저자들은 13개의 공개 컴플라이언스 벤치마크를 감사합니다. 그 결과, 7개 중 4개가 "어휘적으로 퇴행적"임을 발견했습니다. 즉, 단순한 백오프워즈 모델로도 규칙을 읽지 않고 문제를 해결할 수 있어, 규칙 조건부 주장을 판정할 능력이 없음을 의미합니다.
3. 특성 규명 (규칙 맹목성): 역사실적 테스트를 통해, ICS와 테스트된 모든 탐지기(LPG 및 Llama Guard 3와 같은 정책 조건부 가드 포함)가 규칙 맹목적임을 증명합니다.
   • 규칙을 삭제해도 정확도 변화는 $<0.003$입니다.
   • 위반된 규칙을 허용적인 규칙으로 교체했을 때, 정책 조건부 가드가 규칙의 위치를 91~95% 확률로 올바르게 인용함에도 불구하고 판결이 바뀌는 경우는 약 7%에 불과합니다.
   • 교차 벤치마크에서 모든 효율적인 탐지기(프로브 및 가드)는 우연 수준의 성능(AUROC ~0.50)을 보였습니다. 오직 단계별 추론(Chain-of-Thought)을 수행하는 모델만이 이 과제를 해결했습니다.
4. 응용 (후보 선택): ICS는 규칙을 판정할 수는 없지만, **순위 지정(ranking)**에는 유용합니다. ICS 기반의 후보 응답 선택은 무작위 선택 대비 IFEval의 기계적 검증 통과율을 +5.2%포인트, 규제 자문 준수율을 +11.5%포인트 향상시킵니다. 그러나 이러한 이득은 적응형 화이트박스 공격에 견고하지 않습니다.

주요 결과

• 규칙 맹목성의 보편성: 규칙-시나리오 관계를 읽지 못하는 실패는 특정 모델이나 벤치마크의 산물이 아닙니다. 이는 다음 모두에 영향을 미칩니다:
  • 고정 분류 체계 가드 (예: Llama Guard 3 - 규칙을 전혀 보지 않음).
  • 정책 조건부 가드 (예: LPG - 커스텀 채널을 통해 규칙을 명시적으로 전달받지만, 여전히 판결을 규칙에 조건화하지 못함).
  • 활성화 프로브 (ICS 및 SIREN 포함).
• 일반화 한계: ICS는 작업 패밀리 내에서는 잘 일반화되지만(예: 한 컴플라이언스 도메인에서 다른 도메인으로), 패밀리 간 이동 시(예: 컴플라이언스에서 안전 데이터로) 성능이 무너집니다.
• 비용 대비 정확도: ICS는 훈련된 파라미터 없이도 경쟁력 있는 도메인 내 AUROC(0.952)를 달달성하며, 추론 비용이 거의 들지 않습니다. 그러나 각각의 예산 매칭 널(null)을 대상으로 평가할 때, ICS의 이점은 백오프워즈 모델과 마찬가지로 사라집니다. 이는 신호가 깊은 의미론적 추론보다는 구조적 또는 어휘적 성격이 강함을 나타냅니다.
• 적대적 취약성: ICS가 제공하는 선택 이득은 ICS 방향에 대해 접미사(suffix)를 최적화하는 적응형 화이트박스 공격(GCG)에 의해 제거됩니다.

의의 및 주장

본 논문은 가드 모델과 활성화 프로브를 포함한 현재의 컴플라이언스 모니터링 시스템이 그들이 집행해야 할 규칙을 읽지 못한다고 주장합니다. 대신, 이들은 특정 조항과는 독립적인 광범위한 "위반 신호" 또는 "컴플라이언스 레지스터"를 추적합니다.

• 정확도에 대한 완곡한 주장: 저자들은 ICS가 우월한 판정기가 될 것이라고 주장하지 않습니다. ICS는 "규칙 특정적 판정 방향"이라기보다 "광범위한 컴플라이언스 리스크 방향"이라고 명시합니다. 그 가치는 비용 효율성(훈련 불필요, 재적합 가능)과 후보를 순위 지정하는 능력에 있지, 최종적인 컴플라이언스 판결을 내리는 능력에 있지 않습니다.
• 감사 가치: 본 논문의 주요 기여는 (교차 벤치마크를 포함한) 역사실적 프로토콜이며, 이는 향후 규칙 조건부 추론을 주장하는 연구들에 필수적인 테스트를 제공합니다. 본 논문은 이러한 테스트 없이는 높은 정확도가 데이터셋의 퇴행성으로 인한 착시일 가능성이 높음을 보여줍니다.
• 실용적 유용성: ICS는 비적대적 환경에서 트리아지(triage) 및 후보 순위 지정을 위한 유용한 도구로 제시됩니다. 여기서는 "오라클 헤드룸(oracle headroom, 무작위 선택과 최적의 선택 사이의 격차)"의 상당 부분을 회복할 수 있습니다. 그러나 단독적인 적대적 집행을 수행할 만큼 견고하지는 않습니다.

요약하자면, 본 논문은 컴플라이언스 모로니터링 분야가 현재의 탐지기들이 가진 추론 능력을 과대평가하고 있다고 주장합니다. "규칙 맹목성" 현상은 탐지기들이 규칙의 논리를 추적하는 것이 아니라 위반 시나리오의 존재를 추적하고 있음을 시사하며, 이는 더 엄격한 역사실적 평가 표준으로의 전환이 필요함을 나타냅니다.