GAVEL: Towards Rule-Based Safety Through Activation Monitoring

다음은 논문 "GAVEL: TOWARDS RULE-BASED SAFETY THROUGH ACTIVATION MONITORING"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 점점 더 **표현 공격 (representation attacks)**에 취약해지고 있습니다. 이러한 공격에서는 유해한 의도가 표면 텍스트에서 은폐되거나 재구성되어 전통적인 입력/출력 필터를 우회합니다. 활성화 기반 모니터링 (activation-based monitoring)(모델의 내부 은닉 상태에 있는 유해 개념을 탐지) 은 해결책을 제시하지만, 기존 접근 방식은 세 가지 치명적인 한계를 겪고 있습니다:

1. 낮은 정밀도: 광범위한 오용 데이터셋 (예: 일반적인 "혐오 발언") 으로 훈련된 탐지기는 높은 오탐지율 (예: benign 한 문화적 논의를 플래그하는 경우) 을 생성합니다.
2. 제한된 유연성: 세밀한 도메인별 정책 (예: 특정 지식재산권 침해 또는 기업 규정) 을 시행하려면 모든 정책 변경마다 탐지기를 재훈련하거나 고비용의 새로운 데이터셋을 수집해야 합니다.
3. 해석 가능성 부재: 탐지기가 작동할 때, 왜 또는 어떤 특정 개념이 경보를 발생시켰는지에 대한 설명을 거의 제공하지 않아 감사와 책임 소재를 어렵게 만듭니다.

2. 방법론: GAVEL 프레임워크

저자들은 GAVEL(Governance via Activation-based Verification and Extensible Logic) 을 제안합니다. 이는 거시적 분류에서 **규칙 기반 활성화 안전성 (rule-based activation safety)**으로의 패러다임 전환을 의미합니다. 이 프레임워크는 모델 행동을 해석 가능한 원시 요소로 분해하고 논리적 규칙을 통해 안전성을 시행합니다.

A. 인지 요소 (Cognitive Elements, CEs)

광범위한 카테고리를 탐지하는 대신, GAVEL 은 **인지 요소 (Cognitive Elements, CEs)**를 정의합니다. 이는 특정 모델 행동, 작업 또는 주제를 나타내는 세밀하고 해석 가능한 활성화 수준의 원시 요소들입니다.

• 예시: "위협하기", "결제 처리", "인간으로 가장하기", "SQL 쿼리 작성", 또는 "신뢰 구축".
• 흥분 데이터셋 (Excitation Datasets): 특정 CE 를 포착하기 위해 저자들은 해당 행동의 예시를 포함하는 텍스트 전용 데이터셋 ($D_c$) 을 구성합니다. 강력한 정렬된 내부 활성화를 유도하기 위해 특정 프롬프트 전략 ("[CE] 에 대해 생각하며 수정하기...") 을 사용합니다.
• 특징 추출: 활성화는 MLP 은닉 상태보다 높은 탐지 정확도와 낮은 오탐지율을 보이는 미드~후반 트랜스포머 레이어 (Mistral-7B 의 경우 구체적으로 레이어 13–26) 의 **어텐션 출력 (attention outputs)**에서 추출됩니다.

B. 다중 레이블 탐지

수집된 활성화 벡터 위에 경량 **다중 레이블 분류기 ($g$)**가 훈련됩니다. 단일 레이블 분류기와 달리, 이 모델은 단일 토큰 내에서 여러 CEs 를 동시에 탐지할 수 있습니다 (예: 하나의 토큰이 "위협"과 "결제 도구" 모두를 트리거할 수 있음). 이를 통해 시스템은 복잡하고 중첩된 인지 상태를 처리할 수 있습니다.

C. 규칙 기반 시행

안전 제약 조건은 CEs 의 존재에 대한 **부울 논리 규칙 (Boolean logical rules)**으로 정의됩니다.

• 구문: 규칙은 사이버 보안 도구 (예: Snort, YARA) 와 유사한 인간이 읽을 수 있는 구문을 따릅니다: stop if <조건>.
• 논리: 조건은 CE 확률에 대한 AND($\land$), OR($\lor$), NOT($\neg$) 을 사용하는 부울 공식입니다.
  • 예시: stop if Threaten AND Payment AND Roleplay(비금융 맥락에서의 "위협"은 허용하면서 특정 사기 패턴을 탐지).
• 시간적 모니터링: 규칙은 문맥 의존적 행동을 포착하기 위해 토큰의 슬라이딩 윈도우에 걸쳐 평가됩니다 (예: 돈을 요구하기 전에 몇 차례의 턴에 걸쳐 신뢰를 구축하는 사기).

D. 워크플로우

1. 커뮤니티 기여: 커뮤니티는 모델과 무관한 텍스트 전용 CE 데이터셋과 규칙 세트를 기여합니다.
2. 구성: 모델 소유자는 관련 CEs 를 선택하고 특정 정책에 기반하여 규칙을 구성합니다.
3. 훈련: 소유자는 제공된 CE 데이터셋을 사용하여 특정 모델에서 다중 레이블 분류기를 훈련합니다.
4. 배포: 시스템은 실시간으로 실행되어 토큰 활성화를 분류하고 규칙이 발동될 때 동작 (중지, 재정의, 조종) 을 트리거합니다.

3. 주요 기여

1. 인지 요소 (CEs): 안전성 정의를 모델 훈련과 분리하는 모듈식, 구성 가능한 해석 가능한 활성화 원시 요소 어휘의 도입.
2. GAVEL 프레임워크: CEs 에 대한 논리적 규칙을 통해 안전성 정책을 정의, 공유, 시행하는 실용적인 시스템으로, 기본 모델을 재훈련하지 않고도 빠른 구성을 가능하게 함.
3. 오픈 리소스: GAVEL 코드베이스, GAVEL Studio(상호작용형 규칙 작성 도구), 초기 CE 어휘, 그리고 LLM 에이전트를 사용한 규칙/CE 생성 자동화 파이프라인의 공개.
4. 패러다임 전환: 사이버 보안 관행에서 영감을 받아 정적이고 불투명한 블랙박스 탐지기에서 투명하고 감사 가능하며 협업적인 규칙 기반 시스템으로의 AI 안전성 전환.

4. 실험 결과

저자들은 Mistral-7B를 대상으로 사이버 범죄, 심리적 해악, 사기 자동화 등 9 가지 오용 카테고리에 대해 GAVEL 을 평가했으며, Llama Guard, Perspective API, RepBending, 표준 활성화 분류기를 포함한 베이스라인과 비교했습니다.

• 정밀도 및 재현율: GAVEL 은 대부분의 카테고리에서 AUC 점수 > 0.98을 달성하고 **거의 제로에 가까운 오탐지율 (FPR)**을 보였습니다. 특히 "세무 당국 사기"와 "로맨스 미끼"와 같은 복잡한 시나리오에서 정밀도 측면에서 베이스라인을 크게 능가했습니다.
• 적대적 공격에 대한 견고성:
  • 오도 (Misdirection): 유해한 콘텐츠가 benign 한 텍스트로 희석되었을 때, 텍스트 기반 판정자 (GPT-4) 는 실패했습니다 (탐지율이 약 12% 로 하락). 반면 GAVEL 은 내부 상태를 모니터링함으로써 85% 이상의 재현율을 유지했습니다.
  • 회피 (Evasion): GAVEL 은 의도를 재구성하여 숨기려는 시도에도 견고하게 대응했습니다.
• 일반화:
  • 모델 간 (Cross-Model): 한 모델에서 훈련된 CEs 는 Llama3, Qwen, Gemma 등 다른 모델로 효과적으로 이전되었으며 성능 손실은 미미했습니다.
  • 언어 간 (Cross-Language): 영어로 정의된 CEs 는 스페인어와 중국어로도 일반화되어 성능 저하가 거의 없었으며, 이는 표면 토큰이 아닌 추상적 개념을 포착했음을 입증했습니다.
• 효율성: GAVEL 의 오버헤드는 무시할 수준입니다 (지연 시간 증가 <1%, 토큰당 약 0.21ms), 실시간 배포에 적합합니다.

5. 의의

• 해석 가능성 및 감사 가능성: 블랙박스 탐지기와 달리 GAVEL 은 안전성 위반에 대한 명시적 이유 (예: "'위협'과 '결제'가 탐지되었으므로 규칙이 발동됨") 를 제공하여 인간 개입형 감사를 가능하게 합니다.
• 확장성 및 협업: "무엇 (CEs)"과 "어떻게 (규칙)"를 분리함으로써 프레임워크는 커뮤니티가 안전성 구성 요소를 공유할 수 있게 합니다. 조직은 사전 훈련된 CEs 를 채택하고 특정 요구 사항에 맞춰 규칙을 구성하기만 하면 되므로 재훈련 비용을 절감할 수 있습니다.
• 정책 유연성: 일반 오용 데이터셋으로는 정의할 수 없는 세밀한 도메인별 정책 (예: "학술적 맥락에서는 혐오 발언 논의를 허용하되 고객 지원에서는 차단") 의 시행을 가능하게 합니다.
• AI 거버넌스의 미래: GAVEL 은 사이버 보안에서의 규칙 공유 성공 사례를 반영하여, 협력적이고 투명하며 프로그래밍 가능한 AI 안전성 생태계의 기반을 마련합니다.