기술 요약: JBShield 재검토: 표현 수준 재규제 방어 무너뜨리기와 재구축

1. 문제 제기

안전성 미세 조정 (예: RLHF) 을 통해 정렬된 대규모 언어 모델 (LLM) 은, 특히 방어 메커니즘을 명시적으로 표적으로 삼는 적응형 공격에 대해 여전히 재규제 공격에 취약합니다. 외부 방어 수단이 존재하지만, 많은 경우 구조적 한계를 겪습니다:

• 표면적 방어(예: 가드 모델, 입력 필터링) 는 의미론적으로 무의미하지만 행동상 효과적인 적대적 접미사에 대항하여 실패합니다.
• 표현 수준 방어는 종종 모델의 다층 계산을 단일 결정 지점 (예: 단일 레이어, 단일 개념 방향, 또는 스칼라 점수) 으로 축소하여, 표적 최적화에 취약하게 만듭니다.

본 논문은 Greedy Coordinate Gradient (GCG) 공격에 대해 0% 공격 성공률 (ASR) 을 주장하는 최근의 표현 수준 방어인 JBShield에 초점을 맞춥니다. JBShield 는 단일 고정 레이어에서 "유해 개념"과 "재규제 개념"이라는 두 가지 개념 신호를 탐지함으로써 작동합니다. 이 방어는 두 개념 점수가 각각의 임계값을 초과할 때만 프롬프트를 플래그합니다 (AND 게이트 논리). 저자들은 이러한 구조가 한 개념은 유지하면서 다른 개념은 우회하도록 모델의 은닉 상태를 조작할 수 있는 적응형 공격에 취약할 것이라고 가설을 세웠습니다.

2. 방법론

2.1 적응형 공격: JB-GCG

저자들은 모델의 거부 행동을 동시에 억제하고 JBShield 의 탐지를 우회하도록 표준 GCG 목적 함수를 수정한 JB-GCG라는 적응형 공격을 설계했습니다.

• 메커니즘: 이 공격은 해로운 쿼리에 추가되는 적대적 접미사 $x$를 최적화합니다. 목적 함수는 두 항을 결합합니다:
  1. 거부 방향 억제: 해로운 프롬프트와 무해한 프롬프트 간의 평균 차이에서 유도된 거부 방향과 은닉 상태 간의 코사인 유사도를 최소화합니다.
  2. 유해 개념 정규화: JBShield 의 유해 개념 방향과 정렬되는 것을 패널티로 부과합니다.
• 전략: 이 공격은 JBShield 의 AND 게이트 구조를 악용합니다. 유해 개념 점수를 탐지 임계값 이하로 낮추는 동시에 재규제 개념 점수를 활성 상태로 유지합니다. JBShield 는 플래그를 발생시키려면 두 개념이 모두 높아야 하므로, 하나를 억제하는 것만으로도 우회가 가능합니다.
• 최적화: 이 공격은 모델 가중치, 활성화, 그리고 방어체의 보정 파라미터 (개념 방향, 임계값) 에 대한 완전한 접근 권한을 가진 화이트박스 설정을 사용합니다.

2.2 새로운 방어: 표현 궤적 검증 (RTV)

JB-GCG 가 레이어 전반에 걸쳐 독특하고 일관성 없는 서명을 생성한다는 관찰에 영감을 받아, 저자들은 RTV를 제안합니다.

• 지문 구성: 단일 레이어를 검사하는 대신, RTV 는 3 개 레이어(18, 25, 32) 와 5 개 토큰 위치(마지막 5 개 토큰) 에 걸쳐 은닉 상태와 거부 방향 간의 코사인 유사도를 계산하여 15 차원 지문을 구성합니다.
• 탐지 논리: RTV 는 지문을 특징 벡터로 간주하고 마할라노비스 거리를 적용하여 이상치를 탐지합니다. 테스트 프롬프트의 지문과 무해 및 유해 보정 세트 분포 간의 거리를 계산합니다. 프롬프트가 어느 클러스터와의 최소 거리가 임계값을 초과하면 플래그가 발생합니다.
• 보정: RTV 는 보정을 위해 무해 및 유해 프롬프트만 필요하며, 재규제 예시는 필요하지 않습니다.

3. 주요 기여

1. 구조적 취약성 분석: 본 논문은 JBShield 의 AND 게이트와 단일 레이어 개념 추출이 구조적 취약성을 만든다는 것을 입증합니다. 적응형 공격자는 유해 개념을 선택적으로 억제하면서 재규제 개념을 활성 상태로 유지함으로써 방어를 우회할 수 있습니다.
2. JB-GCG 공격: Llama-3-8B 에서 JBShield-D 에 대해 최대 53.4% ASR을, 전체 JBShield-M 파이프라인에 대해 30.7% ASR을 달성하는 적응형 공격을 도입했습니다. 이는 JBShield 가 이전에 0% ASR 을 보고했던 환경에서 이루어진 것입니다. 이 공격은 다양한 보정 크기 ($N=10$에서 $50$) 에서도 유효하게 유지됩니다.
3. 다층 서명 특성화: 저자들은 성공적인 재규제가 거부 방향 지문 공간에서 "독특한 영역"(공격 레이어에서는 거의 0 에 가까운 정렬, 더 깊은 레이어로 갈수록 유해한 정렬로 증폭) 을 차지하며, 이는 무해 및 유해 프롬프트 모두에서 결여되어 있음을 확인했습니다.
4. RTV 방어: 다층 궤적 검증과 마할라노비스 이상치 탐지에 기반한 방어를 제안합니다. RTV 는 재규제 예시 없이 보정하는 조건에서 JB-GCG 에 대해 0.99 의 AUROC를 달성합니다.
5. 강건성 평가: 강력한 화이트박스 적응형 위협 모델 하에서 RTV 를 평가했습니다. 방어에 대한 완전한 지식을 가진 상태에서도 최선의 적응형 공격은 13 배의 계산 비용에서 7% ASR만 달성하여, 이 방어가 거부 억제와 무해 지문 모방 사이의 근본적인 긴장 관계를 부과함을 입증했습니다.

4. 실험 결과

4.1 공격 성능 (JB-GCG vs. JBShield)

• JBShield-D 에 대해: JB-GCG 는 Llama-3-8B 에서 다섯 가지 구성을 통해 평균 **46.2%**의 ASR 을 달성했으며, 가장 강력한 설정에서는 **53.4%**에 도달했습니다.
• JBShield-M 에 대해: 이 공격은 완화 구성 요소에 대해서도 유효하여 최대 **30.7%**의 ASR 을 달성했습니다.
• 메커니즘: 모든 성공적인 사례에서 유해 개념 점수는 임계값 이하로 억제되어 탐지율이 0% 였으며, 재규제 개념은 활성 상태로 유지되어 탐지율이 100% 였습니다. 이는 AND 게이트 논리의 악용을 확인시켜 줍니다.
• 보정 민감도: 이 공격은 다양한 보정 세트 크기 ($N=10$에서 $50$) 로 재보정하더라도 지속되었으며, 이는 취약성이 보정 특정적이기보다는 구조적임을 확인시켜 줍니다.

4.2 방어 성능 (RTV)

• JB-GCG 에 대해: RTV 는 5% 의 오탐지율 (FPR) 에서 164 개의 JB-GCG 적대적 프롬프트 중 **100%**를 탐지하여 (ASR 0.0%), 0.9946의 AUROC 를 기록했습니다.
• 일반화: RTV 는 9 가지 표준 재규제 공격 (예: GCG, PAIR, AutoDAN) 에 대해 테스트되었습니다. 다섯 가지 공격에 대해서는 완벽하거나 거의 완벽한 탐지를 달성했으며, 대부분의 경우 JBShield-D 와 맞먹거나 초과했습니다. 그러나 무해 분포에 가까운 자연스러운 프롬프트를 생성하는 PAIR 에 대해서는 58% 탐지율로 어려움을 겪었는데, 이는 JBShield 와 공유하는 한계입니다.
• 적응형 강건성: RTV 를 표적으로 하는 완전한 화이트박스 적응형 공격 (ML-GCG) 하에서:
  • 최선의 공격은 7.0% ASR만 달성했습니다.
  • 이는 기준선 (39.6 회) 대비 평균 514.5 회 반복으로 13 배의 계산 비용이 필요했습니다.
  • 공격은 "거부 억제"(재규제에 필요) 와 "무해 지문 매칭"(우회에 필요) 의 목표가 근본적으로 상충하기 때문에 대부분의 프롬프트에 대한 해결책을 찾지 못했습니다.

5. 중요성과 주장

본 논문은 강력한 비적응형 탐지가 적응형 위협 모델 하에서의 강건성을 의미하지는 않는다고 주장합니다. 주요 의미는 단일 레이어, 단일 개념 검사를 넘어 다층 표현 일관성으로 표현 수준 방어의 패러다임을 전환하는 데 있습니다.

• 구조적 방어: 저자들은 RTV 의 강건성이 "지문 긴장"에서 비롯된다고 주장합니다. 즉, 공격자가 재규제를 위해 거부 방향을 억제하는 동시에 여러 레이어에 걸쳐 무해 입력의 특징인 긍정적 정렬을 유지하는 것은 불가능하다는 것입니다.
• 한계: 저자들은 겸손하게 다음과 같은 한계를 인정합니다:
  • 실험은 Llama-3-8B 로 제한되어 있으며, 다른 아키텍처로의 일반화는 재보정이 필요합니다.
  • PAIR 과 같은 자연스러운 공격은 표현 수준 탐지기에게 여전히 도전적입니다.
  • 0 이 아닌 적응형 ASR(7%) 이 남아있어, 방어가 강건하지만 완벽하지는 않음을 시사합니다.
  • 이 방어는 정적 보정에 의존하며 분포 변화에 대해 주기적인 업데이트가 필요할 수 있습니다.

본 논문은 적응형 적대자에 대한 평가가 전제된다면, 다층 표현 일관성이 단일 레이어 개념 유사성보다 재규제 탐지를 위한 더 신뢰할 수 있는 기반을 제공한다고 결론지었습니다.