Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks

기술 요약: 잘못된 것을 측정하기

문제 정의
대규모 언어 모델(LLM)을 위한 현재의 내부 안전 메커니즘은 종종 텍-생성 전 텍스트의 유해한 의도를 탐지하기 위해 계산된 "내부 안전 점수"에 의존한다. 이러한 점수들은 일반적으로 유해한 프롬프트와 무해한 프롬프트를 구분하는 능력(유해 의도 분류)에 의해 검증된다. 지배적인 가정은 유해한 의도를 나타내는 높은 점수가 특정 타겟 모델에 대한 탈옥(jailbreak) 성공 가능성(실현된 성공)을 예측할 것이라는 점이다.

본 논문은 이러한 추론에 이의를 제기한다. 저자들은 유해한 의도는 프롬프트의 속성인 반면, 탈옥 성공은 프롬프트, 타겟 모델, 디코딩 정책, 그리고 판별기(judge) 간의 상호작용에 의해 결정되는 결과물이라고 주장한다. 저자들은 "유해한 의도"를 측정하는 점수에 튜닝된 필터들이, 어차피 실패했을 공격을 차단함으로써 오탐(false positive) 예산을 잘못 할당하거나, 만약 그 성공적인 공격들이 내부 지표상에서 더 낮은 점수를 기록하게 될 경우 성공적인 공격을 통과시켜 버릴 수 있다고 주장한다.

방법론
이 추론을 감사하기 위해, 저자들은 **능동적 어텐션 프로빙(Active Attention Probing, AAP)**을 도입한다.

• 능동적 어텐션 프로빙 (AAP): 프롬프트에 의존적인 위치(래퍼가 추가될 때 변함)로부터 읽어오는 수동적 어텐션 탐지기와 달리, AAP는 모델의 시스템 영역에 고정된, 콘텐츠와 독립적인 프로브 임베딩을 삽관한다. 이는 안정적인 측정 좌표를 제공하여, 측정 위치의 변화라는 혼란 없이 베이스 프롬프트와 그 "래핑된"(탈옥된) 버전 사이를 직접 비교할 수 있게 한다.
• 매칭 설계: 연구는 모든 베이스 목표(base goal)에 대해 일반 버전과 래핑된 버전을 쌍으로 구성한다. 타겟 모델(주로 Llama-3.1-8B-Instruct이며, Mistral, Qwen, Gemma, Phi로 전이 적용)으로부터 실제 완성을 생성하고, 독립적인 판별기(Llama Guard 3, Qwen3, StrongREJECT)를 사용하여 실현된 결과를 레이블링한다.
• 평가 지표: 저자들은 세 가지 타당성 기준을 구분한다:
  1. 구성 타당성(Construct Validity): 점수가 유해한 의도를 올바르게 순위 매기는가?
  2. 결과 타당성(Outcome Validity): 점수가 실현된 탈옥 성공을 올바르게 순위 매기는가?
  3. 결정 타당성(Decision Validity): 고정된 임계값이 분포 변화(distribution shift) 하에서도 운영 동작을 유지하는가?

4. 통제 변수: 저자들은 희귀 토큰 프로브, 수동(삽입 없는) 읽기, 노름 매칭(norm-matched) 컨트롤, 그리고 어텐션 희석 및 시퀀스 길이 효과를 포함하여 아티팩트를 배제하기 위한 여러 통제 장치를 사용한다.

주요 결과

1. 성공의 역순위(Inverse Ranking of Success): 핵심 발견은 강력한 유해 의도 점수가 실현된 탈옥 성공을 반대 방향으로 순위 매길 수 있다는 것이다.
   • Llama 모델에서, 유해한 요청을 래핑하는 것은 실제 유해한 생성률을 0.05에서 0.27로 증가시켰다.
   • 동시에, 유해한 의도 AUROC는 0.936에서 0.803으로 떨어졌다.
   • 결정적으로, 래핑된 유해 프롬프트들 중에서, 해당 점수는 27개의 성공적인 공격을 73개의 실패한 공격보다 낮은 순위에 배치하였으며, 결과적으로 결과 AUROC는 0.220(우연보다 현저히 낮은 수준)을 기록했다.
2. 채널 및 타겟에 대한 견고성: 이러한 역전 현상은 다양한 측정 채널(희귀 토큰, 수동, 시스템 스팬, 거절 로짓), 다양한 타겟 모델, 7가지의 뚜렷한 공격 패밀리(GCG, AutoDAN, PAIR, TAP 포함), 그리고 독립적인 판별기에 걸쳐 지속되었다.
3. 분포 변화 효과:
   • 캘리브레이션 vs. 순위: 분포 변화(예: 패러프레이징, 다국어 번역, 인코딩) 하에서, 점수의 유해 의도 순위 매기기 능력은 살아남는 경우가 많지만, 캘리브레이션과 임계값 전이는 실패한다.
   • 순위 실패: 더 강력한 표면적 변화(예: 양측 모두에 적용된 Base64 인코딩)는 유해성 분리 능력을 완전히 제거하여 AUROC를 우연 수준으로 낮출 수 있다.
   • 임계값 전이: 소스 도메인에서 고정된 임계값은 순위가 유효하더라도 이동된 도메인에서 F1 점수를 크게 잃는다.
4. 배포 영향: 고정된 무해 오탐율(benign false positive rate)을 가진 필터로 적용될 경우, 필터는 실패할 가능성이 높았던 공격을 우선적으로 차단한다. 이는 허용된 프롬프트들 사이의 유해한 비율을 높여, 결과적으로 성공적인 탈옥을 더 많이 허용하게 된다.

기여

1. 구성 개념의 구분: 본 논문은 프롬프트 유해성과 타겟 특화적 탈옥 성공을 공식적으로 구분하며, 매칭된 프롬프트 상에서 실현된 결과를 통해 두 가지를 모두 추정한다.
2. 안티-랭킹(Anti-Ranking)의 입증: 유해한 의도를 위해 검증된 점수가 실현된 성공을 정반대 방향으로 예측할 수 있다는 실증적 증거를 제공한다. 이 결과는 측정 채널, 타겟, 공격 패밀리에 걸쳐 유효하다.
3. 분포 변화 감사: 연구는 순위 손실, 확률 미교정(miscalibration), 임계값 전이를 분리하여, 분포 변화가 순위 매기기 능력을 저하시키기 전에 캘리브레이션과 임계값 전이를 먼저 저하시키며, 강력한 변화는 순위 매기기 자체를 파괴할 수 있음을 보여준다.
4. 방법론적 도구: 능동적 어텐션 프로빙(AAP)의 도입은 어텐션 기반 감사의 고정 좌표 측정을 가능케 하여, 프롬프트 의존적인 읽기 위치라는 혼란을 제거한다.

의의 및 주장
본 논문은 유해성 검증이 실현된 성공 예측을 위한 타당성을 확립하지 못한다고 주장한다. 유해한 의도를 나타내는 높은 내부 안전 점수는 해당 프롬프트가 특정 타겟 모델을 성공적으로 탈옥할 것이라는 신뢰할 만한 예측 인자가 아니다. 실제로, 성공적인 탈옥은 안전 점수가 의존하는 내부 특징들을 억제하는 경우가 많으며, 이로 인해 실패한 시도보다 더 낮은 점수를 기록하게 만든다.

저자들은 안전 탐지기가 유해한 의도를 식별한다는 명시된 과업 자체를 반드시 "실패"하는 것은 아니라고 결론짓는다. 오히려 그러한 점수가 탈옥 성공을 예측할 것이라는 해석이 유효하지 않은 것이다. 따라서 벤치마크와 감사는 각 레이블에 부착된 구성 개념을 명확히 명시해야 한다. 유해성 탐지는 프롬프트 수준의 레이블($H$)을 필요로 하는 반면, 실현된 성공은 특정 타겟, 디코딩 정책, 판별기에 인덱싱된 생성 수준의 결과($Y_m$)를 필요로 한다. 본 논문은 이러한 별개의 구성 개념에 대해 분리된 검증 프로세스를 옹호한다.