기술적 요약: 위대한 사기꾼: LLM 재일크에서 확률성 문제

1. 문제 제기

대형 언어 모델 (LLM) 의 안전성을 평가하는 현재 표준인 공격 성공률 (ASR) 은 ASR 을 공격의 고정된 속성으로 간주한다는 점에서 근본적으로 결함이 있습니다. 저자들은 ASR 이 실제로는 기존 문헌에서 largely 무시되어 온 두 가지 독립적인 확률성 소스에 크게 영향을 받는 확률 변수라고 주장합니다.

1. 생성 확률성: 대부분의 재일크 공격 (예: Best-of-N, Crescendo) 은 설계상 확률적입니다. 이들은 여러 개의 후보 프롬프트를 생성한 후 단일 성공 시도에 기반하여 하나를 선택합니다. 단일 실행은 무작위 시드에 따라 다른 후보 집합을 생성하므로, 가변적인 ASR 결과를 초래합니다.
2. 평가 확률성: 응답을 "유해" 또는 "안전"으로 분류하는 데 사용되는 자동화 판정기 (예: Llama-Guard) 는 온도 $T > 0$에서 작동할 때 그 자체로 확률적입니다. 동일한 모델 응답이 한 평가에서는 유해로, 다른 평가에서는 무해로 라벨링될 수 있습니다.

결과적으로 보고된 ASR 수치는 체계적으로 과대평가되며 논문 간 비교가 불가능합니다. 10 회 시도 중 1 회 성공하는 프롬프트는 10 회 중 10 회 성공하는 프롬프트와 동일하게 취급되는 경우가 많아, 전자가 진정한 취약점이 아닌 "운 좋은 추첨"일 수 있다는 사실이 가려집니다.

2. 방법론

본 논문은 이러한 확률성 요인의 영향을 정량화하기 위한 체계적인 경험적 연구를 제안합니다.

실험 설정

• 공격: 네 가지 블랙박스 공격이 평가되었습니다: Best-of-N (BoN), PAIR, TAP, Crescendo.
• 대상 모델: Meta Llama-3, Google Gemma-3, IBM Granite 세 가지 계열에 걸쳐 1B 에서 70B 파라미터까지 범위를 가진 다섯 가지 지시 튜닝 모델.
• 판정기: 두 개의 LLM 기반 판정기 (Llama-Guard-3-1B 및 Llama-Guard-3-8B).
• 파라미터: 본 연구는 생성 및 평가 파이프라인 전반에 걸쳐 여섯 가지 확률성 파라미터를 변화시킵니다.
  • 온도: 대상 모델 생성 ($T_{gen}$), 대상 모델 평가 ($T_{eval}$), 판정기 생성 ($\theta_{gen}$), 판정기 평가 ($\theta_{eval}$).
  • 일관성 임계값: 연속적인 성공 평가에 필요한 횟수 ($k_{gen}$은 생성용, $k_{eval}$은 평가용).
  • 시드: 분산을 측정하기 위한 여러 개의 독립적인 무작위 시드 ($S=5$).

제안된 프레임워크

ASR 의 불안정성을 해결하기 위해 저자들은 **공격 성공을 위한 일관성 (Consistency for Attack Success, CAS)**과 두 가지 관련 프레임워크를 도입합니다.

1. CAS 지표: 프롬프트당 이진 지시자입니다. 재일크는 모든 $k$개의 독립적인 평가가 유해한 판정을 반환할 때만 성공으로 간주됩니다.

   • 표준 ASR 은 $k=1$에 해당합니다.
   • 데이터셋 수준의 지표는 $ASR(k_{eval})$로, $CAS(r, k_{eval}) = 1$인 프롬프트의 비율입니다.

2. CAS-gen (공격 생성 프레임워크):

   • 단일 성공 시 ($k_{gen}=1$) 재일크 프롬프트를 수락하는 대신, 공격은 $k_{gen}$개의 독립 실행에 걸쳐 일관되게 유해한 응답을 이끌어내야 합니다.
   • 이는 "우연한 성공"을 원천적으로 필터링하여 공격 데이터셋에 강력한 프롬프트만 포함되도록 보장합니다.

3. CAS-eval (공격 평가 프레임워크):

   • 고정된 재일크 프롬프트를 $k_{eval}$회 평가합니다. 모든 $k_{eval}$개의 판정기 호출이 유해한 판정을 반환할 때만 일관된 재일크로 분류됩니다.
   • 이는 판정기의 비결정성으로 인한 오탐지를 억제합니다.

3. 주요 결과

평가 결과, 확률성 파라미터는 보고된 ASR 을 최대 54 퍼센트 포인트까지 변화시켜 표준화 없이는 논문 간 비교를 무효화할 수 있음이 드러났습니다.

• 평가 임계값 ($k_{eval}$) 의 영향: $k_{eval}=1$에서 $k_{eval}=10$으로 변경하면 모든 구성에서 ASR 이 12 에서 24 퍼센트 포인트 감소합니다. 이는 단일 샷 평가가 공격 성공을 현저히 과장하고 있음을 시사합니다.
• 판정기 온도 ($\theta_{eval}$) 의 영향: 이는 가장 변동성이 큰 파라미터입니다. $\theta_{eval}$을 0.0 에서 1.0 으로 높이면 ASR 이 최대 54 퍼센트 포인트까지 급감할 수 있습니다 (예: Crescendo 가 86% 에서 32% 로 하락). $\theta_{eval}=0$일 때 ASR 은 완벽하게 안정화됩니다.
• 생성 예산 ($k_{gen}$) 의 영향: $k_{gen}$을 1 에서 10 으로 늘리면 보고된 ASR 이 12 에서 30 퍼센트 포인트 증가합니다. 느슨한 필터 ($k_{gen}=1$) 는 반복 평가 하에서 급격히 저하되는 경계선 프롬프트를 허용합니다.
• 대상 모델 온도 ($T_{eval}$) 의 영향: $T_{eval}$을 0.0 에서 1.0 으로 변경하면 ASR 이 최대 18 퍼센트 포인트까지 변하지만 체계적인 방향성은 없으며, 상대적 공격 순위에는 영향을 미치지 않습니다.
• 공격 시드의 영향: 시드 간 편차는 modest (최대 20 퍼센트 포인트) 이지만 특정 구성에서는 더 클 수 있습니다 (예: $k_{eval}=10$에서 LG-8B 를 사용한 BoN 의 경우 50 포인트).

4. 기여 및 중요성

본 논문은 세 가지 주요 기여를 합니다.

1. 체계적 경험적 연구: 여러 공격, 모델, 판정기에 걸쳐 생성 및 평가 확률성 모두를 포괄적으로 분석한 최초의 연구로, ASR 분산을 주도하는 구체적인 파라미터를 식별했습니다.
2. 새로운 지표 및 프레임워크: CAS(공격 성공을 위한 일관성) 와 CAS-gen/CAS-eval 프레임워크의 도입. 이러한 도구를 통해 연구자들은 운 좋은 추첨과 판정기 노이즈를 필터링하여 더 신뢰할 수 있고 재현 가능한 ASR 추정을 생성할 수 있습니다.
3. 최소 보고 표준: 저자들은 향후 연구의 비교 가능성을 보장하기 위한 체크리스트를 제안합니다. 최소한 논문에서는 다음을 공개해야 합니다.
   • $k_{gen}$ (생성 일관성 임계값)
   • $k_{eval}$ (평가 일관성 임계값)
   • $\theta_{eval}$ (판정기 평가 온도)
   • (BoN 공격의 경우) $\theta_{gen}$ (판정기 검색 온도)

중요성:
본 논문은 확률성을 통제하지 않고 ASR 을 점 추정치로 보고하는 현재의 관행이 "근본적으로 결함이 있다"고 주장합니다. 이러한 변수를 무시함으로써 커뮤니티는 높은 ASR 점수가 진정한 취약점이 아닌 무작위 시드와 판정기 노이즈의 산물인 "위대한 사기꾼" 상황을 조성합니다. 제안된 프레임워크와 보고 표준은 LLM 안전성 벤치마킹에 통계적 엄밀성을 복원하여, 보고된 성공률이 진정한 재현 가능한 공격 효과를 반영하도록 하는 것을 목표로 합니다. 저자들은 그들의 발견이 오픈 가중치 모델을 기반으로 했으며, API 제한과 투명성 부재로 인해 이 분석을 독점적이고 RLHF 에 강하게 정렬된 모델로 확장하는 것은 여전히 열린 경험적 질문이라고 지적합니다.