기술 요약: STEER – 정교화를 통한 안전 타겟 임베딩 공격 (Safety Targeted Embedding Exploit via Refinement)

1. 문제 정의

본 논문은 대규모 언어 모델(LLM) 안전 정렬의 치명적인 취약점인 **인식적 커버리지 격차(epistemic coverage gaps)**를 식별한다. 현재의 안전 학습은 거의 전적으로 영어에 집중되어 있어, 저자원 언어나 혼합 언어 코드 스위칭(code-switching)으로 표현된 유해한 요청을 모델이 인식하지 못하는 "알려지지 않은 미지의 영역(unknown unknowns)"을 생성한다.

익숙하지 않은 언어 패턴을 접했을 때 불확실성을 표현하는 인간 운영자와 달리, LLM은 **과잉 확신적 외삽(overconfident extrapolation)**을 보인다. 이들은 안전 메커니즘이 영어 데이터에 대해서만 보정되었기 때문에, 이러한 분포 외(out-of-distribution) 입력에 대해 유해한 응답을 자신 있게 생성한다. 본 논문은 이것이 단순한 적대적 강건성(adversarial robustness) 문제가 아니라, 훈련 커버리지의 근본적인 실패라고 주장한다. 또한, 기계론적 해석 가능성(mechanistic interpretability) 연구(Arditi et al., 2024)는 안전 미세 조정이 모델의 잔차 스트림(residual stream) 내의 **단일 선형 방향(single linear direction)**에 거부 메커니즘을 집중시킨다는 사실을 밝혀냈다. 이는 특정 단어가 해당 방향을 트리거할 경우 이를 식별하고 무력화할 수 있는 "단일 장애 지점(single point of failure)"을 생성한다.

2. 방법론: STEER 공격

저자들은 모델의 내부 안전 회로의 기하학적 구조를 악용하는 그래디언트 유도 공격인 STEER(Safety Targeted Embedding Exploit via Refinement)를 소개한다. 무차별적인 섭동(perturbation)이나 무작위 코드 스위칭을 사용하는 대신, STEER는 모델의 내부 표현을 체계적으로 읽어 거부 메커니즘을 우회한다.

공격은 다음 네 가지 순차적 단계로 진행된다:

1. 피셔 선형 판별 분석(FLD)을 통한 레이어 선택:
   거부 방향은 모든 트랜스포머 레이어에서 동일하게 가독성을 갖지 않는다. STEER는 피셔 선형 판별(Fisher Linear Discriminant) 비율을 사용하여 안전 신호가 가장 집중된 레이어($l^*$)를 자동으로 식별한다. 이 레이어는 공격의 초점이 된다. FLD 피크의 날카로움 또한 모델의 구조적 취약성을 측정하는 지표로 작용한다.

2. 패러프레이즈 전처리:
   그래디언트 분석에 앞서, 유해한 요청을 패러프레이즈(GPT-4o 사용)하여 명시적인 키워드를 간접적인 구절로 대체한다. 이는 초기 거부 점수를 낮추고 후속 그래디언트 귀속(attribution)을 위한 더 깨끗한 신호를 제공한다.

3. 그래디언트 기반 토큰 귀속:
   모델은 레이어 $l^*$에서의 거부 방향($r$)에 대한 각 입력 토큰의 그래디언트 귀속을 계산한다. 이는 각 단어가 안전 회로를 활성화하는 데 얼마나 기여하는지를 정량화한다. 귀속 점수가 가장 높은 단어들이 거부를 유발하는 주요 트리거로 식별된다.

4. 반복적 코드 스위칭:
   공격은 가장 높은 귀속 점수를 가진 단어들을 11개의 언어 풀(자바어, 스와힐리어와 같은 저자원 언어 및 태국어, 아랍어와 같은 비라틴 문자 포함) 내의 번역어로 반복적으로 교체한다. 각 단어에 대해, 시스템은 거부 점수(프롬프트 임베딩과 거부 방향의 내적)를 최소화하는 번역어를 선택한다. 이 루프는 최대 8회 반복되거나 판별기(judge)가 성공적인 탈옥(jailbreak)을 확인할 때까지 계속된다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 한다:

1. STEER 파이프라인: 안전 정렬의 특정 기하학적 특성을 악용하여 높은 성공률을 달리는 타겟 공격 방법론을 제시하며, 이는 무작위 코드 스위칭 및 그래디언트 기반 접미사 공격(GCG)보다 뛰어난 성능을 보인다.
2. 레이어 선택을 위한 FLD 방법: 거부 방향에 대해 가장 가독성이 높은 레이어를 찾는 자동화된 방법을 제공하며, 이는 모델의 안전 인코딩에 대한 구조적 취약성을 정량화한다.
3. 포괄적 평가: 6개의 오픈 소스 8B 파라미터 모델(Llama-3, Mistral, Gemma, Qwen, DeepSeek, GLM)과 3개의 벤치마크(JailbreakBench, HarmBench, AdvBench)에 걸쳐 총 3,000회 이상의 공격 시도를 통해 광범위한 테스트를 수행했다.
4. 거부 구조의 일반화: Arditi et al. (2024)이 밝힌 선형 거부 방향이 다양한 아키텍처의 모델들 사이에서 일반화된다는 경험적 증거를 제시하며, 이는 이것이 특정 훈련 레시피의 산물이 아니라 체계적인 속성임을 시사한다.

4. 실험 결과

STEER는 테스트된 모든 모델과 벤치마크에서 베이스라인(Direct, Random Code-Switching/CSRT, GCG)보다 우수한 성능을 입증했다:

• 공격 성공률 (ASR): STEER는 6개 모델 전체에서 JailbreakBench에서 최대 93%, AdvBench에서 96.7%의 ASR을 달성했다.
  • CSRT와 GCG가 50% 미만에서 정체되는 DeepSeek-R1 및 Qwen3-8B에서도 STEER는 80~85%에 도달했다.
  • GLM-4-9B에서 GCG는 39%로 급락한 반면, STEER는 93%에 도달했다.
• 효율성: 공격은 매우 효율적이며, 대부분의 성공이 초기 몇 번의 반복 내에 발생한다. 성능 곡선은 보통 8회 반복 후에 평탄해진다.
• 블랙박스 전이성: 오픈 소스 모델에서 STEER로 제작된 프롬프트는 GPT-4o-mini로 전이되어 평균 35.5%의 ASR을 기록했으며, 이는 GCG(29.3%)와 CSRT(13.9%)를 크게 상회한다. 이는 이 공격이 유사한 정렬 절차로 훈련된 모델들에 공통적인 공유 기하 구조를 타겟팅하고 있음을 시사한다.
• 절제 연구 (Ablation Studies):
  • 레이어 선택: FLD로 선택된 레이어(예: Llama-3-8B의 경우 레이어 17)를 사용하는 것이 첫 번째 또는 마지막 레이어를 사용하는 것보다 훨씬 높은 성공률을 보였다.
  • 언어 풀: 11개 언어를 모두 활용하는 것이 결정적이다. 풀을 상위 5개 또는 단일 언어로 제한하면 성공률이 급격히 감소한다.
  • 패러프레이징: 패러프레이즈 단계를 제거하면 ASR이 대폭 하락(19~44 퍼센트 포인트)하며, 이는 거부 회로의 초기 활성화를 낮추는 데 패러프레이즈가 핵심적인 역할을 함을 확인시켜 준다.

5. 의의 및 주장

본 논문은 LLM의 안전을 적대적 강건성 문제가 아닌 인식적 커버리지 문제로 규정한다. 핵심 주장은 현재의 안전 메커니즘이 영어에 맞춰진 단일 선형 방향에 의존하기 때문에 취약하다는 것이다.

• 메커니즘적 해석 가능성의 도구화: 본 연구는 기계론적 해석 가능성 연구(특히 거부 방향의 존재)가 타겟 공격을 구축하기 위한 충분한 근거가 됨을 보여준다. 식별 가능하고 국소화 가능한 안전 메커니즘은 원칙적으로 이를 무력화하기 위한 청사진이 될 수 있다.
• 체계적 취약성: STEER가 다양한 아키텍처에서 작동하고 폐쇄형 모델로 전이된다는 사실은, 이 취약성이 특정 모델 아키텍처의 문제가 아니라 현재의 정렬 관행(RLHF, DPO 등)에 내재된 문제임을 의미한다.
• 방어에 대한 시사점: 저자들은 표면적인 방어(출력 필터, 프롬프트 분류기)는 불충분하다고 주장한다. 격차를 해소하기 위해서는 안전 훈련을 다국어 입력 분포 전체로 확장해야 하며, 모델은 안전 커버리지가 부족한 분포 외 입력에 대응할 수 있도록 원칙적인 기권(principled abstention) 메커니즘과 결합되어야 한다.
• 감사 도구: FLD 분석은 배포 전 모델의 안전성을 감사하기 위한 원칙적인 기준으로 제안된다. 날카로운 단일 레이어 피크는 취약하고 쉽게 악용될 수 있는 안전 인코딩을 나타낸다.

결론적으로, 본 논문은 모델이 단 몇 개의 단어를 저자원 언어로 번역하는 것만으로도 탈옥될 수 있다면, 그 모델의 안전 커버리지는 실질적인 것이 아니라고 단언한다. 해결책은 훈련 커버리지를 확장하고 단일 방향의 안전 인코딩을 넘어 나가는 것에 있다.