기술 요약: LLM은 자신의 취약한 시나리오를 알고 있는가?

문제 정의

안전 정렬(Safety-aligned)된 대규모 언어 모델(LLM)은 유해한 요청을 거부하도록 훈련되지만, 여면 **탈옥 공격(jailbreak attacks)**에 취약합니다. 흔히 사용되는 전략은 유해한 요청을 특정 맥락적 시나리오(예: 학술 연구, 코드 생성 또는 허구적 서사)로 감싸서 유해한 의도를 은폐하고 안전 장치를 우회하는 것입니다.

레드팀 활동은 시행착오나 기존 프롬프트 마이닝을 통해 효과적인 시나리오를 경험적으로 식별해 왔으나, 특정 시나리오가 왜 거절 능력을 약화시키는지에 대한 **기계론적 이유(mechanistic reason)**는 여전히 불분명합니다. 기존의 기계론적 해석 가능성(mechanistic interpretability) 연구들은 내부의 "거절 방향(refusal directions)"과 "탈옥 특징(jailbreak features)"을 각각 별도로 규명했을 뿐, 특정 시나리오 표현을 활성화하는 것과 거절 방향을 억제하는 것 사이의 인과 관계를 확립하지 못했습니다. 또한, 이러한 연구들은 내부적 관계를 체계적인 레드팀 활동을 위한 실행 가능하고 해석 가능한 자연어 시나리오로 변환하지 못했습니다.

방법론: Concept2Scenario

저자들은 모델의 내부 개념 공간을 통해 탈옥 동작을 추적함으로써 취약한 시나리오를 발견하는 개념 기반 속성 부여 프레임워크인 Concept2Scenario를 제안합니다. 이 방법은 시나리오 래핑(scenario wrapping)이 모델의 거절 경향을 인과적으로 억제하는 내부 표현을 활성화함으로써 효과를 발휘한다는 가설에 기반하여 작동합니다.

이 프레임워크는 네 가지 주요 단계로 구성됩니다:

1. 개념 및 거절의 구체화:

   • 개념(Concepts): 저자들은 사전 훈련 및 안전 데이터를 혼합하여 훈련된 **희소 오토인코더(Sparse Autoencoder, SAE)**를 사용하여 모델의 내부 잔차 스트림(residual-stream) 표현을 고차원의 희소한 의미론적 개념($c$) 사전으로 분해합니다.
   • 거절(Refusal): 거절 대 비거절 쌍의 지도 학습 데이터셋에 대해 **개념 활성화 벡터(Concept Activation Vector, CAV)**를 훈련하여, 최종 레이어 표현으로부터 도출된 스칼라 점수를 통해 모델의 내부 거절 경향($r$)을 정량화합니다.

2. 거절 취약성 속성 부여:

   • 개별 속성 부여: 이 방법은 특정 SAE 디코더 방향($d_i$)을 따라 스테어링(steering)함으로써 모델의 잔차 스트림에 개입합니다. 이를 통해 특정 개념의 활성도를 높이는 것이 거절 점수에 미치는 인과적 효과($\Delta_i$)를 측정합니다. 거절 점수를 유의미하게 감소시키는 개념들을 "거절 억제형(refusal-suppressing)" 개념으로 식별합니다.
   • 상호작용 속성 부여: 시너지 효과를 찾기 위해, 이 방법은 개념 쌍에 대한 공동 개입을 수행합니다. 이는 비가산적 상호작용 항($\Gamma_{i,j}$)을 계산하여, 결합된 효과가 개별 효과의 합보다 더 강력하게 거절을 억제하는 쌍을 식별합니다.

3. 개념을 시나리오로 번역:

   • 식별된 각 거절 억제형 개념에 대해, 해당 개념을 가장 강하게 활성화하는 텍스트를 수집합니다.
   • 분석용 LLM(Gemini-3.1-Pro)이 이 텍스트들의 통일된 패턴을 요약하고, 이를 해석 가능한 자연어 시나리오(이름, 트리거 메커니즘, 설명 포함)로 번역합니다.
   • 검증 루프를 통해 생성된 시나리오가 소스 개념을 재활성화하는지 확인한 후, 모델별 시나리오 라이브러리($S$)에 추가합니다.

4. 응용:

   • 발견된 시나리오를 기존의 블랙박스 탈옥 방법(예: X-Teaming, PAIR, Tree-Attack)에 사전 지식(priors)이나 문맥으로 주입하여 적대적 프롬프트 생성을 유도합니다.

주요 결과

저자들은 세 가지 오픈 소스 모델(Qwen3.5-9B, LLaMA-3.1-8B, Ministral-3-8B), 두 가지 안전 벤치마크(GuidedBench, HarmBench), 그리고 여섯 가지 블랙박스 탈옥 방법을 통해 Concept2Scenario를 평가했습니다.

• 공격 성공률(ASR) 향상: 기존 공격에 발견된 시나리오를 주입했을 때 오픈 소스 모델에서 평균 ASR이 최대 18.2 퍼센트 포인트 향상되었습니다. 개선 정도는 모델의 안전 정렬 상태에 따라 달랐습니다. 예를 들어, LLaMA-3.1-8B는 상당한 이득을 보였으나, 이미 약하게 정렬된 Ministral-3-8B는 상대적으로 작은 이득을 보였습니다.
• 교차 모델 전이성(Cross-Model Transferability): 오픈 소스 모델에서만 발견된 시나리오가 GPT-5, Claude-Haiku-4.5, Gemini-3-Flash를 포함한 폐쇄형 모델로도 효과적으로 전이되었습니다. 일부 경우(예: Ministral 유래 시나리오를 GPT-5에 적용)에는 ASR이 대폭 상승(예: +27.5 포인트)하여, 모델 패밀리 간에 공유되는 시나리오 수준의 거절 취약성이 존재함을 시사했습니다.
• 시너지 조합: 상호작용 속성 부여를 통해 개별 구성 요소보다 성능이 뛰어난 시나리오 조합을 식별했습니다. 예를 들어, "중첩된 코드 주석(nested code comments)"과 "URL/API 작업(URL/API tasks)"을 결-합하면 단일 최적 구성 요소를 사용할 때보다 첫 번째 턴(first-turn) 성공률이 28.0 퍼센트 포인트 향상되었습니다.
• 모델별 취약성: 분석 결과 뚜렷한 취약성 프로필이 드러났습니다. Qwen은 웹 텍스트 및 개인적 위기 프레이밍에 가장 취약했고, Ministral은 코드 및 구조화된 데이터에, LLaMA는 학술 및 교차 언어 맥락을 포함한 균형 잡힌 혼합 형태에 취약했습니다.

의의 및 주장

본 논문은 다음과 같은 점을 통해 기계론적 해석 가능성과 실제적인 레드팀 활동 사이의 간극을 메운다고 주장합니다:

1. 인과적 속성 부여: 시나리오 기반 탈옥이 학습된 시나리오 방향을 따라 스테어링할 때 거절 점수를 일관되게 감소시킨다는 점에서, 시나리오 기반 탈옥을 표현 공간에서의 인과적 속성 부여 문제로 프레임화할 수 있음을 입증했습니다.
2. 체계적 발견: 수동으로 설계하거나 경험적으로 축적된 시나리오를 넘어, 모델의 내부 개념 공간으로부터 시나리오를 발견하는 원칙적인 방법(Concept2Scenario)을 제공합니다.
3. 실행 가능한 통찰: 추상적인 내부 개념을 다양한 공격 방법의 사전 지식으로 재사용할 수 있는 해석 가능한 자연어 시나리오로 번역합니다.
4. 공유된 취약성: 특정 거절 취약성이 서로 다른 모델 패밀리 간에 공유된다는 점을 강조하며, 이는 안전 메커니즘이 특정 시나리오 유형에 의해 타겟팅될 수 있는 유사한 내부 표현에 의존할 수 있음을 시사합니다.

저자들은 표현 수준의 속성 부여가 효과적이고 모델 특화적이며 공유된 거절 취약성을 발견하기 위한 원칙적인 신호를 제공하며, 이를 통해 더욱 효율적이고 강력한 반복적 공격이 가능해진다고 결론짓습니다.