기술 요약: 거대 언어 모델에 대한 적대적 공격 설계를 위한 기계론적 해석 가능성 활용

문제 정의

거대 언어 모델(LLM)은 여전히 적대적 섭동(adversarial perturbations), 특히 안전 정렬을 우회하도록 설계된 "탈옥(jailbreak)"에 취약합니다. Greedy Coordinate Gradient (GCG)와 같은 전통적인 화이트박스 공격 방식은 특정 출력 토큰을 목표로 하는 엔드 투 엔드 그래디언트 최적화에 의존합니다. 이러한 접근 방식은 거절 또는 수용을 담당하는 내부 메커니즘을 무시하며, 이로 인해 계산 비용이 많이 드는 과정(종종 수 시간이 소요됨)을 초래하고 더 강력해진 최신 모델에서 높은 성공률을 달하는 데 어려움을 겪습니다. 반대로, 기계론적 해석 가능성(mechanistic interpretability) 연구는 거절 서브스페이스(refusal subspaces) 및 특정 어텐션 헤드와 같은 내부 안전 메커니즘을 성공적으로 식별해 왔으나, 주로 런타임 개입(예: 활성화 스티어링)에 국한되어 분포 외(out-of-distribution) 활성화를 생성하며 정적인 적대적 입력을 제작하는 데는 실질적인 적용이 부족했습니다.

본 논문은 해석 가능성 통찰력과 실질적인 적대적 입력 생성 사이의 간극을 해결합니다. 저자들은 런타임 개입에 의존하지 않고도 효율적이고 성공률이 높은 적대적 입력을 제작하기 위해 모델의 내부 메커니즘에 대한 이해를 활용하는 방법을 제안합니다.

방법론: 서브스페이스 리라우팅 (Subspace Rerouting, SSR)

저자들은 **서브스페이스 리라우팅(SSR)**을 소개하며, 이를 모델의 연속적인 임베딩 공간에서의 최적화 문제로 정의하는 화이트박스 프레임워크로 제시합니다. SSR은 특정 출력 토큰을 목표로 하는 대신, 입력 접미사(suffix)를 수정함으로써 모델의 임베딩을 "거절 서브스페이스"에서 "수용 서브스페이스"로 리라우팅(reroute)하는 것을 목표로 합니다.

1. 서브스페이스 식별

저자들은 먼저 해석 가능성 기법을 사용하여 거절 및 수용의 내부 표현을 특징짓습니다:

• 의미론적 서브스페이스 (Semantic Subspaces): 대조 데이터셋(유해한 지시 vs 무해한 지시)을 사용하여 훈련된 선형 프로브를 통해, 저자들은 모델의 3번째 레이어만큼 이른 시점에 유해한 내용과 무해한 내용이 활성화 공간에서 선형적으로 분리 가능한 영역을 점유함을 입증합니다. 또한, 유해한 활성화와 무해한 활성화의 평균 차이를 이용하여 "거절 방향"($\hat{r}$)을 정의합니다.
• 컴포넌트 서브스페이스 (Component Subspaces): 저자들은 안전 메커니즘을 담당하는 특정 어텐션 헤드를 식별합니다. 저자들은 성공적인 탈옥이 종종 "어텐션 하이재킹(attention hijacking)"을 포함하며, 이 과정에서 안전에 중요한 헤드가 유해한 지시 토큰에서 무해한 접미사 토큰으로 초점을 전환한다고 관찰합니다.

2. SSR 알고리즘

핵잡이 알고리즘은 활성화를 목표하는 서브스페이스로부터의 편차를 측정하는 손실 함수 $\mathcal{L}(x_m)$을 최소화합니다:
$$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$$
여기서 $x_m$은 적대적 접미사, $e_k$는 목표 레이어에서의 활성화, $E_k$는 목표 수용 서브스페이스입니다. 최적화는 이산 토큰에 적합하게 조정된 그리디 좌표 그래디언트 탐색(greedy coordinate gradient search)을 사용합니다.

논문은 세 가지 구체적인 SSR 구현 방식을 상세히 설명합니다:

• Probe-SSR: 훈련된 선형 분류기를 사용하여 최적화를 "무해한" 클래스 확률 쪽으로 유도합니다.
• Steering-SSR: 거절 방향을 직접 타겟팅하여, 런타임 스티어링($e \leftarrow e^* + a\hat{r}$)과 유사한 효과를 자연스러운 확률 분포 내에서 달성하도록 입력을 최적화합니다.
• Attention-SSR: 특정 안전 핵심 헤드의 어텐션을 유해한 내용에서 적대적 접미사로 재지정하거나, 해당 헤드의 출력 크기를 최소화하려고 시도합니다.

주요 기여

1. 새로운 공격 벡터: 내부 메커니즘을 실질적인 적대적 입력 제작에 운용하는 방법인 SSR을 도입하여, 최신 모델(Gemma2, Llama3.2, Qwen2.5)에 대해 수 초 또는 수 분 내에 80~95%의 공격 성공률(ASR)을 달성했습니다.
2. 서브스페이스 식별: 선형 프로브와 거절 방향을 사용하여 거절 및 수용 서브스페이스를 정의하는 다양한 방법을 제시하며, 모델의 초기 및 중간 레이어에서 안전 개념의 선형 분리 가능성을 확인했습니다.
3. 효율성 및 해석 가능성: 특정 내부 서브스페이스를 타겟팅하는 것이 엔드 투 엔드 토큰 최적화보다 훨씬 더 계산 효율적임을 입증했습니다. 또한, 이 방법은 런타임 스티어링 개입과 달리 모델의 자연스러운 확률 분포 내에 머무르는 섭동을 생성합니다.
4. 교차 레이어 안정성 분석: 논문은 거절 서브스페이스가 모델의 후반부에서 안정적인 표현으로 결정화된다는 증거를 제공하며, 이는 성공적인 리라우팅을 위해서는 모델이 거절 상태로 "회복"하는 것을 방지하기 위해 여러 레이어를 타겟팅해야 함을 시사합니다.

실험 결과

• 성능: AdvBench 데이터셋에 대해, Probe-SSR과 Steering-SSR은 Llama3.2, Gemma2, Qwen2.5 전반에서 80%에서 95% 사이의 ASR을 달축했습니다. 반면, nanoGCG 베이스라인은 0%에서 53%의 성공률을 보였으며, 일반적인 유해 지시는 거의 항상 거절되었습니다.
• 속도: 공격은 수 초에서 수 분 내에 생성되었습니다 (예: Llama3.2 1b의 경우 14초). 이는 GCG가 흔히 요구하는 수 시간과 비교했을 때 크게 단축된 시간입니다.
• 분포 특성: PCA 및 KL 발산을 이용한 분석 결과, 런타임 스티어링 개입은 모델이 후속 레이어에서 "교정"하는 분포 외 활성화를 생성하는 반면, SSR로 생성된 섭동은 순방향 패스(forward pass) 전반에 걸쳐 거절 방향과의 코사인 유사도를 낮게 유지하여, 모델의 처리 과정에 더 견고하고 자연스러움을 보여주었습니다.
• 해석 가능한 탈옥: 놀랍게도, 최적화 과정에서 무작위적인 횡설수설이 아닌, "responsibly"(책임감 있게), "ethical"(윤리적인)과 같이 일관되고 해석 가능한 토큰 시퀀스가 생성되기도 했습니다. 이는 모델의 내부 안전 메커니즘이 의미론적으로 그럴듯한 경로를 통해 우회될 수 있음을 시사합니다.
• 역렌즈(Reverse-Lens): 거절 방향을 유발하도록 최적화함으로써, 저자들은 안전 메커니즘을 강력하게 활성화하는 토큰(비속어, 악의적 용어 등)을 자동으로 식별하였으며, 이를 통해 SSR이 잠재적인 해석 도구로서 유효함을 검증했습니다.

의의 및 주장

저자들은 SSR이 공격 연구와 방어 개발 모두에서 중요한 진전이라고 주장합니다.

• 공격 연구 측면: 내부 모델 메커니즘을 이해하는 것이 전통적인 블랙박스 또는 엔드 투 엔드 화이트박스 방식보다 더 효율적이고 효과적인 공격을 가능하게 함을 보여줍니다. 이는 현재의 안전 훈련이 이러한 특정 서브스페이스 조작을 고려하지 못할 수 있으며, 모델이 이러한 특정 섭동에 취약하게 남겨져 있음을 강조합니다.
• 방어 및 해석 가능성 측면: SSR은 모델 내부를 조사하는 실질적인 도구 역할을 합니다. 임베딩을 성공적으로 리라우팅함으로써, 이 방법은 안전 가드레일의 구조적 취약성을 드러냅니다. 저자들은 해석 가능한 탈옥 데이터셋을 빠르게 생성할 수 있는 능력이 적대적 섭동을 연구하고 더 강력한 정렬 기술을 개발하는 새로운 방향을 열어준다고 주장합니다.
• 겸손한 한계 인정: 논문은 섭동의 정밀한 성격으로 인한 서로 다른 모델 아키텍처 간의 공격 전이 어려움, 특정 하이퍼파라미터에 대한 의존성, 그리고 일부 공격이 의도치 않게 프롬프트의 의미를 변경하는 점(예: 폭탄 제조 쿼리를 케이크 레시피로 리다이렉트하는 것) 등의 한계를 인정합니다. 또한 Attention-SSR 구현이 의미론적 서브스페이스 접근 방식보다 실제로는 덜 효과적이었다고 언급합니다.

결론적으로, 본 논문은 기계론적 해석 가능성이 단순한 분석 도구가 아니라 실질적인 적대적 예제를 생성하는 엔진임을 주장하며, 견고한 정렬이 거절을 담당하는 특정 내부 서브스페이스를 다루지 않고서는 달성될 수 없다는 가설에 도전합니다.