기술 요약: 스티어링 외부효과 (Steering Externalities)

문제 정의

활성화 스티어링(Activation steering)은 대규모 언어 모델(LLM)의 재학습 없이 추론 시점에 모델의 동작을 수정할 수 있게 해주는 실용적인 사후 학습 기법으로 부상했습니다. 개발자는 모델의 은닉 상태(hidden states)에 스티어링 벡터를 주입함으로써 지시 이행, 페르소나 조건화, 또는 엄격한 출력 형식(예: JSON)과 같은 유틸리티 목적을 강화할 수 있습니다. 기존 연구들은 주로 활성화 스티어링을 안전 메커니즘을 우회하려는 공격자의 적대적 도구로 다루어 왔으나, 본 논문은 유익한 유틸리티 목표를 위해 스티어링을 적용하는 모델 개발자의 관점에서 안전성에 미치는 영향을 조사합니다.

본 논문에서 식별된 핵심 문제는 **스티어링 외부효과(Steering Externalities)**입니다. 이는 완전히 유익한 데이터셋(예: 준수 능력 향상 또는 JSON 형식 강제)으로부터 유도된 스티어링 벡터가 의도치 않게 모델의 안전 가드레일을 약화시키는 현상을 의미합니다. 본 논문은 이러한 유틸리티 중심의 개입이 모델의 내부 표현을 체계적으로 편향시켜, 유해한 요청을 거절하는 데 필요한 "안전 마진(safety margin)"을 감소시키고 결과적으로 탈옥(jailbreak) 공격에 대한 취약성을 높인다는 가설을 세웁니다.

방법론

실험 설정

본 연구는 세 가지 오픈 웨이트 모델인 Llama-2-7B-Chat, Llama-3-8B-Instruct, Gemma-7B-it를 평가합니다. 저자들은 기존 문헌을 바탕으로 두 가지 구별되는 유익한 스티어링 워크플로우를 구현합니다:

1. STEER-COMPLIANCE: 조건부 활성화 스티어링(CAST) 프레임워크를 따라, 이 방법은 유익한 지시문(Alpaca 데이터셋)에 대한 거절 응답과 준수 응답의 내부 활성화를 대조하여 스티어링 벡터를 구축합니다. 목표는 무해한 프롬프트에 대한 거절률을 낮추는 것입니다.
2. STEER-JSON: 차이-평균(difference-in-means)을 통한 지시 스티어링을 따라, 이 방법은 JSON 형식 지시가 포함된 프롬프트와 그렇지 않은 프로ンプ트의 은닉 상태를 대조하여 벡터를 구축합니다. 목표는 의미론적 안전성을 변경하지 않으면서 구조화된 출력을 강제하는 것입니다.

평가 프로토콜

저자들은 HarmBench 데이터셋(400개의 유해 쿼리)을 사용하여 두 가지 체제 하에서 안전성을 평가합니다:

• 벤치마크 전용 (내재적 취약성): 외부 공격 알고리즘 없이, 유해한 프롬프트로 스티어링된 모델을 직접 질의하여 기초적인 공격 성공률(ASR)을 측정합니다.
• 시너지적 취약성 (Synergistic Vulnerability): 스티어링된 모델을 모델의 피드백을 바탕으로 프롬프트를 반복적으로 정교화하는 블랙박스 적응형 탈옥 알고리즘(CoP, PAIR, TAP)과 결합합니다.

메커니즘 분석

관찰된 안전성 저하를 설명하기 위해 본 논문은 다음을 채택합니다:

• 토큰 수준 분석: per-token Kullback-Leibler(KL) 발산(divergence)을 계산하여 생성된 초기 몇 개 토큰(즉, "거절 게이트")의 확률 분포 변화를 관찰합니다.
• 표현 수준 분석: t-SNE 시각화와 선형 프로브(linear probe)를 사용하여 유해한 프롬프트의 표현이 은닉 공간 내에서 "무해한" 매니폴드(manifold) 쪽으로 이동하는지 조사합니다.

주요 결과

1. 유익한 스티어링은 내재적 취약성을 증가시킨다

적응형 공격 없이도 스티어링은 안전성을 유의미하게 저하시킵니다.

• 준수 스티어링 (Compliance Steering): HarmBench에서의 ASR을 거의 제로에 가까운 베이스라인에서 상당한 수준으로 높였습니다 (예: Llama-3-8B-Instruct의 경우 2%에서 **38.5%**로 상승).
• JSON 스티어링 (JSON Steering): 순수하게 구문적인 스티어링 또한 ASR을 증가시켰습니다 (예: Llama-2-7B-Chat의 경우 0%에서 **11.5%**로 상승). 이는 형식 제약이 거절 궤적을 방해할 수 있음을 보여줍니다.

2. 탈옥 공격의 증폭

스티어링은 적대적 공격의 "전력 증폭기(force multiplier)" 역할을 합니다. 블랙박스 탈옥 방법과 결합될 때 다음과 같은 현상이 나타납니다:

• 준수 스티어링: 일부 사례에서 ASR을 거의 완전한 타협 수준까지 밀어 올렸습니다 (예: CoP 환경 하의 Llama-2-7B-Chat은 77%에서 **94.25%**로, Gemma-7B-it는 **93.5%**로 상승).
• JSON 스티어링: 마찬가지로 공격 성공률을 증폭시켰습니다 (예: CoP 환경 하의 Llama-2-7B-Chat은 **88.75%**까지 상승).
• 이 효과는 서로 다른 공격 방법(CoP, PAIR, TAP)과 모델 전반에서 일관되게 나타났으며, 이는 모델의 안전 마진이 일반적인 감소를 겪고 있음을 나타냅니다.

3. 메커니즘적 근거

• 토کن 수준: KL 발산 분석은 스티어링이 초기 몇 개의 토큰 동안 급격한 분포 변화를 일으킴을 보여줍니다. 이는 확률 질량을 거절 접두사(예: "I cannot...")에서 준수하거나 구조화된 시작 문구(예: "Sure..." 또는 JSON 시작 태그)로 이동시켜, 사실상 "거절 게이트"를 우회합니다.
• 표현 수준: t-SNE 시각화는 스티어링이 유해한 프롬프트 임베딩을 결정 경계를 넘어 "무해한" 클러스터로 이동시킴을 보여줍니다. 예를 들어, 준수 스티어링 하에서 유해한 프롬프트의 **60.8%**가 은닉 공간 내에서 무해한 영역으로 이동하여, 모델의 내부 안전 메커니즘에 대해 무해한 요청과 구별할 수 없게 되었습니다.

주요 기여

1. 스티어링 외부효과의 식별: 본 논문은 유익한 유틸리티만을 위해 최적화된 활성화 스티어링이 체계적으로 안전성을 저하시킨다는 것을 정의하고 실증적으로 입증합니다. 이는 테스트 타임 모델 적응(test-time model adaptation)이 본질적으로 안전하다는 가정에 도전합니다.
2. 탈옥 증폭 효과: 본 연구는 유익한 스티어링이 블랙박스 탈옥의 공격 성공률을 극적으로 높여 ASR을 거의 99%까지 밀어 올리는 전력 증폭기 역할을 한다는 점을 확립합니다.
3. 메커니즘적 설명: 저자들은 유익한 스티어링이 모델의 내부 상태에 암묵적인 도메인 변화를 유도하여, 유해한 요청을 무해한 하위 공간으로 밀어 넣고 거절 접두사가 포함된 오프닝을 억제함으로써 요청을 "무해화(benignizing)"한다는 증거를 제공합니다.

의의 및 주장

본 논문은 현재 LLM 배포 파이프라인의 결정적인 사각지대를 폭로한다고 주장합니다. 저자들은 모델 개발자들이 (더 나은 지시 이행이나 포맷팅과 같은) 유틸리티 개선을 추구하는 과정에서, 의도치 않게 안전 마진이 침식된 모델을 배포할 수 있다고 경고합니다.

• 안전 감사 필요성: 저자들은 추론 시점의 유틸리티 개선 사항이 의도치 않은 안전 외부효과에 대해 엄격히 감사받아야 한다고 주장합니다. 스티어링된 구성이 배포 전에 정기적인 레드팀 테스트와 회귀 테스트를 거쳐야 한다고 권고합니다.
• 완화 방안: 본 논문은 유익한 프롬프트와 유해한 프롬프트가 혼합된 데이터셋으로부터 스티어링 벡터를 구축하는 예비 완화 전략인 STEER-BIND를 제안합니다. 결과에 따르면 이 접근 방식은 유틸리티를 보존하면서 외부효과를 완화할 수 있음을 시사하지만, 이는 향후 연구를 위한 출발점으로 제시되었습니다.
• 광범위한 시사점: 본 연구는 "얕은(shallow)" 안전 정렬(초기 토큰 거절에 의존하는 방식)이 취약하며, 내부 표현의 변화에 의해 우회될 수 있음을 시사합니다. 이는 생성 궤적의 더 깊은 곳까지 지속되는 정렬 기술의 필요성을 촉구합니다.

결론적으로, 활성화 스티어링은 커스터마이징을 위한 강력한 도구이지만, 안전 인지적 제약 없이 배포될 경우 체계적인 위험을 초래하며, 유익한 유틸리티 향상을 적대적 취약성을 높이는 벡터로 변모시킬 수 있습니다.