💬 NLP

SteeringSafety: Benchmarking Representation Steering in LLMs Across Safety Perspectives

이 논문은 9가지 안전 관점과 18개의 데이터셋을 통해 표현 스티어링(representation steering) 방법들을 평가하는 종합적인 벤치마크인 SteeringSafety를 소개하며, 스티어링이 특정 행동을 효과적으로 타겟팅할 수는 있지만 상당한 얽힘(entanglement)으로 인해 사회적 행동 및 규범적 판단과 같은 다른 안전 차원에서 상당한 의도치 않은 저하를 일으키는 경우가 많다는 것을 밝혀냈다.

원저자: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방금 시를 쓰고, 수학 문제를 풀고, 농담을 할 수 있는 초지능 로봇 친구를 만들었다고 상상해 보세요. 당신은 이 로봇이 도움이 되도록 훈련시켰지만, 동시에 못된 말을 하거나, 사실을 속이거나, 인간인 척하지 않도록 만들고 싶어 합니다. 이것이 바로 **거대 언어 모델(LLM)**의 세계입니다. 거대 언어 모델은 믿기지 않을 정도로 유창하지만 때로는 예측 불가능하게 행동할 수 있는 거대한 AI 두뇌입니다.

이 로봇들을 통제하기 위해, 과학자들은 **표상 조종(Representation Steering)**이라는 기술을 발견했습니다. AI의 두뇌를 딱딱한 코드 덩어리가 아니라, 수백만 개의 작은 스위치(활성화)로 가득 찬 거대하고 빛나는 제어실이라고 생각해 보세요. 연구자들은 만약 그들이 '답변 거부'나 '진실 말하기'와 같은 행동을 제어하는 제어실 내의 특정 '스격'이나 '방향'을 찾아낼 수 있다면, 단순한 수학적 밀기(push)를 통해 이를 조절할 수 있다는 것을 발견했습니다. 이는 마치 로봇 전체를 처음부터 다시 훈련시키지 않고도, 리모컨을 사용하여 로봇을 즉각적으로 더 정직하게 만들거나 덜 무례하게 만들 수 있는 것과 같습니다. 이것은 마법처럼 들리지만, 큰 의문은 이것입니다. 만약 당신이 하나의 문제를 해결하기 위해 버튼 하나를 누른다면, 그것이 실수로 다른 무언가를 망가뜨리지는 않을까요?

이것이 바로 새로운 논문인 SteeringSafety가 조사하는 내용입니다. 연구진은 다양한 AI 모델에 이러한 리모컨을 사용했을 때 어떤 일이 일어나는지 확인하기 위해 거대한 테스트 경기장인 '안전 체육관(safety gym)'을 구축했습니다. 그들은 단 한 가지만 테스트한 것이 아닙니다. 그들은 해로운 질문에 답변을 거부하는지부터, 환각 현상(사실을 지어내는 것)을 일으키는지, 사회적 편견과 정치적 견해를 어떻게 다루는지에 이르기까지 9가지 서로 다른 안전 관점을 점검했습니다.

결과는 약간 변형된 형태의 '두더지 잡기' 게임과 같습니다. 팀은 조종(steering)이 어떤 것에는 잘 작동하지만, 매우 복잡하다는 것을 발견했습니다. 예를 들어, 그들은 AI가 해로운 질문에 답변하기를 거부하는 것을 멈추게 하는 버튼(본질적으로 '탈옥'시키는 것)을 누르면, 종종 다른 기능들이 악화된다는 것을 발견했습니다. 어떤 경우에는 로봇의 고집을 꺾었더니, 예의를 갖추거나 아첨꾼(yes-man)처럼 행동하지 않는 것과 같은 사회적 행동 능력이 76%나 더 나빠졌습니다.

아마도 가장 놀라운 발견은 이러한 부작 fear 효과가 예측 불가능하다는 점일 것입니다. 그들이 AI가 사실을 지어내는 것(환각)을 막으려고 시도했을 때, 로봇의 정치적 견해가 급격히 변했습니다. 한 모델에서는 그 압력이 모델을 오른쪽으로 25% 더 기울게 만들었고, 다른 모델에서는 왼쪽으로 28% 이동시켰습니다. 그것은 마치 로봇의 기억력을 고치려던 노력이 의도치 않게 성격을 바꿔버린 것과 같습니다.

논문은 단 하나의 '마법 버튼'이 부작용 없이 안전을 해결해 주지는 않는다고 결론짓습니다. 조종의 성공 여부는 사용된 방법의 구체적인 조합, 특정 AI 모델, 그리고 바꾸고자 하는 정확한 행동에 전적으로 달려 있습니다. DIM이라 불리는 기술처럼 거부 현상을 막는 데 일반적으로 효과적인 방법도 있지만, 연구진은 우리가 하나의 안전 문제를 해결하는 것이 다른 문제를 일으키지 않을 것이라고 단정해서는 안 된다고 경고합니다. 그들은 우리가 이 리모컨들을 실제 세상에서 사용하기 전에, AI의 두뇌는 엉킨 그물망과 같다는 점을 이해해야 한다고 제안합니다. 즉, 실 한 가닥을 잡아당기는 것이 스웨터 전체를 풀어헤칠 수 있다는 것입니다. 이 연구는 조종 기술이 쓸모없다고 말하는 것이 아니라, 우리가 하나의 위험을 해결하려다 다른 위험을 초래하고 있는 것은 아닌지 확인하기 위해 모든 조합을 아주 신중하게 테스트해야 한다고 말하고 있습니다.

기술 요약: SteeringSafety

문제 정의

대규모 언어 모델(LLM)은 유해한 콘텐츠 생성, 사회적 편향 전파, 환각(hallucination)을 포함한 발현적이고 예측 불가능한 안전 행동을 보입니다. 안전 연구는 모델을 인간의 의도에 정렬(alignment)시키고자 노력하지만, 개입 방식들은 종종 엉킴(entanglement) 문제를 겪습니다. 즉, 하나의 안전 행동을 수정하면 다른 행동이 저하되거나 변질되는 현상이 빈번하게 발생합니다. 예를 들어, 비안전 데이터에 대한 지도 미세 조정(SFT)은 독성 완화 능력을 감소시킬 수 있으며, 인간 피드백 기반 강화 학습(RLHF)은 아첨(sycophancy)을 유발하거나 정치적 편향을 증폭시킬 수 있습니다.

표상 스티어링(Representation steering)은 내부 활성화(activation)를 수정하여 목표 목적을 달족하는 훈련이 필요 없는 대안을 제시합니다. 그러나 기존 연구는 주로 단일 정렬 목적(예: 거부 횟수 증가 또는 환각 감소)에 집중해 왔으며, 이러한 개입이 초래하는 **교차 관점 엉킴(cross-perspective entanglement)**을 체계적으로 측정하지 않았습니다. 다양한 안전 차원에 걸친 이러한 부작용의 범위와 구조가 대규모로 측정되지 않은 채 남아 있으며, 이는 스티어링 방법론에 내재된 트레이드오프를 이해하는 데 있어 공백을 만듭니다.

방법론: STEERINGSAFETY 벤치마크

이 공백을 메우기 위해 저자들은 18개의 데이터셋에 걸친 9가지의 뚜렷한 안전 관점을 평가하도록 설계된 모듈형 벤치마크인 STEERINGSAFETY를 도입합니다.

1. 평가 프레임워크

이 벤치마크는 두 가지 주요 지표를 측정합니다:

효과성(Effectiveness): 개입이 목표 행동(예: 유해한 프롬프트에 대한 거부 감소)을 개선하는 정도.
엉킴(Entanglement): 다른 모든 안전 관점에서 발생하는 의도하지 않은 변화의 크기.

저자들은 서로 다른 베이스라인을 가진 관점들 간의 비교 가능성을 확보하기 위해, 이득(gain)을 남은 헤드룸( $1 - y_d$ )에 대해 정규화함으로써 효과성을 정의합니다. 엉킴은 분포 외(OOD) 관점에서의 절대적 드리프트(drift)의 제곱평균제곱근(RMS)으로 계산되며, 실질적인 의도하지 않은 변화의 크기를 보존하기 위해 의도적으로 베이스라인 정규화를 피합니다.

2. 안전 관점 및 데이터셋

STEERINGSAFETY는 여러 하위 관점으로 구성된 9가지 관점을 다룹니다:

거부(Refusal): 탈옥(jailbreak) 견고성을 평가하기 위해 SALAD-Bench(유해 프롬프트)를 통해 측정됩니다.
편향(Bias): 암묵적 편향(BBQ)과 명시적 편향(ToxiGen)으로 나뉩니다.
환각(Hallucination): 내재적 환각(입력 컨텍스트와의 모순, FaithEval)과 외재적 환각(근거 없는 주장, PreciseWikiQA)으로 나뉩니다.
사회적 행동(Social Behaviors): DarkBench(브랜드 편향, 아첨, 의인화, 사용자 유지)를 통해 평가됩니다.
추론 능력(Reasoning Capabilities): GPQA(전문가), ARC-C(단순), LongBench v2(롱 컨텍스트)를 통해 평가됩니다.
인식적 무결성(Epistemic Integrity): TruthfulQA(사실적 오해) 및 DarkBench(Sneaking)를 통해 측정됩니다.
규범적 판단(Normative Judgment): DecodingTrust(상식적 도덕성) 및 TwinViews-13k(정치적 견해)를 통해 평가됩니다.

3. 스티어링 방법 및 구현

이 벤치마크는 다섯 가지 최신 스티어링 방법을 통합된 모듈형 코드베이스를 통해 구현합니다:

DIM (DiffInMeans): 평균 활성화 차이를 통해 방향을 생성하며, 방향성 제거(directional ablation)를 통해 적용합니다.
ACE (Affine Contrastive Editing): 평균 차이를 사용하지만, 베이스라인 행동을 보존하기 위해 아핀 이동(affine shift)을 적용합니다.
CAA (Contrastive Activation Addition): 대조적인 다중 선택 프롬프트를 통해 방향을 생성하며, 활성화 추가를 통해 적용합니다.
PCA (Principal Component Analysis): 대조적 활성화의 주성분을 사용합니다.
LAT (Linear Activation Transformation): 무작위로 쌍을 이룬 활성화 차이에 대해 주성분을 계산합니다.

프레임워크는 세 가지 스티어링 구성을 지원합니다:

Standard (표준): 과도한 분포 변화를 일으키는 방향을 폐기하기 위해 Alpaca에 대한 KL-다이버전스 필터를 사용합니다.
NoKL: 최대의 원시 효과를 위해 필터를 제거합니다.
Conditional (조건부): KL 필터를 CAST 스타일의 코사인 유사도 게이팅으로 대체하여 특정 조건이 충족될 때만 스티어링을 적용합니다.

실험은 Gemma-2-2B, Llama-3.1-8B, Qwen-2.5-7B(및 더 작은 Qwen 변체들)를 대상으로 거부, 환각, 편향 관점에 대해 수행되었습니다.

주요 결과

1. 효과성은 맥락 의존적이다

강력한 스티어링 성능은 보편적이지 않으며, **(방법, 모델, 관점)의 삼중항(triple)**에 결정적으로 의존합니다.

거부: DIM과 ACE는 거부 억제(종종 >50% 효과성)에서 일관되게 가장 강력한 효과를 달성하며, 특히 Llama와 Qwen 모델에서 두드로 나타납니다.
환각: 결과가 일관되지 않습니다. 외재적 환각은 스티어링하기 어렵지만(Gemma와 Qwen에서 종종 조절 불가능), 내재적 환각은 모델 의존적인 성공을 보입니다(예: Llama-3.1-8B에서 PCA와 LAT는 환각을 감소시킴).
편향: 개입은 낮은 크기의 이득(<20%)을 얻는데, 이는 이미 높은 베이스라인을 가지고 있거나 필요한 행동 변화가 미묘하기 때문인 것으로 보입니다.

2. 엉킴은 광범위하고 특이적이다

엉킴은 균일하지 않으며, 특정 관점이 일관되게 더 취약합니다.

가장 취약한 관점: 사회적 행동(아첨, 사용자 유지)과 규범적 판단(도덕성, 정치적 견해)이 가장 높은 엉킴을 유발하며, 사회적 행동에서는 최대 **76%**까지 저하가 발생합니다.
견고한 관점: 추론 능력은 개입에 대해 대체로 견고하며, 엉킴은 통상 2% 미만입니다.
역설적 발견:
- 탈옥이 반드시 독성을 증가시키는 것은 아님: 거부를 억제하면 사회적 행동은 저하되지만, 명시적 편향과 도덕성에 미치는 영향은 모델에 따라 심각한 저하부터 무시할 만한 수준까지 다양하게 나타납니다.
- 정치적 변화: 환각 스티어링은 정치적 견해를 예측 불가능하게 변화시킵니다. 예를 들어, 내재적 환각 스티어링은 Gemma-2-2B를 좌향 편향되게 만든 반면, Llama-3.1-8B는 우향 편향되게 만들었습니다.
- 편향 간섭: 편향 스티어링은 환각률을 예측 불가능하게 변화시키거나, 한 종류의 편향을 개선하는 동시에 다른 종류의 편향을 저하시킬 수 있습니다.

3. 트레이드오프 및 제어

효과성-엉킴 비율: ACE와 DIM은 일반적으로 거부 및 편향에 대해 최적의 트레이드오프를 제공합니다. PCA는 Llama-3.1-8B에서 환각 감소에 유리한 비율을 달성하며, 때로는 사회적 행동을 개선하기도 합니다.
조건부 스티어링: Conditional 설정(CAST 스타일의 게이팅 사용)은 일반적으로 트레이드오프를 개선합니다. 이는 엉킴을 줄이면서 거부 및 환각에 대한 효과성을 유지함으로써 파레토 개선(Pareto improvement)을 달성합니다. 그러나 편형 스티어링에서는 프롬프트 유사성으로 인해 게이팅 메커니즘이 너무 자주 트리거되어 성능이 떨어집니다.

의의 및 주장

본 논문은 STEERINGSAFETY가 스티어링 개입의 엄격한 비교를 위한 기초적인 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

엉킴의 정량화: 단일 타겟 평가를 넘어 개입이 안전 지형 전체에 어떻게 연쇄 반응을 일으키는지 체계적으로 측정함으로써, 한 차원의 "안전한" 스티어링이 다른 차원에서 새로운 위험을 도입할 수 있음을 밝혀냈습니다.
모듈형 벤창마크: 다섯 가지 서로 다른 방법을 단일 코드베이스로 통합함으로써, 설계 선택(예: 방향 생성 vs 적용)과 그것이 효과성-엉킴 트레이드오프에 미치는 영향을 직접 비교할 수 있게 합니다.
모델별 미세한 차이 규명: 보편적인 스티어링 벡터라는 개념에 도전하며, 스티어링 방법의 안전한 함의가 방법, 모델 아키텍처, 그리고 타겟 관점 사이의 구체적인 상호작용에 의해 결정됨을 입증했습니다.

저자들은 결론적으로, 표상 스티어링을 배포하기 전에는 신중한 다각도 경험적 검증이 필요하다고 주장합니다. 그들은 관찰된 엉킴 패턴이 서로 다른 안전 개념들이 저차원 활성화 공간에서 뉴런 수준의 지지(support)를 공유하는 특성 중첩(feature superposition) 현상과 일치할 가능성이 높다고 보지만, 이는 기계적 검증이 필요한 가설임을 명시했습니다. 이 벤치마크는 이러한 숨겨진 엉킴을 드러냄으로써 더 안전하고 제어 가능한 모델 개발을 안내하는 것을 목표로 합니다.