💬 NLP

Towards Understanding Steering Strength

이 논문은 대규모 언어 모델의 스티어링 강도(steering strength)에 대한 첫 번째 이론적 분석을 제시하며, 모델 행동에 미치는 비단조적 효과를 지배하는 정밀한 법칙을 도출하고 이러한 예측을 11개의 서로 다른 아키텍처에 걸쳐 경험적으로 검증한다.

원저자: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 아주 똑똑하지만 약간은 장난기 넘치는 로봇 요리사라고 상상해 보세요. 이 로봇은 학습 데이터를 통해 온갖 종류의 요리를 만드는 법을 배웠지만, 가끔 실수로 레시피에 "독"(해롭거나 원치 않는 행동)을 넣기도 합니다. 이를 해결하기 위해 전체 요리사를 다시 훈련시키지 않고도 '활성화 스티어링(activation steering)'이라는 기술을 사용합니다. 이것은 로봇이 요리하는 동안 방향을 부드럽게 유도하여, 로봇의 내부 사고를 "안전"이나 "정직" 쪽으로 밀어주고 "기만"이나 "해악"으로부터 멀어지게 하는 것과 같습니다.

이 논문이 다루는 핵심 질문은 이것입니다: 얼마나 세게 밀어야 할까요?

너무 살살 밀면 로봇이 당신의 말을 무시하고 계속 나쁜 요리를 만들 것이고, 너무 세게 밀면 로로봇을 넘어뜨려 식사를 완전히 망쳐버릴 수도 있습니다. 저자들인 마가메드 타이메스카노프(Magamed Taimeskhanov), 사무엘 바이터(Samuel Vaiter), 데미엔 가로(Damien Garreau)는 완벽한 힘의 크기, 즉 스티어링 강도(그리스 문자 $\alpha$ 로 표현됨)를 찾아내기로 했습니다.

길 위의 "턱" (The "Bump" in the Road)

가장 놀라운 발견은 스티어링 강도를 높이는 것이 단순히 로봇의 행동을 직선적으로 개선하는 것이 아니라는 점입니다. 대신, 이는 특정한 형태를 가진 롤러코스터처럼 작동합니다.

당신이 로봇에게 "안전한" 단어를 말하도록 유도한다고 가정해 봅시다. 당신이 밀어주는 힘( $\alpha$ )을 서서히 높임에 따라 다음과 같은 현상이 일어납니다:

상승 (The Rise): 처음에는 안전한 단어를 말할 확률이 올라갑니다. 좋습니다!
정점 (The Peak): 그러다 어느 지점에서 최적의 상태에 도달합니다. 이것이 바로 "턱(bump)"입니다. 로봇은 당신이 원하는 것을 정확히 말하면서도, 나머지 대화의 맥락이 여전히 말이 되는 상태입니다.
하락 (The Drop): 하지만 그 정점을 지나 계속 밀어붙이면, 안전한 단어가 나타날 확률이 실제로 내려가기 시작합니다. 로봇이 혼란에 빠지고 답변의 품질이 무너지는 것입니다.

이 논문은 수학적으로 대부분의 단어에 대해 이 "턱" 현상이 실재함을 증证明했습니다. 그들은 "타겟 외(off-target)" 단어들(당신이 피하려고 하는 나쁜 것들)이 "타겟(target)" 단어들(좋은 것들)보다 먼저 정점에 도달한 뒤 사라지기 시작한다는 것을 발견했습니다. 이는 로봇이 망가지기 전, 올바른 주제에 집중할 수 있는 특정 구간이 존재함을 의미합니다.

"시그모이드" S-곡선 (The "Sigmoid" S-Curve)

단 하나의 단어가 아니라 하나의 개념(예: "악함" 또는 "기쁨")이 나타날 확률을 거시적으로 보았을 때, 그들은 다른 형태인 **S-곡선(또는 시그모이드)**을 발견했습니다.

이것은 단순히 켜지고 꺼지는 스위치가 아니라, 서서히 밝아지는 조명과 같습니다. 스티어링 강도를 높이면 개념이 켜져 있다가, 천천히 빛을 내기 시작하고, 마침내 완전히 밝아집니다. 논문은 어떤 개념이 나타날 확률이 이 매끄러운 S자 형태를 따른다는 것을 보여주며, 이는 다른 연구자들이 실험을 통해 확인한 바와 일치합니다. 그러나 저자들은 만약 힘을 너무 과하게 주면, 로봇이 당신의 프롬프트를 전혀 듣지 않고 무엇을 물어도 똑같은 몇 단어만을 반복하게 된다는 점도 언급했습니다.

밀어붙이는 데 따르는 비용 (The Cost of Pushing)

여기에는 함정이 있습니다: 세상에 공짜는 없습니다.

논문은 스티어링 강도를 아무리 신중하게 선택하더라도, 로봇을 밀어붙이는 행위는 항상 로봇의 원래 작업(다음 단어를 정확히 예측하는 능력)을 약간씩 저하시킨다는 것을 증명합니다. 그들은 이를 크로스 엔트로피(cross-entropy)(모델이 자신의 출력에 대해 얼마나 "놀라는지"를 측정하는 방식)라는 지표로 측정했습니다.

그들은 스티어링을 전혀 하지 않는 지점( $\alpha = 0$ ) 근처에서 모델의 성능 저하가 U자형을 띤다는 것을 발견했습니다.

아주 조금만 밀면, 손실은 작습니다 (완만한 곡선처럼 보입니다).
많이 밀수록, 손실은 훨씬 더 커집니다.
결정적으로, 이 논문은 이 손실이 단순한 직선이 아니라, 작은 힘을 가할 때 **이차 함수(quadratic, $x^2$ 형태)**처럼 급격히 증가한다는 것을 보여줍니다. 즉, 아주 작은 힘의 증가라도 예상보다 훨씬 빠르게 성능에 타격을 줄 수 있다는 뜻입니다.

입증된 오해들 (What They Ruled Out)

저자들은 흔한 오해들을 매우 주의 깊게 배제했습니다:

직선이 아니다: "더 많은 스티어링이 항상 더 많은 바람직한 행동을 낳는다"는 생각이 틀렸음을 명시적으로 보여주었습니다. 특정 지점을 지나면, 더 강한 스티어링이 오히려 바람직한 행동을 줄어들게 만듭니다.
마법이 아니다: 스티어링 강도를 아무 숫자나 골라도 된다는 생각에 반박했습니다. 논문은 "최적의 지점"이 특정 프롬프트와 모델에 따라 달라지므로, "만능 숫자"란 존재하지 않는다고 제안합니다.
타겟만이 전부가 아니다: 스티어링이 다른 개념들에도 영향을 미친다는 것을 보여주었습니다. 만약 로봇을 "행복"하도록 유도한다면, 의도치 않게 "슬픔"을 덜 느끼게 할 수도 있지만, 로봇의 뇌 속에 개념들이 어떻게 얽혀 있느냐에 따라 "수학"이나 "코딩"에 대해 말하는 능력까지 망가뜨릴 수도 있습니다.

결과에 대한 확신은 어느 정도인가?

저자들은 단순히 추측한 것이 아니라, 단순화된 로봇(Unconstrained Features Model)의 수학적 모델을 구축하여 이러한 동작들을 엄밀한 수학으로 증명했습니다. 그런 다음 이 이론들을 GPT-2, Gemma, Qwen과 같은 아주 작은 모델부터 거대한 모델에 이르는 11개의 서로 다른 실제 언어 모델에 테스트했습니다.

그들은 "턱" 패턴, S-곡선, 그리고 성능 저하의 U자형 모양이 이 모든 다양한 모델에서 일관되게 나타난다는 것을 발견했습니다. 비록 자신들의 수학적 모델이 실제 세계의 단순화된 형태임을 인정하지만, 실제 로봇들이 수학적 예측과 정확히 일치하게 행동했다는 사실은 이들의 연구 결과에 높은 신뢰도를 부여합니다.

요점 (The Takeaway)

이 논문은 언어 모델을 스티어링하는 것이 라디오 주파수를 맞추는 것과 같다고 제안합니다. 다이얼을 너무 많이 돌리면 신호가 선명해지는 것이 아니라, 그저 잡음만 들리게 됩니다. 저자들은 이러한 모델을 제어하려는 사람들을 위해 두 단계의 전략을 제안합니다:

먼저, 로봇이 망가지거나 당신의 프롬프트를 무시하기 시작하는 지점인 **"천장(ceiling)"**을 찾으십시오.
그다음, 로봇의 일반적인 지능에 가해지는 손상을 최소화하면서 가장 많은 "바람직한 행동"을 끌어낼 수 있는, 그 천장 바로 아래의 강도를 선택하십시오.

그들은 모든 상황에 맞는 완벽한 숫자를 찾는 문제를 해결하지는 못했지만, 우리가 암흑 속에서 추측하는 일을 멈출 수 있도록 지형의 지도를 그려주었습니다.

문제점
대규모 언어 모델(LLM)은 훈련 데이터로부터 기만이나 해를 끼치려는 의도와 같은 유해한 행동 패턴을 종종 상속받습니다. 대중적인 사후 훈련 제어 방법인 활성화 스티어링(activation steering)은 타겟 개념(예: 안전성)과 관련된 모델의 잠재 표현 공간 내 방향을 식별하고, 추론 과정에서 잔차 스트림(residual stream)을 해당 방향으로 섭동(perturbation)함으로써 이를 완화하려고 시도합니다. 스티어링 방향을 선택하는 방법론(예: 평균 차이법)은 잘 확립되어 있지만, 스티어링 강도 하이퍼파라미터 $\alpha$ 의 선택은 여전히 경험적인 데 의존하고 있습니다. 실무자들은 결정적인 트레이드오프에 직면합니다. $\alpha$ 가 불충분하면 원하는 행동을 이끌어내지 못하고, $\alpha$ 가 과도하면 모델 성능이 회복 불가능한 수준으로 저하됩니다. 현재로서는 $\alpha$ 가 다음 토큰 확률, 개념의 존재 여부, 그리고 전반적인 모델 성능(교차 엔트로피)에 어떻게 정량적으로 영향을 미치는지에 대한 이론적 이해가 부족합니다.

방법론
저자들은 신경 붕괴(neural collapse)에 관한 선행 연구에서 변형된, 단순하고 다루기 쉬운 모델인 무제약 특징 모델(Unconstrained Features Model, UFM)을 사용하여 스티어링 강도에 대한 이론적 분석을 제안합니다. 이 모델은 고차원 개념이 어휘 집합(vocabulary)의 서로 소인 부분 집합에 대응하며, 모델이 훈련 데이터의 확률을 완벽하게 학습했다고 가정합니다.

이론적 프레임워크: 연구는 스티어링 벡터 $v$ 를 "긍정적" 문맥(타겟 개념을 나타내는 문맥)과 "부정적" 문맥(개념이 결여된 문맥)의 임베딩 간 평균 차이로 정의합니다. 스티어링 연산은 문맥 임베딩 $h_j$ 를 $h_j + \alpha v$ 로 이동시킵니다.
분석적 유도: 저자들은 $\alpha$ $α$ 의 함수로서 세 가지 핵심 양에 대한 정밀한 질적 법칙을 도출합니다:
- 다음 토큰 확률 증가 ( $\Delta p$ ): 특정 토큰들의 확률 변화.
- 개념 확률 증가 ( $\Delta p(C)$ ): 특정 개념에 속하는 토큰들의 총체적인 확률 변화.
- 교차 엔트로피 차이 ( $\Delta CE$ ): 스티어링되지 않은 상태와 비교한 모델 성능의 변화.
경험적 검증: 이론적 예측은 11개의 현대적 LLM(소형 GPT 아키텍처부터 Gemma 3, Qwen 3, Llama 2와 같은 모델까지)과 12개의 뚜렷한 개념(악함, 우울함과 같은 안전 관련 특성 및 수학과 같은 주제 포함)을 통해 검증되었습니다. 실험은 대조적(contrastive) 또는 무작위 프롬프트 세트를 사용하여 구축된 평균 차이 스티어링 벡터를 사용하며, 다양한 레이어에서 잔차 스트림을 스티어링합니다.

주요 기여 및 결과

토큰 확률의 비단조적 "범프(Bump)" 동작: 스티어링이 단순히 타겟 토큰의 확률을 단조 증가시킨다는 직관과 달리, 분석 결과 "범프" 동작이 드러났습니다. 대부분의 토큰에 대해 확률 증가 $\Delta p(\alpha)$ 는 특정 $\alpha$ 에서 정점에 도달한 후 감소합니다. 결정적으로, 오프타겟(off-target) 토큰(타겟 개념에 속하지 않는 토큰)은 타겟 토큰보다 더 빨리 정점에 도달합니다. 이는 분포가 몇 개의 지배적인 토큰으로 붕괴하기 전에 타겟 개념이 선호되는 $\alpha$ 의 "스윗 스팟(sweet spot)"이 존재함을 시사합니다.
개념 확률의 시그모이드 진화: 출력에서 타겟 개념의 확률은 $\alpha$ 가 증가함에 따라 시그모이드(tanh 형태) 곡선을 따릅니다. 반대로, 극단적인 로그-오즈(log-odds)를 가진 토큰을 포함하지 않는 오프타겟 개념들은 스티어링되지 않은 값으로 수렴하는 반면, 균일하게 낮은 로그-오즈를 가진 개념들은 단조 감소합니다.
국소적 이차(Quadratic) 성능 저하: 본 논문은 스티어링이 필연적으로 글로벌 성능을 저하시킨다는 것을 보여주는 최초의 이론적 특성을 제공합니다. 교차 엔트로피 증가 $\Delta CE(\alpha)$ 는 $\alpha = 0$ 주변에서 로컬 U자형을 그리며, 로그-오즈의 분산에 의해 결정되는 이차적 추세( $\Delta CE \propto \alpha^2$ )를 따릅니다. 이는 어떤 스티어링이라도 왜곡을 도입한다는 것을 확인시켜 줍니다.
대형- $\alpha$ 극한: 정규화 레이어가 있는 현대적 트랜스포머의 경우, $|\alpha| \to \infty$ 로 갈 때 스티어링된 로짓(logits)은 정규화된 스티어링 방향의 언임베딩(unembedding)으로 수렴하며, 입력 프롬프트와 무관해집니다. 이는 높은 스티어링 강도에서 관찰되는 교차 엔트로피의 정체(plateauing)와 출력 다양성의 붕괴를 설명합니다.

의의
본 논문은 경험적인 시행착오를 넘어 스티어링 강도에 대한 최초의 이론적 분석을 제공한다고 주장합니다. 토큰 확률에 미치는 비단조적 효과와 교차 엔트로피에 미치는 필연적인 이차적 비용을 규명함으로써, 이 연구는 $\alpha$ 를 선택하기 위한 원칙적인 근거를 제공합니다. 저자들은 두 단계의 선택 전략을 제안합니다: 첫째, 모델 퇴화(프롬프트 독립성)가 일어나기 전의 임계값인 $\alpha^\star$ 를 기준으로 탐색 공간을 $[0, \alpha^\star]$ 로 제한하고, 둘째, 교차 엔로피 저하를 특정 임계값 미만으로 유지하면서 개념 존재를 극대화하도록 이 범위 내에서 $\alpha$ 를 캘리브레이션하는 것입니다. 이 프레임워크는 추론 시점의 제어를 더 신뢰할 수 있고, 효율적이며, 감사 가능하게 만드는 것을 목표로 하지만, 저자들은 단순화된 이론적 가정과 실제 세계의 혼합된 개념 맥락 사이의 간극을 메우는 것이 향후 과제로 남아 있음을 인정합니다.