🤖 machine learning

A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models

이 논문은 토큰의 일부에 대해서만 희소하고 확률적인 개입을 수행하는 것이 유창성을 유지하면서도 대규모 언어 모델의 행동을 효과적으로 제어할 수 있음을 입증하는 확률적 토큰 및 블록 스티어링(Stochastic Token and Block Steering) 방법을 소개하며, 이는 SAE 매개 제어가 밀집된 토큰별 적용보다는 누적된 신호 용량에 의해 속도가 제한됨을 밝혀낸다.

원저자: Nima Eshraghi, Lovedeep Gondara, Yuqing Huang, Sagarika Suresh, Leizer Teran, Jithin Pradeep, Xiaotong Xu, Fanny Chevalier

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nima Eshraghi, Lovedeep Gondara, Yuqing Huang, Sagarika Suresh, Leizer Teran, Jithin Pradeep, Xiaotong Xu, Fanny Chevalier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 매우 재능 있지만 약간은 혼란스러운 이야기꾼이라고 상상해 보세요. 당신은 이 이야기꾼에게 덜 못되게 굴거나(독성 감소) 혹은 더 슬프게(감정 유도) 이야기를 하도록 만들고 싶습니다.

전통적으로, 이 이야기꾼을 교정하기 위해 연구자들은 **"밀집 제어(Dense Steering)"**라는 방법을 사용해 왔습니다. 이것은 마치 엄격한 편집자가 이야기꾼의 바로 뒤에 서서, 단어 하나하나가 나올 때마다 속삭이며 교정하는 것과 같습니다. 이 방법은 이야기를 바꾸는 데는 효과적이지만, 매우 소모적입니다. 끊임없는 속삭임은 이야기꾼의 자연스러운 흐름을 방해하여, 그들이 로봇처럼 들리거나 반복적이거나 혼란스럽게 만듭니다.

이 논문은 다음과 같은 간단한 질문을 던집니다. "우리가 정말 매 단어마다 속삭여야 할까요?"

저자들은 "아니요"라고 답합니다. 그들은 **"확률적 토큰 제어(Stochastic Token Steering)"**라는 새로운 방식, 즉 일종의 동전 던지기를 제안합니다.

핵심 아이디어: 동전 던지기 편집자

지속적인 편집자 대신, 새로운 규칙을 도입합니다:

모델이 단어를 쓰기 직전마다, 우리는 동전을 던집로 합니다.
앞면 (50% 확률): 우리는 교정을 속삭입니다.
뒷면 (50% 확률): 우리는 간섭 없이 모델이 자연스럽게 쓰도록 둡니다.

이 논문은 두 가지 방식을 소개합니다:

확률적 토큰 제어 (STS): 모든 단어마다 동전을 던집니다. 때로는 모델이 도움을 받고, 때로는 그렇지 않습니다.
확률적 블록 제어 (SBS): 이야기의 맨 처음에 딱 한 번만 동전을 던집니다. 앞면이 나오면 첫 번째 단어 뭉치 동안 교정을 속삭이고, 뒷면이 나오면 전혀 속삭이지 않습니다.

연구 결과

연구진은 두 가지 서로 다른 AI 모델(LLaMA 및 Gemma)을 대상으로 두 가지 목표를 테스트했습니다: AI를 덜 독하게 만들 것과 더 슬프게 들리게 만드는 것입니다.

1. 적을수록 많다 ("반값 효과")
그들은 단어의 50%에 대해서만 교정을 속삭임으로써, 지속적인 편집자가 주는 **이점의 95%**를 얻을 수 있다는 것을 발견했습니다.

비유: 자동차를 운전한다고 상상해 보세요. 운전대를 100%의 시간 동안 꽉 잡고 있을 필요는 없습니다. 가끔씩 부드럽게 핸들을 조작하기만 해도 차는 여전히 당신이 원하는 방향으로 가지만, 훨씬 더 부드러운 승차감을 제공합니다.
결과: AI는 유창하고 자연스럽게 들리면서도, 여전히 새로운 규칙(예: 독성을 줄이는 것)을 따랐습니다.

2. "볼륨"의 트레이드오프
여기 아주 영리한 부분이 있습니다. 우리가 덜 자주 속삭일 때(동전 던지기 확률을 낮출 때), 우리는 속삭일 때 더 크게 말해야 했습니다.

비유: 만약 당신이 운전자에게 10마일마다 한 번씩만 말할 수 있다면, 매우 명확하고 강한 지시를 내려야 합니다. 하지만 매 마일마다 말할 수 있다면, 작은 넛지(nudge)만으로도 충분합니다.
결과: 간섭하는 빈도를 줄이는 대신, 간섭할 때 "볼륨"을 높임으로써 시스템에 주입되는 전체 "노이즈"를 줄이면서도 동일한 결과를 달성했습니다.

3. "초반부"보다 "무작위"가 더 낫다
그들은 또한 이야기의 시작 부분에만 교정하는 것이 나을지(블록 방식) 테스트했습니다. 그들은 이야기 내내 무작위로 단어를 교정하는 것(토큰 방식)이 단순히 시작 부분만 고치는 것보다 더 효과적이라는 것을 발견했습니다.

비유: 그것은 국에 간을 맞추는 것과 같습니다. 시작 부분에만 소금을 뿌리는 것(블록)은 요리 과정 내내 조금씩 소금을 뿌리는 것(토کن)만큼 국 전체에 맛을 잘 입히지 못합니다.

이것이 왜 중요한가

이 논문은 AI의 행동을 제어하는 것은 얼마나 자주 개입하느냐가 아니라, 신호의 **전체적인 "용량(dosage)"**에 관한 것이라고 결론짓습니다.

기존 방식: 흐름을 망치는 지속적이고 낮은 볼륨의 노이즈.
새로운 방식: 흐를 수 있도록 돕는 산발적이고 높은 볼륨의 넛지.

가장 좋은 점은 이 방법이 믿을 수 없을 정도로 간단하다는 것입니다. 새로운 AI를 훈련시키거나 복잡한 보상 체계를 구축할 필요가 없습니다. 그저 난수 생성기(동전 던지기)와 얼마나 자주 개입할지를 결정하는 단 하나의 설정값만 있으면 됩니다.

요약하자면: AI의 행동을 바꾸기 위해 마이크로매니징을 할 필요는 없습니다. 약간의 무작위적이고 시의적절한 가이드만 있다면, AI의 자연스러운 목소리를 망치지 않고도 올바른 방향으로 이끌 수 있습니다.

기술 요약: 토큰당 동전 던지기: 대규모 언어 모델의 베르누이 희소 스티어링 (Bernoulli Sparse Steering)

문제 정의

희소 오토인코더(Sparse Autoencoders, SAE)를 통한 활성화 스티어링(Activation steering)은 특정 작업에 대한 미세 조정 없이도 대규모 언어 모델(LLM)의 행동(예: 독성 감소 또는 특정 페르소나 강제)을 제어할 수 있는 메커니즘을 제공한다. 그러나 표준적인 방법들(예: ActAdd, ITI, CAA)은 모든 생성 토큰에 스티어링 신호를 적용한다. 이러한 조밀하고 균일한 개입은 모델의 활성화를 고유의 매니폴드(manifold)에서 벗어나게 하여, 종종 유창성을 저해하고, 반복적인 출력을 유발하며, 다중 속성 설정에서 과잉 교정(over-correction)을 초래한다.

저자들이 제기하는 핵심 질문은 다음과 같다: 조밀한 모든 토큰 단위의 개입이 반드시 필요한가? 그들은 지속적인 섭동(perturbation)이 중복될 수 있으며, 행동 제어가 스티어링 신호의 희소하고 확률적인 적용을 통해서도 달성 가능할 것이라고 가설을 세웠다.

방법론

본 논문은 결정론적인 모든 토큰 적용을 대신하여 스티어링 신호를 무작위로 게이팅(gating)하는 두 가지 확률적 개입 전략을 소개한다. 두 방법 모두 타겟 행동과 관련된 SAE 특징(feature)으로부터 유도된 스티어링 벡터 $v$ 를 활용한다.

1. 스티어링 방향 발견 (Steering Direction Discovery)

특정 레이어 $\ell^*$ 의 잔차 스트림(residual stream) 활성화에 대해 훈련된 희소 오토인코더(SAE)를 사용하여, 저자들은 행동 변별적 특징들을 식별한다. 이들은 긍정적 집합(타겟 행동을 보이는 집합)과 중립 집합 사이의 평균 특징 활성화 차이( $\Delta_i$ )를 계산한다. 상위 $K$ 개의 특징이 선택되어 단위 노름(unit-norm) 스티어링 벡터 $v$ 를 형성한다.

2. 확률적 개입 메커니즘 (Stochastic Intervention Mechanisms)

토큰 위치 $t$ 에서의 스티어링 신호는 $s_t = m_t \cdot \alpha v$ 로 정의되며, 여기서 $\alpha$ 는 크기(magnitude)이고 $m_t$ 는 이진 게이트(binary gate)이다.

확률적 토큰 스티어링 (Stochastic Token Steering, STS): 모든 위치 $t$ 에서, 독립적인 게이트 $m_t \sim \text{Bernoulli}(p)$ 가 샘플링된다. 신호는 확률 $p$ 로 무작위 토큰 부분 집합에 적용된다. 이 설계는 위치 불가지론적(position-agnostic)이며, 어떤 특정 토큰이 행동적으로 관련이 있는지에 대한 가정을 하지 않는다.
확률적 블록 스티어링 (Stochastic Block Steering, SBS): 단일 게이트 $m \sim \text{Bernoulli}(p)$ 가 시퀀스당 한 번 샘플링된다. 만약 $m=1$ 이면, 신호는 크기 $W$ (예: 처음 32 또는 64개 토큰)의 선행 윈도우(leading window)에 균일하게 적용된다. 그렇지 않으면 개입이 발생하지 않는다. 이는 초기 토큰이 불균형적으로 큰 맥락적 영향력을 가진다는 가설을 활용한다.

3. 유창성 보존 정규화 (Fluency-Preserving Regularization)

가산적 개입(additive interventions)으로 인한 비일관적인 출력의 위험을 완화하기 위해, 저자들은 세 가지 경량 보정 기법을 적용한다.

노름 보존 (Norm Preservation): 스티어링된 활성화를 재조정(rescaling)하여 원래의 노름을 복구함으로써, 개입이 크기 팽창이 아닌 회전(rotation)이 되도록 제한한다.
활성화 클램핑 (Activation Clamping): $v$ 에 대한 스칼라 투영(scalar projection)을 제한하여 과도한 증폭을 방지한다.
반복 페널티 (Repetition Penalty): 고확률 연속어가 억제될 때 발생하는 반복 경향을 상쇄하기 위해 디코딩 중 이전에 생성된 토큰의 가중치를 낮춘다.

실험 설정

방법론은 두 가지 모델(LLaMA 3.1-8B 및 Gemma-2 2B)과 두 가지 행동 작업에 대해 평가되었다:

독성 감소 (Toxicity Reduction): RealToxicityPrompts 데이터셋을 사용하여 독성 생성을 억제한다.
감정 스티어링 (Emotion Steering): GoEmotions 데이터셋을 사용하여 특정 감정(공포 및 슬픔)을 유도한다.

베이스라인:

스티어링 없음 (No Steering): 수정되지 않은 생성.
전체 스티어링 (Full Steering, FS): 모든 토큰에서의 결정론적 개입 ( $p=1$ ).
프롬프팅 (Prompting): 입력 앞에 붙여진 정교하게 큐레이션된 작업별 지시문.

지표:

효과성 (Effectiveness): 평균 독성 감소 및 타겟 감정에 대한 평균 확률 이득.
품질 (Quality): 퍼플렉시티 (GPT-2) 및 n-gram 반복 점수 (Rep-3, Rep-4).

주요 결과

1. 희소 스티어링은 밀집 성능을 회복한다

일부 토큰만을 스티어링하는 것만으로도 밀집 스티어링이 달성한 행동 변화의 대부분을 회복할 수 있다는 것이 주요 발견이다.

LLaMA 3.1-8B의 경우, $p=0.5$ 에서의 STS는 전체 스티어링의 독성 감소량의 95% 이상을, 감정 작업의 이득의 80% 이상을 회복한다.
STS는 낮은 개입 비율(예: 독성의 경우 $p \approx 0.3$ )에서도 정교하게 설계된 프롬프트 기반 베이스라인보다 우수한 성능을 보이며, 토큰의 절반 미만을 섭동시키면서도 더 뛰어난 제어를 달성한다.

2. STS가 SBS보다 우수하다

Stochastic Token Steering (STS)은 동일한 개입 비율에서 Stochastic Block Steering (SBS)보다 일관되게 우수한 성능을 보인다.

감정 스티어링의 경우, $p=0.5$ 인 STS는 SBS(윈도우 $W=32$ )의 확률 이득보다 약 두 배 높은 성능을 보인다.
이는 잔차 스트림이 스티어링 신호를 시퀀스 전반에 걸쳐 **누적적(cumulatively)**으로 통합함을 시사하며, 단순히 특권적인 초기 위치에 의존하지 않음을 보여준다.

3. 크기와 용량의 역비례 관계 (Inverse Scaling of Magnitude and Dosage)

최적의 스티어링 크기( $\alpha^*$ )는 개입 비율( $p$ )과 역비례하여 스케일링된다.

$p$ 가 감소함에 따라 요구되는 $\alpha$ 는 증가한다 (예: Gemma-2 2B의 경우, $p=1.0$ 일 때 $\alpha^*$ 는 30이지만 $p=0.2$ 일 때는 35로 상승한다).
결정적으로, 이 증가는 $1/p$ 에 대해 **아선형적(sub-linear)**이다. 즉, 유효한 "용량(dosage)"( $p \cdot \alpha$ )은 토큰이 누락됨에 따라 감소한다.
시사점: 희소 스티어링은 더 적은 총 신호를 잔차 스트림에 주입하면서도 유사한 행동 변화를 달enc할 수 있다.

의의 및 주장

본 논문은 SAE 매개 제어는 속도 제한적(rate-limited)이다라고 주장한다. 즉, 행동 결과는 시퀀스 전체의 누적 신호 용량에 달려 있으며, 개입의 밀도에 달려 있는 것이 아니다.

효율성: 희소 스티어링은 더 적은 총 신호 주입으로 유사한 행동 변화를 가능하게 하여, 유창성 및 다운스트림 성능 저하의 위험을 줄인다.
단순성: 이 방법은 추론 시 제어를 단일 스칼라 파라미터 $p$ 로 축소하며, 보상 모델이나 학습된 게이팅 정책, 혹은 "토큰당 동전 던지기" 이상의 계산을 요구하지 않는다.
일반성: 연구 결과는 서로 다른 모델 제품군(LLaMA 및 Gemma)과 행동 작업(독성 억제 및 감정 유도) 모두에서 유효하며, 이는 밀집 개입의 중복성이 스티어링의 일반적인 특성임을 시사한다.

저자들은 스티어링 신호를 연속적인 초기 윈도우에 집중시키는 것보다 무작위 위치에 분산시키는 것이 더 강력한 전략이며, 개입을 희소화하는 것은 단순히 고정된 섭동 예산을 재분배하는 것이 아니라, 타겟 행동 변화를 달성하는 데 필요한 예산 자체를 실제로 줄이는 것이라고 결론짓는다.