💬 NLP

Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention

본 논문은 기존 접근법의 제한적인 가정을 극복하여 AxBench 에서 기존 스티어링 기법과 인-컨텍스트 프롬프팅 모두를 능가하는 모델 활성화를 운반하기 위해 일반적이고 개념 조건부 속도장을 학습하는 흐름 기반 활성화 스티어링 방법인 FLAS 를 소개합니다.

원저자: Zehao Jin, Ruixuan Deng, Junran Wang, Xinjie Shen, Chao Zhang

게시일 2026-05-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zehao Jin, Ruixuan Deng, Junran Wang, Xinjie Shen, Chao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 거대하고 천재적인 셰프로 상상해 보세요. 이 셰프는 이미 거대한 한 끼 식사를 준비해 두었습니다 (모델은 학습되어 고정된 상태). 때로는 셰프에게 요리를 다시 배우게 하거나 레시피 책을 바꾸지 않은 채, 접시에 음식을 담는 동안 특정 맛을 추가하고 싶을 때가 있습니다.

오랫동안 이를 수행하는 가장 좋은 방법은 **활성화 조종 (Activation Steering)**이었습니다. 이는 셰프의 부셰프가 특정 향신료 병을 집어 특정 순간 냄비에 고정된 양을 붓는 것과 같습니다.

구식 방법 (고정 벡터): 부셰프는 다음과 같은 규칙을 가지고 있었습니다. "셰프가 '공손함'에 대해 생각할 때, 바로 여기에 정확히 5 그램의 '공손함 향신료'를 추가하라."
문제점: 이는 간단한 경우에는 작동했지만, 요리가 복잡해지면 향신료 병이 맞지 않았습니다. 맛이 너무 약해지거나, 셰프가 원래 지시를 잊게 만들어 전체 요리를 망칠 수도 있었습니다. 또한, 셰프가 한 번도 맛보지 않은 새로운 맛을 원한다면, 부셰프는 완전히 새로운 향신료 병을 사서 처음부터 교정해야 했습니다.

새로운 해결책: FLAS (Flow-Based Activation Steering)

이 논문의 저자인 FLAS는 셰프를 안내하는 더 지능적인 방법을 제안합니다. 정적인 향신료 병 대신, 역동적이고 흐르는 맛의 강을 상상해 보세요.

간단한 비유를 통해 작동 방식을 설명하겠습니다.

1. "점프"에서 "흐름"으로

구식 방법: 셰프의 생각을 평평한 바닥을 굴러가는 공으로 상상해 보세요. 맛을 바꾸기 위해 구식 방법은 공을 한 번만 차서 한 방향으로 밀었습니다. 이는 단일하고 경직된 점프였습니다.
FLAS 방법: FLAS 는 복잡한 생각을 바꾸는 것이 단일 점프가 아니라 여정임을 깨닫습니다. 공이 어디에 있고 어떤 맛을 원하는지에 따라 방향과 세기가 변하는 "바람" (속도장) 을 만들어 공을 부드럽게 밀어줍니다. 공은 구부러진 경로를 따라 여러 단계를 거쳐 새로운 맛으로 부드럽게 변합니다.

2. "나침반" 대 "GPS"

구식 방법: 구식 조종은 어디에 있든 항상 북쪽을 가리키는 나침반과 같았습니다. 숲이든 도시든 상관없이 같은 힘을 가했습니다.
FLAS 방법: FLAS 는 스마트 GPS와 같습니다. 셰프의 현재 생각 (공의 위치), 원하는 특정 맛 (개념), 그리고 시간 단계를 고려합니다. 그리고 지금 필요한 정확한 밀림을 계산합니다.
- 셰프가 문장 중간에 있다면, "바람"은 부드럽게 밀 수 있습니다.
- 셰프가 시작점에 있다면, 바람은 더 세게 밀 수 있습니다.
- 생성되는 특정 단어들에 맞춰 적응하므로, "맛"은 문맥에 완벽하게 들어맞도록 단어마다 약간씩 변할 수 있습니다.

3. 해보며 배우기 (부정적 예제 불필요)

구식 방법: 부셰프에게 "공손함"을 추가하는 법을 가르치려면, 보통 무례한 문장과 공손한 문장의 예시를 보여주고 "무례한 생각에서 공손한 생각으로 옮겨라"라고 말해야 했습니다. 이는 개에게 간식과 막대기를 보여가며 훈련시키는 것과 같습니다.
FLAS 방법: FLAS 는 좋은 예시만 필요합니다. 공손한 문장을 보고 "알겠다, 여기까지 오려면 생각은 이렇게 흘러야 하구나"라고 학습합니다. 이를 수정하는 방법을 알기 위해 "무례한" 버전을 볼 필요가 없습니다. 좋은 것들의 "흐름"을 직접 학습합니다.

이것이 왜 중요한가요?

이 논문은 AxBench라는 거대한 도전 과제에서 이를 테스트했는데, 이는 모델에게 "숫자만 사용하여 이야기 쓰기"나 "이모지로 물리학 설명하기"처럼 수천 가지의 기이하고 구체적인 작업을 수행하도록 요구합니다.

결과: 구식 방법들 (그리고 "프롬프팅"을 통해 셰프에게 정중하게 요청하는 것조차) 은 종종 실패하거나 셰프가 로봇처럼 들리게 만들었습니다.
FLAS 의 승리: FLAS 는 "정중하게 요청하기" (프롬프팅) 접근법을 일관되게 능가한 첫 번째 학습된 방법이었습니다. 복잡한 지시를 받아 새로운 맛을 자연스럽게 엮어 넣을 수 있었고, 셰프가 원래 레시피를 따르는 능력을 깨뜨리지 않았습니다.

"비밀 소스" (논문이 실제로 발견한 것)

저자들이 FLAS 가 어떻게 작동하는지 보기 위해 "블랙박스" 안을 들여다보았을 때, 놀라운 사실을 발견했습니다.

경로는 구부러져 있습니다: 생각은 직선으로 이동하지 않습니다. 굽히고 비틀립니다.
단계가 필요합니다: 한 번의 빠른 수정이 아니라 다단계 과정입니다.
개인적입니다: 문장 내의 모든 단어마다 "밀어주는 힘"이 다릅니다.

요약

FLAS를 고정된 힘으로 모델을 한 번 때리는 메이플에서, 모델이 어디에 있고 무엇을 하려는지 실시간으로 조정하며 단계별로 안내하는 숙련된 춤 강사로 업그레이드하는 것으로 생각하세요.

이를 통해 모델은 전체 모델을 다시 학습시키거나 매번 완벽한 프롬프트를 작성할 필요 없이, 더 자연스럽고 신뢰할 수 있게 새로운 행동 (더 창의적이 되거나, 더 사실적이 되거나, 특정 형식을 사용하는 등) 을 받아들일 수 있게 됩니다.

기술 요약: FLAS (Flow-based Activation Steering)

문제 정의

대규모 언어 모델 (LLM) 은 강력한 능력을 보여주지만, 추론 시 특정 인간의 선호도나 개념에 부합하도록 그 행동을 신뢰성 있게 제어하는 것은 여전히 과제입니다. 기존 제어 메커니즘은 다음과 같은 고유한 한계에 직면해 있습니다:

프롬프팅 (Prompting): 간단하지만, 컨텍스트 내 프롬프팅은 지시 따르기나 유창성을 저하시키지 않고 복잡한 개념을 견고하게 반영하는 데 종종 실패합니다.
파인튜닝 (Fine-tuning): LoRA 나 SFT 와 같은 방법은 계산 비용이 많이 들며, 재앙적 망각 (catastrophic forgetting) 에 취약하고 해석 가능성이 부족합니다.
활성화 조종 (Activation Steering): 현재 활성화 조종 방법들 (예: DiffMean, CAA, ReFT) 은 모델 파라미터를 고정된 채로 중간 표현을 수정합니다. 그러나 AxBench에 대한 대규모 평가 결과, 이러한 방법들은 종종 간단한 프롬프팅보다 성능이 낮은 것으로 나타났습니다. 또한, 개발 세트에서 개념별 강도 튜닝이 자주 필요하며, 보지 못한 개념에 대한 일반화 성능이 낮습니다.

저자들은 이러한 한계가 이전 방법들 간에 공유된 검증되지 않은 단순화 가정에서 비롯된다고 가정합니다. 구체적으로 다음과 같습니다:

고정된 단일 단계 변환 (Fixed, Single-Step Transforms): 개입은 한 번 적용되는 단일 변위 벡터로 제한됩니다.
위치 불변성 (Position-Invariance): 동일한 개입이 시퀀스 내 모든 토큰 위치에 균일하게 적용됩니다.
대조적 감독 (Contrastive Supervision): 많은 방법들은 훈련을 위해 짝지어진 양/음성 데이터 (대조 쌍) 에 의존합니다.

방법론: FLAS

본 논문은 고정된 단일 단계 개입을 학습된 개념 조건부 속도장 (velocity field) 으로 대체하는 FLAS (Flow-based Activation Steering) 방법을 제안합니다.

핵심 공식

FLAS 는 이산적인 점프가 아닌 연속적인 흐름으로 조종 과정을 모델링합니다. 계층 $\ell$ 에서의 숨겨진 상태 $h$ 와 자연어 개념 설명 $c$ 를 가진 기본 언어 모델이 주어졌을 때, FLAS 는 상미분 방정식 (ODE) 으로 정의된 속도장 $v_\theta(h, t, c)$ 를 학습합니다:
$\frac{d}{dt}\phi_t(h) = v_\theta(\phi_t(h), t, c)$
여기서 $\phi_0(h) = h$ 입니다. 조종된 활성화 $h'$ 는 시간 $t=0$ 에서 흐름 시간 $T$ 까지 이 속도장을 적분하여 얻습니다:
$h' = \phi_T(h) = h + \int_0^T v_\theta(\phi_t(h), t, c) dt$

실제 적용 시, 이 적분은 **N 단계 오일러 전진법 (N-step forward Euler method)**을 사용하여 근사화됩니다:
$h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k, \frac{kT}{N}, c\right)$
이를 통해 개입은 활성화 상태가 진화함에 따라 적응하는 활성화 공간 내의 곡선형 다단계 궤적을 따를 수 있습니다.

아키텍처 (FlowBlock)

속도장 $v_\theta$ 는 고정된 기본 모델의 특정 계층에 삽입되는 트랜스포머 스타일 모듈인 FlowBlock으로 구현됩니다.

입력: 현재 활성화 $h_k$ , 인코딩된 개념 표현 $\phi(c)$ , 그리고 시간 단계 $t_k$ .
메커니즘:
1. 시간 조건부 (Time Conditioning): 시간이 정현파 임베딩을 통해 주입됩니다.
2. 크로스 어텐션 (Cross-Attention): 활성화가 개념 인코딩 (기본 모델의 초기 계층을 재사용하는 고정된 개념 인코더에서 생성됨) 에 어텐션합니다.
3. 셀프 어텐션 및 MLP: 인과적 셀프 어텐션 계층과 순방향 네트워크가 정보를 처리하여 토큰별 변위를 생성합니다.
주요 특성:
- 상태 의존성 (State-Dependent): 속도는 현재 활성화 $h$ 에 의존하므로 적응형 궤적이 가능합니다.
- 토큰별 (Per-Token): 속도는 각 토큰 위치에 대해 계산되므로 시퀀스 전반에 걸쳐 비균일한 조종이 가능합니다.
- 제로샷 (Zero-Shot): 표준 언어 모델링 목적 함수를 사용하여 양성 예시 (개념 정렬 응답) 만으로 훈련되며, 대조 쌍이 필요하지 않습니다.

훈련 전략

목적 함수: 조종된 활성화 $h_N$ 을 주입한 후 출력 토큰에 대한 언어 모델링 교차 엔트로피를 최소화합니다.
다양성 페널티: 배치 내 서로 다른 개념들의 평균 풀링된 속도 간 코사인 유사도를 패널티하는 다양성 손실이 추가되어, 명확한 조종 방향을 보장합니다.
강도 제어: 흐름 시간 $T$ 는 연속적인 스칼라 매개변수로 작용합니다. 훈련 중 $T$ 를 무작위화 (예: $T \sim \text{Uniform}[0.5, 2.0]$ ) 함으로써, 모델은 추론 시 개념별 튜닝 없이도 다양한 강도로 외삽하는 법을 학습합니다.

주요 기여

FLAS 프레임워크: 다단계 오일러 단계를 통해 통합된 개념 조건부 속도장의 도입으로, 양성 데이터만으로 훈련된 적응형, 다단계, 그리고 위치 민감적 조종을 가능하게 합니다.
AxBench 성능: FLAS 는 AxBench 벤치마크에서 컨텍스트 내 프롬프팅을 일관되게 능가하는 최초의 학습된 조종 방법입니다.
- Gemma-2-2B-IT (Held-out): HMean 1.015 (프롬프팅 0.762 대비).
- Gemma-2-9B-IT (Held-out): HMean 1.113 (프롬프팅 1.091 대비).
- 중요한 점은 **단일 고정 흐름 시간 ( $T=2$ )**과 개념별 튜닝 없이 이를 달성했다는 것입니다.
일반화: 이 방법은 모델 패밀리 간에 일반화되며 (Qwen3-4B 에서 테스트됨), 훈련 개념 수 (최대 16k) 에 따라 단조롭게 확장되어 명확한 포화 현상이 나타나지 않습니다.
기하학적 통찰: 학습된 흐름에 대한 분석은 효과적인 조종 궤적이 곡선형이며, 해결하기 위해 다단계가 필요하고, 토큰 위치에 따라 크게 달라진다는 것을 보여줍니다. 이는 "선형 표현 가설"에 도전하며 활성화 공간 기하학에 대한 이전 가정들이 불완전함을 시사합니다.

결과 및 분석

견고성: 조종 강도가 증가함에 따라 지시 따르기 및 유창성이 저하되는 베이스라인 (예: ReFT, DiffMean, AcT) 과 달리, FLAS 는 넓은 범위의 흐름 시간 ( $T \in [0.5, 4.0]$ ) 에서 높은 점수를 유지합니다.
애블레이션 연구:
- 크로스 어텐션: 크로스 어텐션 (개념 정보 경로) 을 비활성화하면 성능이 치명적으로 저하됩니다 ( $t = -37.82$ ).
- 다단계: 적분 단계를 $N=1$ (단일 적응 변위) 로 줄이면 성능이 크게 저하되어, 다단계 곡선 궤적의 필요성을 확인합니다.
- 다양성 손실: 다양성 페널티를 제거하면 성능이 감소하고 고흐름 시간에서 지시 따르기가 붕괴됩니다.
계산 비용: FlowBlock 의 반복 평가로 인해 토큰별 생성 오버헤드가 발생합니다 (2B 모델 기준 약 1.5 배). 그러나 품질 향상분을 고려할 때 이는 수용 가능한 수준으로 간주됩니다. 이는 26 억 개 이상의 파라미터를 사용하는 하이퍼네트워크를 사용하는 HyperSteer 보다 훨씬 파라미터 효율적입니다.

중요성

본 논문은 FLAS 가 정적 벡터가 아닌 **흐름 (flows)**으로 개입을 취급함으로써 활성화 조종 분야에서 패러다임 전환을 이룬다고 주장합니다.

경험적 증거: 효과적인 조종에는 비선형적이고 위치 민감적인 개입이 필요하다는 경험적 증거를 제시하며, 기존 문헌의 많은 부분을 뒷받침하는 기하학적 가정들이 불완전함을 시사합니다.
실용적 영향: 대조 데이터와 개념별 튜닝의 필요성을 제거함으로써, FLAS 는 LLM 행동 제어에 대해 더 확장 가능하고 견고한 경로를 제공하며, 프롬프팅의 유연성과 파라미터 프리 조종의 효율성 사이의 간극을 성공적으로 메꿉니다.
이론적 통찰: 곡선형 다단계 궤적의 시각화는 LLM 의 내부 계산을 이해하기 위한 새로운 렌즈를 제공하며, 선형 부분 공간 가설을 넘어섭니다.