💬 NLP

FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers

이 논문은 결함이 있는 유클리드 가정을 피셔 정보 메트릭(Fisher information metric)으로 대체하여 최적의 스티어링 방향을 도출함으로써, 다양한 크기와 계층의 트랜스포머 모델에서 오프 타겟 왜곡(off-target distortions)을 현저히 줄이는 새로운 활성화 스티어링 방법인 FishBack을 소개한다.

원저자: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 수조 개의 사례를 읽음으로써 문장에서 다음 단어를 예측하는 법을 배운 인공 뉴런의 거대한 네트워크입니다. 일단 훈련되면 이 모델들은 매우 유용할 수 있지만, 편향되거나 정직하지 못하거나, 혹은 단순히 사용자가 의도한 것이 아닌 텍스트를 생성하는 등 고집스럽거나 안전하지 못할 수도 있습니다. 수년 동안 연구자들은 모델이 작동하는 동안 모델의 내부 계산에 작은 자극을 더함으로써 이러한 행동을 수정하려고 노력해 왔습니다. '활성화 스티어링(activation steering)'이라고 알려진 이 기술은 모델의 은닉층에서 특정 방향을 찾아내고, 그 경로를 따라 데이터를 밀어 넣어 진실성이나 특정 문법적 시제와 같은 원하는 특성을 장려하는 방식을 포함합니다. 이는 비용이 많이 들고 시간이 오래 걸리는 전체 모델 재학습의 가벼운 대안입니다. 하지만 이러한 자극은 매우 신뢰하기 어려운 것으로 알려져 왔습니다. 네트워크의 한 부분에서는 완벽하게 작동하는 자극이 다른 부분에서는 실패하거나, 더 나아가 하나의 문제를 해결하는 동시에 다른 것을 완전히 망가뜨려 모델이 횡설수설하게 만들거나 본래의 개성을 잃게 만드는 경우도 발생합니다.

사우스 차이나 공과대학교(South China University of Technology) 연구진의 새로운 연구에 따르면, 이 불안정성의 핵심 원인은 이러한 모델들이 작동하는 공간에 대한 근본적인 오해에 있습니다. 기존의 대부분의 방법은 모델의 내부 상태를 평평하고 일반적인 격자처럼 취급하며, 어떤 방향으로든 일정 거리를 이동하는 데 드는 비용이 동일하다고 가정합니다. 연구진은 이러한 관점이 틀렸다고 주장합니다. 실제로 언어 모델 내부의 공간은 지구의 표면과 평면 지도 사이의 관계처럼 곡선형이며 불균일합니다. 한 방향으로 짧은 거리를 이동하면 모델의 출력이 급격히 변할 수 있는 반면, 그 옆의 다른 방향으로 같은 거리를 이동하면 거의 아무런 영향도 미치지 않을 수 있습니다. 평면을 가정했던 기존 방식들은 산맥을 가로질러 직선으로 운전하려 하면서, 실제 경로를 결정하는 가파른 경사와 골짜기들을 무시한 것과 같았습니다.

이를 해결하기 위해 연구팀은 '피시백(FishBack)'이라 불리는 새로운 접근 방식을 개발했습니다. 피시백은 단순히 올바른 방향을 추측하는 대신, 모델이 항해하고 있는 지형의 실제 모양을 계산합니다. 연구진은 네트워크 중간에서의 작은 변화가 최종 출력에 어떻게 영향을 미치는지 결정하는 규칙이 '피셔 정보 메트릭(Fisher information metric)'이라는 특정 수학적 속성에 의해 결정된다는 것을 발견했습니다. 이 메트릭은 지형도와 같은 역할을 하여, 모든 방향에서 지형이 얼마나 '가파른지' 또는 '평탄한지'를 정확하게 보여줍니다. 연구진은 이 지형도를 모델의 최종 출력층으로부터 스티어링이 일어나는 중간층으로 역추적하여 가져옴으로써, 문제의 진정한 기하학적 구조를 볼 수 있었습니다. 그런 다음 이 지형도를 사용하여 모델의 상태를 이동시킬 수 있는 단 하나의 최적의 경로를 찾아냈습니다. 이 경로는 직선이 아니라, 원하는 행동의 변화를 달면서도 가장 적은 '에너지'를 소모하고 모델의 나머지 지식에 미치는 방해를 최소화하는 곡선 경로입니다.

연구진은 768개의 내부 차원을 가진 작은 모델부터 4,000개가 넘는 차원을 가진 거대 모델에 이르기까지 다양한 크기의 세 가지 언어 모델을 대상으로 이 방법을 테스트했습니다. 그들은 동사를 3인칭 단수형으로 바꾸거나, 진행형으로 바꾸거나, 과거 시제로 바꾸는 세 가지 특정 작업에 집중했습니다. 모든 경우에 대해, 그들은 새로운 기하학적 방법을 기존의 평면 공간 기술과 비교했습니다. 결과는 놀라웠습니다. 작은 모델에서 새로운 방법은 기존의 가장 우수한 방법들과 비교했을 때 원치 않는 부작용, 즉 연구진이 '오프 타겟 왜곡(off-target distortion)'이라고 부르는 현상을 최대 6.5배까지 줄였습니다. 더 크고 복잡한 모델에서도 개선 효과는 더욱 일관되게 나타났으며, 네트워크의 초기 및 중간층에서 원치 않는 변화를 거의 4배 가까이 줄였습니다.

결정적으로, 이 연구는 기존의 방법들이 단순히 효율성이 약간 떨어지는 것이 아니라, 그 접근 방식 자체가 근본적으로 결함이 있다는 것을 보여주었습니다. 연구진이 자신들의 시스템에서 복잡한 기하학적 지도를 단순한 평면 가정으로 대체했을 때 성능이 크게 떨어졌으며, 이는 공간의 곡률이 성공의 핵심임을 입증했습니다. 새로운 방법은 모든 입력에 대해 하나의 고정된 벡터를 사용하는 대신, 각 특정 상황에 맞는 정밀하고 최적화된 방향을 계산함으로써 작동합니다. 이를 통해 모델은 그 순간의 고유한 내부 상태 모양에 적응할 수 있습니다. 또한 연구진은 가장 큰 모델에서도 너무 느리지 않게 이 복잡한 방향을 계산할 수 있는 방법을 개발했습니다. 대신, 그들은 수백 번의 계산만으로 지형의 필수적인 모양을 포착하는 영리한 근사치를 사용하여, 이 기술을 실제 환경에서 실용적으로 사용할 수 있게 만들었습니다.

이러한 발견은 현재의 활성화 스티어링 방법들을 괴롭히는 불안정성이 모델 자체의 버그가 아니라, 모델을 탐색하기 위한 잘못된 기하학을 사용한 결과임을 시사합니다. 언어 모델의 내부 세계가 곡선형이며 이동 비용이 방향에 따라 크게 달라진다는 점을 인정함으로써, 피시백 방식은 이러한 시스템을 안내하는 안정적이고 효율적인 방법을 제공합니다. 연구진은 이러한 기하학적 교정이 네트워크의 초기 및 중간층, 즉 지형이 가장 불균일한 곳에서 가장 가치 있다는 것을 입증했습니다. 데이터가 최종 출력으로 이동함에 따라 지형이 평탄해지며, 복잡한 방법의 이점도 줄어드는데, 이는 이론과 완벽하게 일치합니다. 이 연구는 언어 모델을 더 신뢰할 수 있고 제어 가능하게 만드는 명확한 길을 제시하며, 취약한 시행착오 과정을 정밀하고 수학적으로 근거가 있는 도구로 탈바꿈시켰습니다.

기술 요약: FishBack – 트랜스포머의 최적 활성화 스티어링을 위한 풀백 피셔 기하학 (Pullback Fisher Geometry)

1. 문제 정의

활성화 스티어링(Activation steering)은 매개변수 업데이트 없이 대규모 언어 모델(LLM)의 행동을 수정하는 경량화된 방법으로 부상했습니다. 은닉 상태(hidden states)를 추론 시점에 특정 선형 방향을 따라 변위시킴으로써, 연구자들은 개념(예: 진실성, 감성, 거부 등)을 증폭하거나 억제할 수 있습니다. 그러나 기존 방식들(CAA, ActAdd, ITI 등)은 심각한 취약성을 보입니다. 이들은 레이어에 따라 불안정하고, 계수(coefficient) 조절 범위가 매우 좁아야 하며, 타겟 개념과 무관한 행동까지 왜곡하는 경우가 많습니다.

저자들은 이러한 실패의 원인을 현재 방법들이 공유하는 근본적이고 흔히 간과되는 가정, 즉 중간 활성화 공간이 유클리드(Euclidean) 공간이라는 가정에서 찾았습니다. 이러한 방법들은 $h \leftarrow h + \alpha v$ 형태의 업데이트를 적용하며, 모든 방향에서 비용이 동일한 평평한 공간으로 취급합니다. 본 논문은 이 가정이 잘못되었다고 주장합니다. 최종 소프트맥스(softmax) 레이어는 비유클리드 기하학(피셔-라오 메트릭, Fisher–Rao metric)을 갖는 것으로 알려져 있지만, 실제 스티어링이 적용되는 중간 레이어의 기하학은 조사되지 않은 채 남아 있었습니다. 결과적으로, 현재의 방법들은 서브옵티멀(suboptimal)하며 오프 타겟 왜곡(off-target distortion)이 큰 "직선"을 따라 스티어링을 수행합니다.

2. 방법론: FishBack 프레임워크

본 논문은 데이터를 통해 매니폴드를 피팅하는 대신, 모델의 계산으로부터 직접 중간 레이어 스티어링을 위한 올바른 기하학을 도출하는 FishBack 프레임워크를 제안합니다.

2.1 풀백 피셔 메트릭 (The Pullback Fisher Metric)

핵심 통찰은 개입(intervention)의 비용이 유클리드 길이(Euclidean length)가 아니라, 모델의 예측 토큰 분포를 얼마나 변화시키느냐에 달려 있다는 것입니다.

출력 메트릭: 최종 레이어에서 예측의 변화는 소프트맥스 헤드의 피셔 정보 메트릭 $H$ 에 의해 결정됩니다.
풀백(Pullback): 중간 레이어 $\ell$ 에서의 섭동(perturbation) $\delta h$ 의 비용을 결정하기 위해, 저자들은 이 메트릭을 네트워크의 자코비안 $J$ (레이어 $\ell$ 에서 출력까지의 사상에 대한 미분)를 통해 풀백합니다.
메트릭: 결과적으로 얻어지는 레이어 $\ell$ 의 메트릭은 $G = J^\top H J$ 입니다. 이 행렬 $G$ 가 **풀백 피셔 메트릭(pullback Fisher metric)**입니다. 이는 대칭 양의 준정부호(symmetric positive semi-definite) 행렬이며, 활성화 $h$ 에 대한 모델의 음의 로그 가능도(negative log-likelihood)에 대한 일반화된 가우스-뉴턴 행렬에 대응합니다.

2.2 최적 스티어링 방향

$G$ 를 사용하면, 스티어링 방향을 찾는 문제는 타겟 개념의 변화를 유도하면서 동시에 나머지 분포의 변화(오프 타겟 왜곡)를 최소화하는 제약 최적화 문제로 변환됩니다.

개념 코벡터 (Concept Covector): 개념 방향은 코벡터 $q = J^\top \beta_W$ 로 표현됩니다 (여기서 $\beta_W$ 는 타겟 개념에 대한 프로브입니다).
폐쇄형 해법 (Closed-Form Solution): 타겟 개념 변화 $\rho$ 를 달성하면서 오프 타겟 왜곡(KL 다이버전스로 측정)을 최소화하는 최적 변위 $\delta h^\star$ 는 다음과 같습니다:
$\delta h^\star = \frac{\rho}{q^\top G^\dagger q} G^\dagger q$
여기서 $G^\dagger$ 는 무어-펜로즈 유사 역행렬(Moore–Penrose pseudoinverse)입니다.
비타겟 최적성 (Non-Target Optimality): 분리 가능 조건(개념과 콘텐츠 요인이 독립적인 경우) 하에서, 전체 KL 다이버전스를 최소화하는 것은 오프 타겟 KL 다이버전스를 최소화하는 것과 같습니다. 따라서 이 방향은 무관한 행동을 보존하는 데 최적입니다.

2.3 8B 모델로의 확장성

$G$ (크기 $d \times d$ )를 명시적으로 형성하는 것은 대규모 모델(예: Llama-3-8B, Qwen3-8B, $d=4096$ )에서 계산적으로 불가능합니다. 저자들은 행렬 프리(matrix-free) 근사법을 개발했습니다.

액션 평가 (Action Evaluation): $G$ 의 벡터에 대한 작용은 명시적인 행렬 형성을 피하기 위해 유한 차분 자코비안-벡터 곱(finite-difference Jacobian-vector products)과 백워드 패스를 통해 계산됩니다.
저계수 스펙트럼 (Low-Rank Spectrum): $G$ 의 스펙트럼은 매우 집중되어 있습니다. 역행렬을 계산할 저차원 부분 공간을 찾기 위해 랜덤화된 분해(rank 50)가 사용됩니다.
고정된 자코비안 (Frozen Jacobian): 계산을 절약하기 위해, 자코비안은 초기 지점에서 한 번 계산되어 고정되며, 스티어링 단계 동안 피셔 정보와 코벡터만 업데이트됩니다.

3. 주요 기여

올바른 기하학 식별: 본 논문은 중간 레이어 스티어링을 지배하는 메트릭이 모델로부터 직접 유도된 풀백 피셔 정보( $G = J^\top H J$ )임을 입증했습니다. 이는 선형적인 업데이트를 가정하는 기존 방식들과 대조됩니다.
폐쇄형 최적 방향: 저자들은 주어진 개념 변화에 대해 오프 타겟 KL 다이버전스를 최소화하는 스티어링 방향의 폐쇄형 해법을 도출했습니다. 이 방향은 가공되지 않은 개념 코벡터를 출력 기하학의 "저렴한(cheap)" 방향으로 회전시킵니다.
확장 가능한 근사법: 8B 규모의 모델에서도 수백 번의 부분 순전파(forward pass)만으로 최적의 방향을 복구하는 행렬 프리 알고리즘을 개발하여, 현대적 LLM에 실용적으로 적용 가능하게 만들었습니다.
실증적 검증: GPT-2 Small, Llama-3-8B, Qwen3-8B를 대상으로 세 가지 동사 형태론적 개념(3인칭 단수, 진행형, 과거형)에 대해 프레임워크를 평가했습니다.

4. 실험 결과

평가는 매칭된 개념 변화(matched concept change)(동일한 온 타겟 효과를 보장함) 프로토콜 하에서 방법들을 비교하여 오프 타겟 왜곡(비개념 토큰에 대한 KL 다이버전스)을 측정하는 방식으로 진행되었습니다.

GPT-2 Small: FishBack은 개별 베이스라인(CAA, ActAdd, ITI, ReFT, RepSurgery) 대비 오프 타겟 KL 다이버전스를 중앙값 기준으로 1.4배에서 6.5배 낮추었습니다. "최적의 베이스라인(Best-per-case)" 오라클(각 케이스별로 가장 작은 오프 타겟 다이버전스를 보이는 베이스라인을 선택)과 비교했을 때도, FishBack은 중앙값 비율 1.25로 더 낮은 오프 타겟 다이버전스를 달s성했으며(FishBack 우세), 64%의 승률을 기록했습니다(다만 그 차이는 베이스라인 대비보다는 작습니다).
8B 모델 (Llama-3-8B, Qwen3-8B): 초기 및 중간 레이어에서 FishBack은 베이스라인 대비 오프 타겟 KL을 중앙값 기준 1.8배에서 3.6배 감소시켰습니다.
기하학적 절제 실험 (Geometric Ablation): 파이프라인의 나머지는 동일하게 유지하면서 풀백 메트릭 $G$ 를 항등 행렬(유클리드 절제)로 대체했을 때, 오프 타겟 왜곡이 현저히 높아졌습니다(비율 1.3x ~ 2.45x). 이는 이 성과가 기하학적 교정 자체에서 기인함을 확인시켜 줍니다.
레이어 의존성: 기하학적 이점은 메트릭이 강하게 비등방성(anisotropic)을 띠는 초기 및 중간 레이어에서 가장 두드러졌습니다(조건수 $\sim 10^7$ ). 깊은 레이어로 갈수록 기하학이 평평해지며, 이로 인해 교정의 이점이 감소하는데, 이는 논문의 이론적 예측과 일치합니다.

5. 의의 및 주장

본 논문은 현재의 활성화 스티어링 방법들이 가진 불안정성과 오프 타겟 왜곡이 모델의 표현 공간이 가진 고유한 비유클리드 기하학을 무시하기 때문이라고 주장합니다. 풀백 피셔 메트릭을 통해 이 기하학을 명시적으로 모델링함으로써, FishBack은 이론적으로 근거가 확실하고 최적인 개입 방향을 제공합니다.

이론적 엄밀성: 이 방법은 데이터에 매니폴드를 피팅하는 것에 의존하지 않고, 모델의 자코비안과 소프트맥스 헤드로부터 직접 메트릭을 도출하여 2차 근사 하에서의 최적 방향을 보장합니다.
실질적 영향: 이 프레임워크는 기하학적 교정이 8B 파라미터 규모의 더 크고 복잡한 모델에서도 이점을 유지하며, 행동 수정의 충실도(fidelity)를 크게 향상시킨다는 것을 보여줍니다.
한계점: 저자들은 이 방법의 이점이 풀백 메트릭의 비등방성에 달려 있다고 언급했습니다. 기하학이 거의 유클리드(평평함)에 가까워지는 매우 깊은 레이어에서는 교정의 이점이 줄어드는데, 이는 논문에서 도출된 이론적 경계와 일치합니다.

요약하자면, FishBack은 활성화 스티어링을 모델 고유의 정보 기하학에 의해 정의된 곡선 매니폴드를 탐색하는 문제로 재정의함으로써, 선형 스티어링 벡터의 취약성에 대한 강력한 해결책을 제시합니다.