💻 computer science

Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

본 논문은 언어 모델 활성화에서 저차원 방향을 국소화하여 연속 변수에 대한 인과적 개입을 위한 방법을 제시하며, 동사 편향을 조종하는 것이 하위 구문 선호도를 인과적으로 변화시킨다는 것을 입증함과 동시에 컨텍스트 학습과 관련된 오류 신호를 조종 벡터가 인코딩하지만 이러한 신호가 하위 생성에 인과적으로 활용되지는 않는다는 것을 밝힌다.

원저자: Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 매우 정교하고 첨단 기술을 갖춘 셰프로 상상해 보세요. 이 셰프는 존재하는 거의 모든 요리책을 읽었지만, 새로운 요리를 요청받으면 정적인 레시피를 단순히 따르지 않습니다. 대신, 방금 건네받은 재료들 (즉, '맥락') 을 살펴보고 즉석에서 요리 스타일을 조정합니다. 재학습 없이 소수의 예시로부터 학습하는 이 능력을 **맥락 내 학습 (In-Context Learning)**이라고 합니다.

본 논문은 이 셰프의 뇌가 이러한 작업을 수행할 때 어떻게 작동하는지에 대한 과학적 탐구입니다. 구체적으로 연구자들은 특정 언어적 습관인 **동사 편향 (Verb Bias)**에 초점을 맞춰, 셰프의 내부 사고를 '조절'하여 요리 방식을 변경할 수 있는지 확인하고자 했습니다.

다음은 그들의 발견을 간단한 비유로 정리한 내용입니다:

1. 문제: '등급이 매겨진' 재료로 요리하기

대부분의 이전 연구들은 "명사인가 동사인가?"와 같은 단순한 '켜기/끄기 (on/off)'식 요소 (이산적 특징) 에 대해 셰프의 생각을 바꾸려 시도했습니다. 하지만 언어는 스위치보다는 디머 (밝기 조절기) 에 더 가깝습니다. 요소들은 등급이 매겨진 (graded) 형태를 띱니다.

예를 들어, 동사 '주다 (give)'를 생각해 보겠습니다. 영어에서는 다음과 같이 말할 수 있습니다:

"I gave her a book" (이중 목적어)
"I gave a book to her" (전치사 여격)

일부 사람 (또는 일부 동사) 은 한 형태를 다른 형태보다 강력하게 선호합니다. 'give'는 꽤 균형 잡혀 있지만, 'explain'은 'explain to her'를 강력하게 선호합니다. 이 선호도는 엄격한 규칙이 아니라 미끄럼틀 (sliding scale) 과 같습니다. 연구자들은 다음과 같은 질문을 던졌습니다: 모델의 뇌에서 이 미끄럼틀을 조절하는 특정 '노브'를 찾을 수 있으며, 그 노브를 돌려 모델의 생각을 바꿀 수 있을까요?

2. 도구: '조향 벡터 (Steering Vector)' (리모컨)

이를 연구하기 위해 연구자들은 **조향 벡터 (Steering Vector)**라는 도구를 사용했습니다. 이는 셰프의 뇌를 위한 리모컨과 같습니다.

만드는 방법: 그들은 모델에게 특정 구조의 문장들 (예: "I gave her a book") 을 대량으로 보여주었습니다. 모델이 이러한 문장들을 처리하는 동안의 내부 '사고' (활성화) 를 관찰하여 평균을 냈습니다.
기능: 새로운 작업 중 모델의 뇌에 이 '리모컨' 신호를 주입하자, 모델은 마치 방금 그 예시들을 본 것처럼 행동하기 시작했습니다. 동일한 문장 구조를 선호하게 된 것입니다. 이는 리모컨이 문장 구조의 '습관'을 성공적으로 포착했음을 증명했습니다.

3. 실험 1: 리모컨이 작동할까?

테스트: 그들은 '이중 목적어' 문장에서 가져온 리모컨 (조향 벡터) 을 새로운 문장에 주입했습니다.
결과: 모델은 즉시 '이중 목적어' 구조 쪽으로 선호도를 전환했습니다.
비유: 셰프에게 '이탈리아 요리 해라'라고 적힌 리모컨을 건네주자, 갑자기 초밥을 만들려던 손이 파스타 쪽으로 향하기 시작하는 것과 같습니다. 리모컨이 작동합니다.

4. 실험 2: '동사 편향' 노브를 돌리기

이것이 이 논문의 가장 큰 돌파구입니다. 연구자들은 선호도의 방향뿐만 아니라 강도도 조절할 수 있는지 확인하고자 했습니다.

설정: 그들은 모델의 뇌에서 동사 편향 (동사가 한 구조를 다른 구조보다 얼마나 좋아하는지) 에 해당하는 특정 '방향'을 식별했습니다.
개입: 그들은 수학적 기교를 사용하여 이 방향을 '반사실적으로 편집 (counterfactually edit)'했습니다.
- 상황 A: 본래 구조 A 를 좋아하는 동사를 가져와 모델이 구조 B 를 강력히 선호한다고 생각하게 만들었습니다.
- 상황 B: 중립적인 동사를 가져와 극단적으로 만들었습니다.
결과: '동사 편향' 노브를 돌렸을 때, 모델의 행동은 예측대로 정확히 변화했습니다. 모델이 동사가 '이중 목적어' 구조를 강력히 선호한다고 생각하게 만들면, 그 동사가 본래 좋아하지 않더라도 모델은 해당 구조를 더 자주 사용했습니다.
교훈: 그들은 모델이 단순히 구조를 '기억'하는 것이 아니라, 동사가 구조를 선호하는 정도에 대한 연속적이고 조절 가능한 값을 실제로 보유하고 있으며, 그 다이얼을 물리적으로 돌릴 수 있음을 증명했습니다.

5. 실험 3: 결여된 '놀라움' 요소

인간의 학습에서 우리는 놀라울 때 가장 잘 배웁니다. 동사가 한 가지 방식으로 사용될 것이라고 예상했는데 다른 방식으로 사용되는 것을 보면, 뇌는 "와, 이건 예상치 못했네!"라고 말하며 규칙을 더 강력하게 업데이트합니다. 이를 **역빈도 효과 (Inverse Frequency Effect)**라고 합니다.

연구자들은 궁금해했습니다: 모델의 '리모컨' (조향 벡터) 은 이 '놀라움' 신호를 포착할까?

테스트: 그들은 리모컨의 '놀라움 신호'를 편집해 보았습니다. 질문은 다음과 같았습니다: "만약 모델이 문장이 실제보다 더 놀랍다고 생각하게 만든다면, 더 많이 학습할까?"
결과:
- 좋은 소식: '놀라움' 정보가 리모컨에 존재했습니다. 이를 수학적으로 분리하여 높이거나 낮출 수 있었습니다.
- 나쁜 소식: 단순히 이 리모컨을 주입한다고 해서 모델이 '놀라움 주도적' 방식으로 학습한 것은 아니었습니다. 모델은 놀라움 수준에 따라 행동을 자동으로 업데이트하지 않았습니다.
비유: 리모컨에 '놀라움' 버튼이 있다고 상상해 보세요. 버튼을 누르면 불이 켜지는 것을 볼 수 있습니다 (정보가 존재함). 하지만 버튼을 누르면 셰프가 실제로 더 적응적인 요리 스타일로 바꾸지는 않습니다. 셰프는 지시를 따를 뿐, 놀라움으로부터 '학습'하지는 않습니다.

발견 요약

연속 변수를 제어할 수 있음: 우리는 동사 선호도와 같은 AI 뇌의 '디머 스위치'를 찾아 이를 높이거나 낮춰 행동을 변경할 수 있습니다.
조향 벡터는 강력하지만 한계가 있음: '리모컨' (조향 벡터) 은 작업의 상태 (예: "지금 나는 이중 목적어 문장에 대해 생각하고 있다") 를 포착하는 데 탁월합니다. 이는 모델의 즉각적인 선호도를 성공적으로 전환시킵니다.
하지만 '학습' 부분은 놓침: 리모컨은 학습의 결과 (새로운 선호도) 를 포착하지만, 학습의 과정 (오류 기반 업데이트) 을 포착하지는 않는 것으로 보입니다. 마치 리모컨으로 온도를 21 도 (70 도) 로 설정할 수는 있지만, 난로가 어떻게 그 온도에 도달하기 위해 가열해야 하는지 계산했는지는 설명하지 않는 것과 같습니다.

한 줄 요약: 연구자들은 AI 뇌 내부의 '미끄럼틀'을 조절하는 도구를 만들었습니다. 그들은 이 미끄럼틀을 돌려 AI 의 말투를 변경할 수 있음을 증명했습니다. 그러나 그들은 또한 이 도구가 AI 의 '습관'은 포착하지만, AI 가 놀라움에 적응할 수 있게 해주는 전체적인 '학습 메커니즘'은 포착하지 못한다는 점도 발견했습니다.

기술적 요약: 방향 벡터에서의 연속 변수에 대한 인과적 개입

문제 제기
대규모 언어 모델 (LLM) 을 위한 인과적 해석 가능성 방법론은 문법적 수나 구문적 경계와 같은 이산적 특징에 주로 초점을 맞추어 왔습니다. 그러나 언어 처리와 개념적 지식의 많은 중요한 측면은 본질적으로 등급화되어 있습니다 (연속적입니다). 본 논문은 연속 변수에 인과적 개입 기법을 적용하는 데 있어 존재하는 격차를 해결합니다. 구체적으로 저자들은 동사 편향 (동사가 이중 목적어 구조 대 전치사 간접 목적어 구조와 같은 한 구문 구조를 다른 구조보다 선호하는 등급화된 선호도) 과 같은 연속적인 심리언어학적 특징이 LLM 의 내부 활성화에 인과적으로 표현되는지, 그리고 이러한 표현이 하류 행동을 변경하기 위해 조작될 수 있는지 조사합니다. 또한, 본 연구는 이러한 연속적 표현과 문맥 내 학습 (ICL) 사이의 관계, 특히 구조적 프라이밍을 뒷받침하는 것으로 가설화된 오차 기반 업데이트 메커니즘과의 관계를 탐구합니다.

방법론
저자들은 문맥 내 데모에서 추출된 방향 벡터 (steering vectors, 작업 벡터) 내에서 연속 변수에 대한 인과적 개입을 위한 프레임워크를 제안합니다.

방향 벡터 추출: Hendel 등 (2023) 에 따라, 저자들은 문맥 내 시퀀스 중 목표 동사 위치에서 LLM(Llama-2-13B, Llama-3-1B, Llama-3-8B) 의 숨겨진 상태를 추출합니다. 이러한 시퀀스는 $n-1$ 개의 프라이임 문장 (데모) 과 그 뒤에 이어지는 목표 문장으로 구성됩니다. 숨겨진 상태들을 평균화하여 동사 $v$ 의 영향을 받는 구조 $s$ 를 생성하는 "작업"을 나타내는 방향 벡터 $\bar{\theta}_{\langle v,s \rangle}$ 를 생성합니다.
연속 변수의 국소화: 연속 변수 (예: 동사 편향 $b_v \in (0,1)$ $b_{v} \in (0, 1)$ ) 에 개입하기 위해 저자들은 다음과 같은 절차를 따릅니다:
- **주성분 분석 (PCA)**을 사용하여 고차원 활성화 벡터를 저차원 공간으로 투영합니다.
- PCA 좌표를 정규화합니다.
- 정규화된 좌표로부터 목표 연속 변수를 예측하기 위해 회귀 모델 (동사 편향과 같은 경계 변수의 경우 베타 회귀, 부호 있는 변수의 경우 OLS) 을 적합시킵니다. 이를 통해 해당 변수에 대응하는 저차원 방향 벡터 $\beta$ 를 식별합니다.
반사실적 편집: 벡터 $h_i$ 를 반사실적 목표 값 $y^*_i$ 방향으로 편집하기 위해, 저자들은 식별된 방향 $\beta$ 를 따라 최소 $L_2$ -노름 업데이트 $\Delta \tilde{z}_i$ 를 계산합니다. 업데이트는 다음과 같이 정의됩니다:
$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$
여기서 $S$ 는 편집에 선택된 주성분의 부분집합 (일반적으로 계수 크기에 따라 상위 5 개) 을 나타냅니다. 편집된 벡터는 원래 공간으로 매핑된 후 모델에 주입되어 하류 효과를 관찰합니다.
실험 조건: 본 연구는 네 가지 개입 조건을 테스트합니다:
- 변경 없음 (Unchanged): 통제 (원래 편향).
- 반전 (Flip): 편향을 반전 ( $b_v \to 1 - b_v$ ).
- 완전 편향 (Fully Biased): 편향을 0(완전 DO-편향) 또는 1(완전 PD-편향) 로 포화시킵니다.
- 오차 신호 편집: 부호 있는 오차 신호 $e = b_v - s$ (여기서 $s$ 는 관찰된 구조) 를 유사하게 편집하여 오차 기반 업데이트 행동을 테스트합니다.

주요 결과

방향 벡터는 프라이밍을 유도합니다: 프라이임 문장에서 추출된 방향 벡터는 중간~후반 층 (Layer 15+) 에서 성공적으로 구조적 프라이밍 효과를 유도합니다. PD-프라이임 벡터를 주입하면 모델의 PD 구조 선호도가 증가하고, 그 반대의 경우도 마찬가지입니다.
동사 편향의 인과적 역할: 연속적인 동사 편향은 방향 벡터로부터 선형적으로 예측 가능합니다. 이 편향에 대한 반사실적 편집은 프라이밍 효과의 크기를 인과적으로 조절합니다.
- 반전 조건: 방향 벡터 내 동사 편향을 반전시키면 동사의 원래 편향과 프라이밍 크기 간의 상관관계를 반전시킵니다.
- 완전 편향 조건: 편향을 포화시키면 서로 다른 동사들 간의 프라이밍 크기 변동을 제거하여, 식별된 부분 공간이 효과의 등급화된 성질을 인과적으로 결정함을 확인합니다.
오차 신호의 존재 대 사용:
- 존재: 동사 편향과 관찰된 구조를 결합한 오차 신호와 유사한 변수가 방향 벡터 내에 존재하며, 이를 인과적으로 편집하여 하류 선호도의 경사 변화를 생성할 수 있습니다.
- 한계: 이 신호의 존재에도 불구하고, 편집되지 않은 방향 벡터는 역 빈도 효과 (IFE)—예상치 못한 프라이임 구조가 더 강력한 프라이밍을 유도하는 현상—를 재현하지 않습니다. 표준 방향 벡터 주입은 오차 기반 학습 이론이 예측하는 음의 기울기 대신 동사의 편향과 일치하는 양의 기울기를 생성합니다.
- 층별 역동성: 동사 편향은 초기 층에서 접근 가능하지만, 편향과 구조가 통합되어 경사 업데이트를 주도하는 조작 가능한 오차 신호로 결합되는 것은 중간~후반 층 (Layer 15+) 에서만 나타납니다.

의의 및 주장
본 논문은 네 가지 주요 기여를 합니다:

방법론적 확장: 이산적 특징에 의해 지배되어 온 인과적 해석 가능성을 넘어, 연속 변수에 대한 인과적 개입을 수행할 수 있는 실행 가능한 방법을 제시합니다.
인과적 검증: 반사실적 편집이 하류 구조적 선호도를 체계적으로 변경함에 따라, 동사 편향이 단순히 상관된 것이 아니라 방향 벡터에 인과적으로 표현됨을 입증합니다.
ICL 메커니즘 분석: 방향 벡터를 ICL 메커니즘으로 보는 세밀한 관점을 제공합니다. 방향 벡터는 구조적 프라이밍의 일시적 활성화 구성 요소 (문맥에 기반한 선호도 변화) 를 성공적으로 포착하지만, 완전한 오차 기반 업데이트 역동 (특히 IFE) 을 포착하지는 못합니다. 이는 가산적 방향 벡터가 문맥에 의해 유도된 표현 상태를 근사화하지만, ICL 의 계산적 업데이트 규칙을 완전히 재현하지는 못함을 시사합니다.
이론적 매핑: 저자들은 심리언어학적 이론과 LLM 메커니즘 사이의 매핑을 제안합니다: 방향 벡터는 프라이밍에 대한 "일시적 활성화" 이론과 정렬되는 반면, 결여된 오차 기반 구성 요소는 단순한 벡터 추가보다는 저랭크 가중치 업데이트나 암시적 학습 과정으로 더 잘 특징지어지는 메커니즘이 필요할 수 있습니다.

저자들은 연속 변수 개입이 강력한 진단 및 인과적 도구이지만, 이러한 연속적 표현을 문맥 내 학습의 전체 역동과 연결하는 것은 여전히 과제라고 결론지었습니다. 현재의 방향 벡터 접근법은 ICL 의 "무엇" (선호도 상태) 을 포착하지만, 오차 기반 적응 과정이라는 완전한 "어떻게"는 포착하지 못하기 때문입니다.