기술 요약: 창의적 충돌: 대규모 언어 모델에서의 디렉터 페르소나 스티어링 및 경쟁

문제 정의

활성화 스티어링(Activation steering)은 학습된 의미론적 방향을 잔차 스트림(residual stream)에 주입함으로써 추론 시점에 대규모 언어 모델(LLM)의 행동을 수정하는 강력한 메커니즘으로 자리 잡았다. 기존 연구들은 진실성, 안전성 또는 특정 페르소나 강화와 같은 단일 방향 과제에 이 기술을 성공적으로 적용해 왔으나, **다중 벡터 충돌(multi-vector collision)**의 역학은 아직 탐구되지 않았다. 특히, 두 개의 서로 상반되는 의미론적 방향이 중첩되어 표현 제어권을 두고 경쟁할 때 어떤 일이 발생하는지는 알려져 있지 않다. 본 논문은 상반된 도덕적, 스타일적 방향을 보간(interpolation)하여 비선형적 상호작용, 일관성 저하, 그리고 방향성 지배력을 관찰함으로써 "창의적 충돌(Creative Collision)" 체제를 조사하여 이 공백을 메우고자 한다.

방법론

1. 디렉터 대조 코퍼스

저자들은 스티븐 스필버그(Steven Spielberg)와 마틴 스코세이지(Martin Scorsese)의 필모그래피에서 각각 100개의 발췌문을 추출하여 쌍을 이룬 코퍼스 $D = \{(x^{SPL}_i, x^{SCO}_i)\}$를 구축하였다.

• 스필버그: E.T., 쉰들러 리스트, 라이언 일병 구하기와 같은 영화에서 추출되었으며, 구원 서사, 감정적 카타르시스, 낙관적 결말로 특징지어진다.
• 스코세이지: 굿펠라스, 택시 드라이버, 카지노와 같은 영화에서 추출되었으며, 도덕적 모호함, 폭력성, 자기 파괴적 궤적으로 특징지어진다.
• 매칭: 서사적 상황(예: 대립, 도덕적 선택)에 따라 쌍을 맞춤으로써 플롯의 복잡성이 아닌 디렉터의 도덕적 톤을 분리하였다.

2. 스티어링 벡터 추출

140억 개의 파라미터를 가진 디코더 전용 트랜스포머(40개 레이어)를 사용하여, 공유된 중립 베이스라인 코퍼스 $B$에 대한 평균 차이 대조를 통해 스티어링 벡터를 추출하였다.

• 벡터: $v^{(l)}_{SPL}$과 $v^{(l)}_{SCO}$는 레이어 $l$에서 각 디렉터 코퍼스의 평균 활성화와 베이스라인 간의 차이로 계산되었다.
• 정규화: 벡터들은 $\ell_2$-정규화되었다. 주목할 점은 이들이 반평행(anti-parallel)이 아니라는 것이다. 레이어 28에서 이들의 코사인 유사도는 약 0.29였으며, 이는 영화적 감정적 콘텐츠를 위한 공유된 표현 하위 공간을 가짐에도 불구하고 도덕적 결말은 서로 다르다는 것을 나타낸다.

3. 보간 및 스티어링 프로토콜

연구에서는 다음과 같은 매개변수적 보간 벡터군을 도입하였다:
$$v^{(l)}_\alpha = (1 - \alpha)\hat{v}^{(l)}_{SPL} + \alpha\hat{v}^{(l)}_{SCO}, \quad \alpha \in [0, 1]$$

• 스티어링: 보간된 벡터는 레이어 $L = \{20, \dots, 38\}$에서 스티어링 계수 $\lambda \in \{0.5, 1.0, 1.5, 2.0\}$와 함께 잔차 스트림에 더해졌다.
• 평가: 각 조건별로 50개의 창의적 픽션 구절을 생성하였다. 측정 지표는 다음과 같다:
  • 도덕적 가치(Moral Valence): 미세 조정된 분류기에 의해 점수화됨 ($[-1, +1]$).
  • 일관성(Coherence): 스티어링되지 않은 베이스 모델 하에서의 토큰 레벨 퍼플렉시티(perplexity)로 측정.
  • 방향성 지배력(Directional Dominance): 스타일로메트릭 분류기가 스필버그 클래스에 할당한 확률.
  • 표면 스타일(Surface Style): 문장 길이, 대화 밀도, 어휘 다양성 등의 지표.

주요 결과

1. 비단조적 도덕적 가치 (Non-Monotonic Moral Valence)

$\alpha$가 증가함에 따라 도덕적 톤이 스필버그(긍정)에서 스코세이지(부정)로 선형적으로 변화할 것이라는 단순한 예상과 달리, 결과는 비단조적이었다.

• $\lambda = 1.0$일 때, 도덕적 가치는 $\alpha = 1.0$이 아닌 $\alpha = 0.25$에서 가장 낮게 나타났다 ($MV \approx -0.38$).
• 이러한 중간 지점에서의 "도덕적 불일치"는 스코세이지 성분이 어둠을 도입하지만 이를 지배하지는 못하는 구성적 간섭(constructive interference)을 일으켜, 페널티를 받는 상태를 생성함을 시사한다.
• 높은 스티어링 강도($\lambda = 1.5$)에서는 도덕적 신호가 거의 0에 가례하며 완전히 붕괴되었는데, 이는 잔차 스트림이 자연스러운 텍스트 매니폴드에서 벗어났음을 의미한다.

2. 일관성의 골짜기 (The Coherence Valley)

생성 일관성(퍼플렉시티)에 관한 역설적인 발견이 나타났다.

• 순수 스티어링: 단일 디렉터 스티어링($\alpha=0$ 또는 $1$)은 높은$\lambda$에서 가장 큰 퍼플렉시티 증가를 유발했다.
• 중간 충돌: 혼합된 벡터($\alpha \in \{0.25, 0.5\}$)를 가진 조건들은 현저히 더 높은 일관성을 유지했다.
• 기하학적 설명: 저자들은 두 개의 비-반평행 단위 벡터($\rho < 1$)를 보간하면 결과 벡터의 $\ell_2$ 노름(norm)이 감소한다는 것을 증명했다. 노름은 $\alpha = 0.5$에서 최소화된다. 일관성 비용은 섭동(perturbation)의 크기에 따라 달라지므로, 중간 충돌 지점은 더 약한 유효 섭동을 가하여 모델이 자연스러운 텍스트 매니폴드에 가깝게 유지되도록 한다.

3. 방향성 지배력 (Directional Dominance)

스필버그의 표현적 특징은 거의 모든 보간 범위에서 강력한 지배력을 보였다.

• $\alpha \in \{0.0, 0.25, 0.50, 0.75\}$에 대해 스타일로메트릭 분류기는 스필버그 클래스에 약 1.0의 확률을 할당했다.
• 오직 $\alpha = 1.0$(순수 스코세이지)일 때만 분류기가 결정 경계에 접근했다 ($P \approx 0.49$).
• 메커니즘: 이는 (1) 친사회적 서사에 대한 사전 학습 데이터의 편향과 (2) 긍정적 생성을 강화하는 RLHF를 통한 정렬 증폭이 지속적인 스필버그-방향 프리어(prior)로서 작용하기 때문인 것으로 분석된다.

4. 레이어별 국소화 (Layer-wise Localisation)

두 디렉터의 도덕적 효과는 모두 레이어 28(40개 레이어 모델의 약 70% 깊이)에서 정점을 찍었다.

• 효과는 대략 반대칭적이었다 ($\Delta MV \approx -0.50$ (스코세이지), $+0.47$ (스필버그)).
• 이러한 공동 국소화는 레이어 28이 고차원적 의미 속성이 인과적으로 인코딩되는 공유된 "도덕적 톤 허브" 역할을 수행함을 시사하며, 이는 도덕적 가치의 선형 표현 가설을 뒷받침한다.

5. 도덕적 증폭 (Moral Amplification)

도덕적 가치를 양의($p+$) 및 음의($p-$) 하위 점수로 분해한 결과, 충돌 체제($\alpha \approx 0.25$)는 높은 양의 도덕 점수와 높은 음의 도덕 점수를 동시에 갖는 텍스트를 생성했다. 이 "도덕적 증폭"은 충돌이 순수 디렉터 극단 중 하나보다 더 큰 도덕적 복잡성과 명시성을 가진 텍스트를 생성할 수 있음을 나타낸다.

의의 및 주장

본 논문은 트랜스포머 활성화 공간 내에서 경쟁하는 의미론적 방향에 대한 이해를 진전시킨다고 주장한다. 주요 기여는 다음과 같다:

1. 안전성 함의: 친사회적 콘텐츠의 강력한 방향성 지배력은 모델이 도덕적으로 어두운 콘텐츠에 대해 강한 내부 프리어를 유지하도록 미세 조정되었음을 시사한다. 바람직하지 않은 콘텐츠로 스티어링하려면 유익한 콘텐츠로 스티어링할 때보다 실질적으로 더 큰 활성화 크기가 필요하며, 이는 적대적 활성화 수준 공격에 대한 경험적 장벽을 높인다.
2. 일관성을 위한 설계 원칙: "일관성의 골짜기"는 기하학적 원칙을 제공한다: 높은 스티어링 강도가 필요할 때, 두 개의 상반된 의미론적 방향을 보간하는 것은 (벡터가 반평행이 아닌 한) 동일한 총 크기의 단일 방향을 적용하는 것보다 일관성을 더 잘 보존할 수 있다.
3. 창의적 생성: "도덕적 증폭" 효과는 지배적인 페르소나를 포기하지 않으면서도 반대 방향의 성분을 소량 주입함으로써 서사적 긴장감과 도덕적 깊이를 높일 수 있음을 시사하며, 이는 제어 가능한 창의적 생성을 위한 새로운 도구를 제공한다.
4. 기계적 해석 가능성: 레이어 28을 공유된 도덕적 톤 기질로 식별하고 선형 도덕 가치 방향을 확인한 것은 향후 인과적 추적(causal tracing) 및 특징 분해 연구를 위한 구체적인 목표를 제공한다.

저자들은 어두운 콘텐츠로 스티어링하는 능력이 이전에 존재했음을 인정하면서도, 본 연구가 정렬 미세 조정을 통해 형성된 저항성을 정량화했다는 점을 강조한다. 그들은 이러한 스티어링이 달성하기 어렵다는 발견이 안전성 문헌에 있어 순기능이라고 보며, 동시에 "도덕적 증폭"이 고강도 콘텐츠 생성을 위해 악용될 가능성도 인지하고 있다.