기술적 요약: 부정적 전이보다 긍정적 전이: 대규모 언어 모델의 비대칭적 가치 처리

문제 제기

기계적 해석 가능성 (mechanistic interpretability) 이 대규모 언어 모델 (LLM) 이 사실적 연관성과 추상적 개념을 선형적 방향으로 어떻게 인코딩하는지 성공적으로 매핑해 왔음에도 불구하고, **감정적 가치 (emotional valence)**의 내부 처리 과정은 여전히 잘 이해되지 않고 있습니다. 이전 연구들은 주로 상관관계 기반 프로빙 (probing) 이나 행동 분석에 의존해 왔으며, 다음과 같은 중요한 질문들을 해결하지 못한 채 남아 있습니다:

1. LLM 은 가치에 전담하는 내부 구조를 보유하고 있는가, 아니면 표면적 토큰 매칭에 의존하는가?
2. 감정 표현은 특정 처리 단계에 국한되어 있는가, 아니면 광범위하게 분산되어 있는가?
3. 관찰된 신호는 진정한 가치 추적을 반영하는 것일까, 아니면 단순히 주제 감지 (예: '거부되었다'는 단어를 인식하되 부정적 정서를 이해하지는 못하는 경우) 에 불과한 것일까?

기존 연구 (예: Sofroniew et al., 2026) 는 폐쇄형 모델에서 기능적 감정을 식별했으나, 인과적 국소화와 주제 혼란 (topic confounds) 에 대한 엄격한 통제가 부족했습니다. 본 논문은 오픈소스 LLM 에서 가치가 인과적이고 계층별 (layer-specific) 메커니즘을 통해 처리되는지 조사함으로써 이러한 격차를 해소합니다.

방법론

저자들은 **활성화 패치 (activation patching)**와 **스티어링 벡터 (steering vectors)**를 세 가지 지시 튜닝 (instruct-tuned) 오픈소스 모델인 Llama-3.2-1B, Qwen2.5-1.5B, Qwen2.5-3B에 적용했습니다. 이러한 모델들은 두 가지 아키텍처 계열 (멀티헤드 어텐션 대 그룹화 쿼리 어텐션) 과 두 가지 규모를 포괄합니다.

실험 설계

1. 프롬프트 쌍 설계: 본 연구는 조건당 100 개의 정제/손상된 프롬프트 쌍을 구성했습니다.

   • 좋은 소식 조건: 정제된 프롬프트는 긍정적인 결과를, 손상된 프롬프트는 동일한 상황을 중립적으로 서술합니다.
   • 부정적 통제 조건: 정제된 프롬프트는 부정적인 결과를, 손상된 프롬프트는 '좋은 소식' 조건의 손상된 기준선과 동일합니다.
   • 공유 손상된 기준선: 이 설계는 패치 효과의 차이가 주제나 문구가 아닌 가치 (valence) 에만 기인함을 보장합니다.
   • 도메인: 프롬프트는 학계, 경력, 개인 생활을 포괄하여 결과가 도메인 특이적이지 않도록 합니다.

2. 활성화 패치:

   • 모델은 손상된 입력으로 실행되지만, 특정 계층의 잔류 스트림 (residual stream) 활성화는 정제된 실행에서 캐시된 활성화로 대체됩니다.
   • 지표: 다음 토큰 분포에서 미리 정의된 긍정적 대 부정적 앵커 토큰의 확률 질량에 기반한 **로그잇 갭 점수 (logit gap score)**가 계산됩니다.
   • 목표: 패칭이 정제된 출력 행동을 복원하는 '최상위 인과 계층 (top causal layer)'을 식별하여, 가치 신호가 계산되는 위치를 파악합니다.

3. 가치 반전 테스트 (Valence Flip Test):

   • 주제 감지를 배제하기 위해, 주제는 일정하게 유지된 채 가치 (좋은 소식 대 부정적) 가 반전될 때 점수 갭의 부호가 변하는지 확인합니다. 진정한 가치 표현은 부호가 반대인 효과 (역상관 갭) 를 생성해야 하는 반면, 주제 감지는 상관된 갭을 생성할 것입니다.

4. 인과적 스티어링:

   • 식별된 최상위 인과 계층의 잔류 스트림에서 가치 방향 벡터가 추출됩니다 (정제된 활성화와 손상된 활성화 간의 평균 차이).
   • 이 벡터는 감정적으로 중립적인 프롬프트에 추가되거나 빼어져 모델의 출력이 긍정적 또는 부정적 가치로 인과적으로 이동하는지 테스트합니다.

주요 결과

1. 방향성 가치 추적

세 모델 모두 출력 분포에서 감정 내용을 구별하는 능력을 보였으며, 조건별 부호 정확도는 **79% 에서 95%**까지 다양했습니다. Qwen 계열은 Llama-1B 보다 더 날카로운 점수 갭을 나타냈습니다.

2. 주제 감지 배제

가치 반전 테스트는 반전률을 Llama-1B 69%, Qwen-1.5B 80%, **Qwen-3B 85%**로 나타냈습니다. 이러한 비율은 50% 인 우연 기준선보다 유의하게 높아, 모델이 단순히 주제 키워드를 인식하는 것이 아니라 분리 가능한 내부 변수로서 가치를 추적하고 있음을 확인시켜 줍니다.

3. 비대칭적 깊이 국소화 (핵심 발견)

본 연구는 가치 처리에서 명확한 **깊이별 분리 (depth-wise dissociation)**를 드러냈습니다:

• 부정적 가치: 초기 계층에 인과적으로 국소화됩니다 (모델 깊이의 **14–27%**에서 정점). 이러한 계층에서의 패칭은 부정적 출력을 강력하게 복원합니다.
• 긍정적 가치: 중간에서 후기 계층에서 정점을 이룹니다 (모델 깊이의 **53–66%**에서 정점).
• 통계적 유의성: Mann-Whitney U 검정은 이 분리가 모든 모델에서 매우 유의미함을 확인했습니다 ($p < 10^{-10}$).
• 해석: 부정적 결과는 '거부되었다'와 같은 어휘적으로 독특한 단어에 의존하는 '빠른 얕은 감지기'에 의해 처리되는 반면, 긍정적 결과는 더 풍부한 표현을 구성하기 위해 더 깊은 문맥 통합을 필요로 하는 것으로 보입니다.

4. 비대칭적 인과 구조

• 부정적 통제: 엄격한 인과적 국소화를 보입니다. 패치 크기와 반응 강도 사이에 강한 음의 상관관계 ($\rho \approx -0.5$에서 $-0.68$) 가 있어, 단일 지배 계층이 부정적 반응을 주도함을 나타냅니다.
• 좋은 소식: 분산된 처리를 보입니다. 패치 크기와 반응 강도 간의 상관관계는 약하거나 통계적으로 유의하지 않습니다 ($\rho \approx 0.1$에서 $0.37$). 이는 긍정적 가치가 단일 계층을 통해 라우팅되는 것이 아니라 네트워크 전체에 분산되어 있음을 시사합니다.

5. 조작성 (Steerability)

스티어링 실험은 식별된 계층이 가치를 조작 가능한 선형 방향으로 인코딩함을 확인했습니다.

• '좋은 소식' 방향을 중립적 프롬프트에 추가하면 **92–100%**의 출력이 긍정적 가치로 이동했습니다.
• 방향을 빼면 출력은 부정적 가치로 이동했습니다.
• 스티어링 강도 ($\alpha$) 와 가치 점수 변화 ($\Delta$) 간의 관계는 단조 증가하여 추출된 벡터가 진정한 선형 특징임을 확인했습니다.

의의 및 주장

본 논문은 LLM 의 감정적 가치가 **단일 내부 상태 (monolithic internal state)**가 아니라, 긍정 및 부정 입력에 대한 고유한 인과 경로를 가진 비대칭적 계산이라고 주장합니다.

• 기계적 통찰: 발견된 바에 따르면, 부정적 및 긍정적 가치는 단일 축의 반대 끝이 아니라 서로 다른 계산 메커니즘 (초기, 국소화된 감지 대 후기, 분산된 통합) 을 통해 처리됩니다.
• 감독 가능성: 부정적 가치가 초기 계층에 국소화되고 예측 가능하게 조작 가능하기 때문에, 이는 해석 가능성 기반 감독의 구체적인 대상이 됩니다. 이러한 초기 계층을 모니터링하면 모델이 완전한 응답을 구성하기 전에 개입할 수 있습니다.
• 일반화 가능성: 이러한 비대칭성은 서로 다른 모델 규모와 어텐션 아키텍처 (MHA 대 GQA) 에서 유지되므로, 특정 모델 설계의 산물이 아닌 트랜스포머 기반 가치 처리의 근본적 속성임을 시사합니다.

저자들은 이러한 극성 (polarities) 이 왜 서로 다른 계산 깊이를 요구하는지 이해하는 것이 트랜스포머가 의미 및 감정 내용을 인코딩하는 방식의 근본적 측면을 드러낼 수 있다고 결론지었습니다. 또한 이들은 이 연구가 직접적인 부정적 사회적 영향을 초래하지 않을 것으로 보며, 오히려 더 안전하고 해석 가능한 모델 배포를 향한 한 걸음으로 간주한다고 명시적으로 밝혔습니다.