A Universal Vibe? Finding and Controlling Language-Agnostic Informal Register with SAEs

논문 개요

본 연구는 다국어 대규모 언어 모델 (LLM) 이 문화적 맥락에 따른 화용론적 어조 (Pragmatic Register), 특히 '비공식적 어조 (Informal Register)'나 '속어 (Slang)'를 처리할 때, 이를 각 언어별 고유의 표면적 암기 (Surface-level memorization) 로 처리하는지, 아니면 언어에 독립적인 추상적 개념으로 통합하여 내재화하는지 규명하는 것을 목표로 합니다. 저자들은 Sparse Autoencoders (SAE) 를 활용하여 Gemma-2-9B-IT 모델의 내부 표현을 분석하고, 비공식적 어조가 언어를 초월한 보편적인 기계적 구조를 가지고 있음을 증명했습니다.

1. 연구 문제 (Problem)

• Register Gap (어조 간극): 현재 LLM 은 표준적이고 편집된 텍스트에 맞춰 정렬 (Alignment) 되어 있어, 인간 상호작용에서 자연스럽게 발생하는 역동적이고 맥락 의존적인 비공식적 언어 (속어, 반말 등) 를 처리하는 데 어려움을 겪습니다.
• 내부 메커니즘의 불명확성: 다국어 모델이 사실적 지식이나 구문론적 지식은 언어 간 공유된 공간 (Shared Subspace) 에서 처리한다는 것은 알려져 있으나, 사회적 신호와 문화적 맥락이 중요한 '화용론적 어조'가 어떻게 표현되는지는 알려지지 않았습니다.
  • 핵심 질문: 모델은 비공식적 어조를 각 언어별 분리된 표면 패턴으로 처리하는가, 아니면 보편적인 추상 개념으로 내재화하는가?

2. 방법론 (Methodology)

가. 데이터셋 구축: 언어적 편향 제거

• 다국어 데이터: 영어, 히브리어, 러시아어 등 3 개의 유형학적으로 다양한 언어를 대상으로 합니다.
• 중의성 (Polysemy) 기반 설계: 기존 속어 데이터셋의 문제점인 '단어 자체의 빈도'나 'OOO 라는 단어는 무조건 속어다'라는 단순한 어휘적 편향을 제거하기 위해, 모든 타겟 단어가 문맥에 따라 '문자적 의미 (Literal)'와 '속어 의미 (Slang)'로 모두 사용될 수 있는 중의성 단어로 구성했습니다.
  • 예시: "fire" (화재 vs. "대박"), "sick" (아프다 vs. "멋진").
• 목적: 모델이 단어 자체를 보고 판단하는 것이 아니라, 오직 화용론적 문맥 (Pragmatic Context) 만을 통해 어조를 구분하도록 강제합니다.

나. 분석 도구: Sparse Autoencoders (SAE)

• SAE 활용: Gemma-2-9B-IT 모델의 131K 개의 SAE 특징을 사용하여 밀집된 신경망 활성화 (Dense Activations) 를 희소하고 해석 가능한 특징 (Sparse Features) 으로 분해합니다.
• 특징 추출:
  • 타겟 토큰 (중의성 단어) 에서의 잔류 스트림 (Residual Stream) 활성화를 추출합니다.
  • $\Delta_i$ 점수: 속어 문맥과 문자적 문맥에서의 특징 활성화 빈도 차이를 계산하여 ($\Delta_i = P(\text{slang}) - P(\text{literal})$), 속어와 관련된 특징을 선별합니다.
• 교차 언어 분석: 세 언어 모두에서 상위 100 개 특징을 비교하여 공통 특징 (Cross-linguistic Core) 을 식별합니다.

다. 인과적 개입: Activation Steering

• 조향 벡터 (Steering Vector): 식별된 공통 특징들의 디코더 가중치를 평균화하여 조향 벡터를 생성합니다.
• 실험: 생성 중 (Inference time) 에 이 벡터를 모델의 특정 레이어 (Layer 9, Layer 20) 에 주입하여 ($\alpha$ 계수 조절), 모델의 출력 어조를 인위적으로 비공식적 또는 공식적으로 변경합니다.
• Zero-shot 전이 검증: 학습 데이터에 전혀 포함되지 않은 6 개 언어 (일본어, 태국어, 암하라어, 조지아어 등) 에서도 동일한 조향 벡터가 어조 변경에 효과적인지 테스트합니다.

3. 주요 기여 (Key Contributions)

1. 방법론적 기여: 어휘적 편향을 배제하고 화용론적 어조만을 분리해 낼 수 있는 중의성 단어를 활용한 다국어 데이터셋을 최초로 제안했습니다.
2. 관찰적 발견: 모델의 잠재 공간 (Latent Space) 내에 **기하학적으로 일관된 "비공식적 어조 부분 공간 (Informal Register Subspace)"**이 존재함을 발견했습니다. 이는 세 언어 모두에서 공유되며, 모델의 깊은 레이어 (Layer 20) 로 갈수록 더 명확하게 형성됩니다.
3. 인과적 증명: 단순히 상관관계가 아니라, 이 공유된 특징들을 조작함으로써 모든 소스 언어와 6 개의 미시 (Zero-shot) 언어에서 출력의 공식성을 인과적으로 조절할 수 있음을 증명했습니다.

4. 주요 결과 (Results)

• 공유된 특징 코어 (Shared Core):
  • 속어 관련 특징의 대부분은 언어별 고유의 특징이지만, 3 개 언어 모두에서 공통으로 나타나는 소수의 특징 (약 9 개) 이 존재합니다.
  • 무작위 교란 테스트 (Permutation test) 를 통해 이 중첩이 우연이 아님을 통계적으로 입증했습니다 ($p < 10^{-4}$).
• 기하학적 일관성 (Geometric Coherence):
  • 공유된 특징들의 디코더 벡터는 무작위 특징들에 비해 기하학적으로 밀집된 군집을 형성합니다.
  • Layer 20 에서 이 군집의 일관성 (Island Score) 이 Layer 9 보다 더 뚜렷하게 증가하여, 깊은 레이어일수록 추상적인 개념이 더 잘 정립됨을 보여줍니다.
• Zero-shot 전이 (Zero-shot Transfer):
  • 영어, 히브리어, 러시아어에서 추출된 조향 벡터를 사용하여 학습 데이터에 없던 6 개 언어 (일본어, 태국어, 힌디어, 조지아어, 암하라어, 독일어) 에서도 성공적으로 어조를 변경했습니다.
  • 특히 조지아어와 암하라어처럼 유형학적으로 매우 먼 언어에서도 통계적으로 유의미한 어조 변화 ($r < -0.35$) 를 보였습니다.
• 생성 품질:
  • 어조가 변경된 텍스트는 언어가 영어로 바뀌지 않고 (92% 이상 목표 언어 유지), 문맥적 일관성 (Perplexity) 을 유지하며, 해당 언어 고유의 속어를 생성하는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance)

• LLM 의 내재적 구조에 대한 통찰: 다국어 LLM 이 비공식적 어조를 단순한 표면적 패턴 매칭이 아닌, 언어에 독립적인 추상적인 화용론적 개념 (Portable, Language-agnostic Pragmatic Abstraction) 으로 내재화하고 있음을 처음으로 기계적 해석 (Mechanistic Interpretability) 차원에서 증명했습니다.
• 사회언어학적 적용: 모델이 "소속감"이나 "사회적 거리"를 나타내는 비공식적 어조를 어떻게 학습하고 표현하는지에 대한 새로운 이해를 제공하며, 향후 모델의 사회적 안전성 (Safety) 과 문화적 적합성 (Cultural Appropriateness) 을 개선하는 데 기여할 수 있습니다.
• 향후 연구 방향:
  • 이 보편적인 부분 공간이 코드 스위칭 (Code-switching), 금기어, 방언 변이 등 더 넓은 화용론적 현상을 설명하는지 탐구.
  • 계산 사회언어학 (Computational Sociolinguistics) 을 위한 새로운 정량적 도구로 활용.
  • 모델의 편향 (영어 중심성) 을 보정하고 다양한 문화적 맥락에서의 어조 처리 능력을 향상시키는 메커니즘 해석 연구.

결론적으로, 이 연구는 LLM 이 다양한 문화와 언어를 넘나드는 '비공식적인 인간 상호작용'의 본질을 하나의 통합된 추상 개념으로 이해하고 있음을 보여주며, 이를 통해 모델의 어조 제어가 가능함을 입증했습니다.