Language steering in latent space to mitigate unintended code-switching

1. 문제 정의 (Problem)

다국어 대형 언어 모델 (LLM) 은 명시적인 단국어 지시에도 불구하고 종종 의도하지 않은 코드 스위칭 (Unintended Code-Switching) 을 발생시킵니다. 예를 들어, 스페인어로 프롬프트를 입력했음에도 불구하고 응답 중간에 영어로 전환되는 현상입니다.

• 영향: 이는 사용자 신뢰를 저해하고, 고객 서비스 챗봇 등 실제 배포 시스템에서 혼란을 야기합니다. 또한 보안 필터를 우회하는 '레드 팀 (Red-teaming)' 벡터로 악용될 수 있습니다.
• 기존 해결책의 한계: 기존 방법들은 단국어 데이터에 대한 비용이 많이 드는 파인튜닝 (Fine-tuning) 이나, 지연 시간을 유발하는 디코딩 시간 개입, 또는 취약한 프롬프트 엔지니어링에 의존하고 있습니다.

2. 방법론 (Methodology)

저자들은 잠재 공간 언어 조정 (Latent-Space Language Steering) 이라는 경량 추론 시간 (Inference-time) 방법을 제안합니다. 이 방법은 모델의 재학습 없이 숨겨진 표현 (Hidden Representations) 내의 저차원 언어 방향을 활용합니다.

• 언어 방향 식별 (Language Direction Identification):

  • 병렬 번역 데이터 (Parallel Translations) 를 사용하여 PCA(주성분 분석) 를 수행합니다.
  • 각 레이어의 마지막 토큰 숨겨진 상태 (Hidden State) 를 추출하여 중심을 맞춘 후 PCA 를 적용합니다.
  • 핵심 발견: 의미적 내용은 일정하게 유지될 때, 언어 정체성 (Language Identity) 이 분산의 주된 원인이 되어 첫 번째 주성분 (PC1) 이 명확한 언어 축을 형성합니다. 특히 최종 레이어 (Final Layers) 에서 언어 정체성이 집중되어 거의 완벽한 선형 분리가 가능합니다.

• 잠재 공간 조정 (Latent-Space Steering):

  • 생성 중 각 토큰의 숨겨진 상태 $h_t^{(\ell)}$ 에 대해 식 (2) 를 적용하여 언어 성분을 수정합니다.
    $$\tilde{h}_t^{(\ell)} = h_t^{(\ell)} - s \left( h_t^{(\ell)} \cdot v^{(\ell)} \right) v^{(\ell)}$$
    • $v^{(\ell)}$: PCA 를 통해 추출된 언어 방향 벡터.
    • $s$: 조정 강도 계수 (Grid search 를 통해 최적화).
  • 이 과정은 단순한 내적 (Dot product) 과 벡터 뺄셈으로 이루어져 계산 오버헤드가 거의 없습니다.
  • 실제 실험에서는 $|s| > 1$인 값이 최적화되어, 단순 제거가 아닌 능동적인 반대 방향 조정이 필요함을 보여줍니다.

• 언어 예측 검증:

  • 최종 레이어의 PC1 투영 값에 로지스틱 회귀 분류기를 훈련시켜 언어를 식별하는 데 95-99% 의 정확도를 달성했습니다.

3. 주요 기여 (Key Contributions)

1. 경량 조정 방법론: 병렬 번역 데이터만 필요로 하며, 파인튜닝 없이 추론 시에만 적용 가능한 저비용 방법을 제시했습니다.
2. 실험적 검증: Qwen2.5-1.5B 와 Llama-3.2-1B 모델, 그리고 영어, 스페인어, 러시아어, 중국어, 힌디어 등 다양한 언어 쌍에서 분포적 (Distributional) 및 생성 기반 (Generation-based) 평가를 통해 코드 스위칭 감소를 입증했습니다.
3. 거의 완벽한 언어 분류기: PCA 투영을 기반으로 한 단순한 분류기가 높은 정확도를 보임을 확인하여, 다국어 LLM 의 잠재 공간에 명시적인 언어 방향이 존재함을 증명했습니다.
4. 언어 클러스터링 분석: 다국어 LLM 에서 언어 정체성이 최종 레이어에 집중되고 선형적으로 분리 가능함을 규명했습니다.

4. 실험 결과 (Results)

• 분포적 평가 (Distributional Evaluation):

  • KL 발산 감소: 여러 언어 쌍에서 다음 토큰 분포의 KL 발산을 최대 55% 까지 감소시켰습니다 (Qwen: 평균 38%, Llama: 평균 43% 감소).
  • 유사도 향상: 조정된 모델과 영어 기준 (Baseline) 간의 코사인 유사도가 크게 증가하고, 상위 50 개 토큰 오버랩이 8% 미만에서 25% 이상으로 증가했습니다.
  • 언어별 차이: 영어 - 중국어, 영어 - 러시아어 등 유형학적으로 먼 언어 쌍에서 성능이 가장 좋았으며, 영어 - 힌디어 쌍은 토큰화 비대칭성 등으로 인해 상대적으로 개선 폭이 작았습니다.

• 생성 기반 평가 (Generation-based Evaluation, Llama-3.2-1B):

  • 코드 스위칭 지수 (CSI) 감소: 생성된 텍스트에서 의도하지 않은 코드 스위칭이 63~99% 감소했습니다 (p < 0.001).
  • 목표 언어 일관성 (TLC): 모든 언어 쌍에서 0.77 이상을 기록하여 거의 완벽한 단국어 생성을 달성했습니다.
  • 한계점: 조정 계수 (Steering Coefficient) 가 매우 민감합니다. 계수 크기를 너무 크게 설정하면 코드 스위칭은 사라지지만, 텍스트가 반복되거나 퇴화 (Degeneration) 하는 현상이 발생했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 효율성: 고비용 파인튜닝 없이도 LLM 의 언어 행동을 정밀하게 제어할 수 있는 경량 솔루션을 제시했습니다.
• 해석 가능성: 다국어 모델의 잠재 공간에서 언어와 의미가 거의 직교하는 부분 공간 (Orthogonal Subspaces) 에 존재하며, 특히 최종 레이어에서 언어 정체성이 선형적으로 분리됨을 규명했습니다.
• 향후 과제:
  • 유창성 - 제어 트레이드오프: 과도한 조정은 생성 유창성을 해치므로, 이를 완화하기 위한 적응형 계수 스케줄링이나 제약 디코딩 결합이 필요합니다.
  • 확장성: 현재는 영어를 기준으로 한 양방향 조정에 국한되었으나, 다국어 동시 제어 (Multilingual Steering) 및 자연스러운 코드 스위칭 데이터셋 (LinCE 등) 에 대한 평가가 향후 연구 과제로 남았습니다.
  • 모델 다양성: 현재 1~15 억 파라미터 규모의 모델에 국한되어 있어, 더 큰 모델과 다양한 아키텍처에서의 검증이 필요합니다.

이 연구는 LLM 의 내부 표현 구조를 이해하고 이를 활용하여 모델의 행동을 해석 가능하고 효율적으로 제어할 수 있는 새로운 방향을 제시했다는 점에서 의의가 큽니다.