기술 요약: 다국어 언어 모델을 위한 교차 언어 활성화 스티어링 (Cross-Lingual Activation Steering)

문제 정의

대규모 언어 모델(LLM)은 지배적 언어(고자원 언어)와 비지배적 언어(저자원 언어) 사이에 상당한 성능 격차를 보입니다. 이러한 격차는 주로 학습 코퍼스가 지배적 언어에 편향되어 있어, 공유 뉴런과 언어 특화 뉴런이 최적으로 분포되지 못하는 불균형한 표현을 초dt하기 때문입니다. 모델의 가중치를 수정하는 방식은 비용이 많이 들거나 데이터 부족으로 인해 실행 불가능할 수 있으므로, 데이터를 확장하거나 미세 조정을 하는 것 외에 다른 해결책이 필요합니다. 기존의 뉴런 수준 개입 방식들은 통계적 상수로 활성화를 덮어쓰려 함으로써 입력 의존적 신호를 효과적으로 삭제해 버리는 등 혼재된 결과를 낳았습니다.

방법론: 교차 언어 활성화 스티어링 (CLAS)

저자들은 모델 가중치를 수정하지 않고도 공유 및 언어 특화 표현의 균형을 재조정하기 위해 설계된, 훈련이 필요 없는 추론 시점의 개입 기법인 **교차 언어 활성화 스티어링 (CLAS)**을 제안합니다. CLAS는 세 가지 주요 단계로 작동합니다:

1. 병렬 입력 구축: 이 방법은 뉴런의 행동을 분석하기 위해 정렬된 다국어 입력(언어 간 병렬 문장)을 활용합니다. 이러한 입력은 오직 활성화를 측정하는 용도로만 사용되며 모델을 업데이트하지 않습니다.
2. 뉴런 범주화 및 브릿지 레이어 선택:
   • 뉴런은 데이터셋 수준에서(XQuAD의 병렬 샘플 100개를 사용하여) 네 가지 그룹인 dead(사멸), language-specific(언어 특화), partial-shared(부분 공유), all-shared(전체 공유)로 분류됩니다. 인스턴스 수준에서 분류하는 이전 연구와 달리, 이 방식은 집계된 통계를 바탕으로 뉴런에 안정적인 범주를 할당합니다.
   • 분석 결과, partial-shared 뉴런은 특정 "브릿지 레이어"(예: LLaMA의 2429층, Qwen의 2425층)에서 가장 빈번하게 나타납니다. 이 레이어들은 공유 구조와 언어 특화 처리 사이의 균형을 제공하며, 고도로 특화된 최종 레이어를 피할 수 있기 때문에 개입을 위한 레이어로 선택됩니다.
3. 활성화 스티어링 메커니즘:
   • 비 앵커(non-anchor) 언어에 대해, CLAS는 선택된 브릿지 레이어 내의 중간 MLP 활성화($h$)에 결정론적 수정을 적용합니다.
   • 부분 공유 조정: 교차 언어 구조를 인코딩하는 뉴런은 강화됩니다: $h_1 = h \odot (1 + \beta M_{shared})$.
   • 언어 특화 조정: 단일 언어에 과도하게 특화된 뉴런은 억제됩니다: $h_2 = h_1 \odot (1 - \gamma M_{spec})$.
   • 블렌딩(Blending): 수정된 활성화는 원래의 신호와 혼합됩니다: $h_{final} = (1 - \alpha)h + \alpha h_2$.
   • 앵커 언어(일반적으로 영어)는 안정적인 기준점 역할을 하기 위해 수정되지 않은 상태로 유지됩니다. 파라미터 $\beta$, $\gamma$, $\alpha$는 그리드 서치(grid search)를 통해 튜닝됩니다.

핵심 기여

• CLAS 프레임십: 추론 시점에 교차 언어 전이를 향상시키기 위해 뉴런 활성화를 선택적으로 조절하는 훈련이 필요 없는 메커니즘을 도입했습니다.
• 기능적 발산(Functional Divergence) 통찰: 효과적인 교차 언어 전이는 앵커 언어와의 엄격한 기하학적 정렬보다는 기능적 발산에 의해 주도된다는 점을 발견했습니다. 성능 향상은 표현 공간에서 언어 클러스터 간의 분리도가 증가하는 것과 상관관계가 있습니다.
• 실증적 검증: 다양한 태스크(분류 및 생성)와 모델(LLaMA 3.1 8B 및 Qwen 2.5 7B)에 걸쳐 CLAS의 효과를 입증하였으며, 앵커 언어의 안정성을 유지하면서 성능 향상을 달alu했습니다.

결과

저자들은 XNLI(자연어 추론) 및 XQuAD(질의응답) 벤치마크에서 CLAS를 평가했습니다.

• 분류 (XNLI): CLAS는 베이스 모델 대비 LLaMA에서 평균 +1.93%, Qwen에서 **+0.45%**의 정확도 향상을 달성했습니다. 이러한 이득은 통계적으로 유의미했습니다 ($p < 0.05$ 및 $p < 0.001$ 각각). LLaMA의 경우 우르두어(+7.00), 중국어(+5.89), 힌디어(+5.80)와 같은 언어에서 주목할 만한 개선이 관찰되었습니다.
• 생성 (XQuAD): CLAS는 평균 토큰 수준 F1 점수를 LLaMA에서 +0.94, Qwen에서 +1.10 개선했습니다. 그러나 생성 태스크의 높은 분산으로 인해 이러한 이득은 통계적으로 유의미하지 않았습니다. 결과는 높은 변동성을 보였는데, 어떤 언어는 상당한 이득(예: Qwen의 러시아어 +8.94)을 보인 반면, 다른 언어는 퇴보(예: Qwen의 힌디어 -5.28)하기도 했습니다.
• 표현 분석:
  • 정렬(Alignment): 모델이 영어에 더 가깝게 정렬되어야 한다는 직관과 달리, CLAS는 일반적으로 영어 앵커와의 코사인 유사도를 감소시켰습니다.
  • 클러스터 분리: t-SNE 시각화는 CLAS가 기능적 발산을 유도함으로써 표현을 재구성한다는 것을 보여주었습니다. 모호하고 중첩된 영역에서 벗어나 뚜렷한 클러스터로 이동한 언어들이 가장 큰 성능 향상을 보였습니다.
  • 스티어링 방향: 최적의 스티어링 방향($\alpha$)은 태스크와 모델에 따라 달랐습니다. 일부 설정은 공유 표현을 강화하는 것(양의 $\alpha$)이 유리했고, 다른 설정은 언어 특화 신호를 증폭하는 것(음의 $\alpha$)이 필요했습니다.

의의 및 주장

본 논문은 타겟팅된 활성화 스티어링이 추가 데이터나 파라미터 업데이트 없이도 기존 모델의 잠재적인 다국어 능력을 끌어낼 수 있다고 주장합니다. 핵심적인 의의는 지배적 언어와의 엄격한 정렬이 아니라, 기능적 발산이 비지배적 언어의 성능을 향상시키는 핵심 요소라는 발견에 있습니다.

저자들은 자신들의 접근 방식이 실제 활성화의 비율을 유지함으로써 정적 상수로 덮어쓰는 기존의 뉴런 개입 방식(예: Mondal et al., 2025)과 차별화된다는 점을 강조합니다. 이를 통해 모델이 입력 의존적 구조를 유지하면서 공유 특징과 언어 특화 특징의 기여도를 재조정할 수 있게 합니다.

결론적으로, CLAS는 미세 조정에 대한 유망하고 가벼운 대안을 제공하지만, 그 효과는 태스크에 따라 다르며 모든 언어에 균일하게 나타나지는 않으므로, 주의 깊고 태스크 인지적인 개입 전략이 필요함을 시사합니다.