Indic-TunedLens: Interpreting Multilingual Models in Indian Languages

1. 문제 정의 (Problem Statement)

• 배경: 다국어 대규모 언어 모델 (LLM) 은 인도와 같은 언어적으로 다양한 지역에서 널리 배포되고 있지만, 기존의 해석 가능성 (Interpretability) 도구는 대부분 영어에 최적화되어 있습니다.
• 핵심 문제:
  • 영어 중심의 잠재 공간: 다국어 LLM 은 비영어권 언어로 입력/출력을 생성하더라도, 내부적으로 영어 중심의 잠재 공간 (Latent Space) 에서 작동하는 경향이 있습니다. Schut et al. (2025) 의 연구에 따르면, 모델은 먼저 영어 단어 표현을 활성화한 후 목표 언어로 번역하는 방식으로 작동하여, 의미 추론이 영어에 편향되어 있습니다.
  • 해석 도구의 한계: 기존 'Logit Lens'나 'Tuned Lens'와 같은 도구는 영어에 맞춰 학습된 선형 변환 (Affine Transformation) 을 사용하여 중간 은닉 상태 (Hidden States) 를 직접 디코딩합니다. 그러나 인도의 언어들은 영어와 구문론적 구조 (유연한 어순) 와 형태론적 특성 (풍부한 굴절) 이 크게 다르며, 고유한 토큰화 방식 (서브워드 단위 분포 차이) 을 가지고 있어 영어 기반 도구를 적용할 경우 해석 실패가 발생합니다.
  • 해석의 불일치: 영어 중심의 렌즈를 인도 언어에 적용하면 중간 표현과 최종 출력 분포 간의 정렬 (Alignment) 이 깨져, 불확실성이 높고 일관성 없는 예측을 보입니다.

2. 방법론 (Methodology)

저자들은 인도 언어의 고유한 특성을 반영한 새로운 해석 프레임워크인 Indic-TunedLens를 제안합니다.

• 핵심 아이디어:
  • 공유 아핀 변환 (Shared Affine Transformation) 학습: 표준 Tuned Lens 가 영어에 맞춰 학습된 변환을 사용하는 것과 달리, Indic-TunedLens 는 각 목표 언어 (인도 언어) 에 맞춰 은닉 상태를 조정하는 아핀 변환 행렬 ($M_n$) 과 편향 벡터 ($b_n$) 를 학습합니다.
  • 수식: $n$ 번째 레이어의 은닉 상태 $h_n$을 다음 식을 통해 변환합니다.
    $$\tilde{h}_n = M_n h_n + b_n$$
    변환된 상태 $\tilde{h}_n$을 모델의 최종 레이어 헤드를 통과시켜 토큰 로짓 (Logits) 을 생성합니다.
• 학습 목표 (Learning Objective):
  • 베이스 모델의 최종 레이어에서 생성된 다음 토큰 확률 분포 $p_{final}(x)$를 감독 신호 (Supervision Signal) 로 사용합니다.
  • 각 중간 레이어 $n$에서 생성된 분포와 최종 레이어 분포 간의 Kullback-Leibler (KL) 발산을 최소화하도록 $M_n$과 $b_n$을 학습합니다.
  • 이를 통해 중간 은닉 상태가 목표 언어의 어휘 분포와 정렬되도록 유도합니다.
• 데이터셋 및 모델:
  • 베이스 모델: Sarvam-1 모델 사용.
  • 학습 데이터: Sangraha 데이터셋 (벵골어, 영어, 구자라트어, 힌디어, 카나다어, 말라얄람어, 마라티어, 펀자브어, 네팔어, 타밀어, 텔루구어 등 11 개 언어).
  • 평가 데이터: 다국어 MMLU 벤치마크 (10 개 언어).

3. 주요 기여 (Key Contributions)

1. 해석 실패의 원인 규명 및 해결: 인도 언어에서의 해석 실패가 단순한 모델의 결함이 아니라, 은닉 상태와 출력 공간 간의 **'투사 (Projection) 문제'**임을 증명하고, 이를 해결하기 위한 Indic-TunedLens 를 제안했습니다.
2. 포괄적인 평가: Sarvam-1 모델을 대상으로 10 개 인도 언어 (벵골어, 힌디어, 타밀어 등) 에 대해 다국어 MMLU 벤치마크를 통해 체계적인 평가를 수행했습니다.
3. 층별 및 토큰 위치별 통찰: 중간 표현의 정확한 디코딩을 가능하게 하여, 언어별 층별 (Layer-wise) 및 토큰 위치별 추론 역동성을 밝혀냈습니다.

4. 실험 결과 (Results)

• 엔트로피 분석 (Entropy Analysis):
  • 기존 Tuned Lens: 인도 언어에서 레이어 전반에 걸쳐 높은 엔트로피와 불규칙한 패턴을 보이며, 예측이 영어 토큰으로 편향되는 것을 확인했습니다 (불안정한 중간 표현).
  • Indic-TunedLens: 레이어가 깊어질수록 엔트로피가 체계적으로 감소하여 정보의 통합이 원활하게 이루어지고, 의미 있는 힌디어 등의 토큰이 생성됨을 확인했습니다.
• 층별 정확도 (Layer-wise Accuracy):
  • Logit Lens: 대부분의 인도 언어에서 20 레이어 이전까지 정확도가 0.02 미만으로 매우 낮았으며, 27 레이어 부근에서 정점을 찍은 후 급격히 떨어졌습니다.
  • Indic-TunedLens: 1 레이어부터 즉시 해석 가능성을 보였습니다 (예: 영어 0.13, 텔루구어 0.11). 중간 레이어 (520) 에서도 일관된 정확도 (0.030.06) 를 유지하며, 영어 중심 접근법보다 훨씬 일찍 의미 있는 중간 상태를 포착했습니다.
  • 형태론적 복잡성 반영: 벵골어, 네팔어, 힌디어는 1~4 레이어 (형태 분석 단계) 에서 가장 큰 정확도 향상을 보였으며, 이는 풍부한 굴절 시스템을 처리하는 초기 레이어에서의 변환 학습이 효과적이었음을 시사합니다.
• 정답 토큰 순위 (Ranking Performance):
  • Indic-TunedLens 는 모든 레이어에서 정답 토큰을 더 높은 순위 (낮은 순위 번호) 에 위치시켰습니다. 특히 말라얄람어와 같은 언어에서 기존 Logit Lens 대비 순위가 크게 개선되어, 다중 언어적 특징의 통합이 더 효과적으로 이루어짐을 보여주었습니다.
• 토큰 위치별 정확도:
  • 질문과 정답 선택지 위치에 따라 정확도가 변동하는 패턴을 포착했으며, 복잡한 형태론을 가진 언어 (타밀어, 텔루구어) 는 의미 있는 내용을 표현하는 데 더 많은 토큰이 필요하여 추론 단계의 공간적 분포가 달라짐을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 언어 중립적 해석의 불가능성 증명: 동일한 해석 기법이 언어 구조 (형태론, 구문론) 에 따라 근본적으로 다른 결과를 낳음을 입증했습니다. 다국어 LLM 의 해석을 위해서는 언어 계열 (Language Family) 을 고려한 렌즈가 필수적입니다.
• 계산 병목 현상의 위치 규명: 언어별 뉴런이 중후반 레이어에 집중된다는 기존 연구와 달리, 본 프레임워크는 초기 레이어에서도 의미 있는 상태를 포착할 수 있음을 보여주었습니다. 이는 해석의 어려움이 내부 처리 과정이 아니라, **은닉 상태를 어휘 공간으로 투사하는 메커니즘 (Projection Mechanism)**에 있음을 시사합니다.
• 공정하고 책임 있는 AI 개발: 인도와 같은 언어적으로 다양한 지역에서 AI 시스템의 투명성과 신뢰성을 높이기 위한 필수적인 도구로, 다국어 NLP 연구 및 응용에 중요한 기여를 할 것으로 기대됩니다.

이 연구는 인도 언어를 위한 최초의 레이어별 해석 가능성 (Layer-wise Interpretability) 적용 사례이며, 다국어 모델의 내부 작동 원리를 이해하고 개선하는 데 중요한 이정표가 됩니다.