Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs

기술 요약: 다국어 LLM의 성능에서 교차 언어 정렬(Cross-Lingual Alignment)의 역할

문제 정의
대규모 언어 모델(LLM)은 주로 영어 텍스트를 기반으로 학습되었음에도 불구하고, 영어가 아닌 언어에서도 자연어 이해(NLU) 작업을 성공적으로 수행하며 인상적인 다국어 능력을 보여준다. 인코더 전용(encoder-only) 아키텍처는 고자원 언어에서 저자원 언어로 지식이 전이된다는 것을 보여주었으나, 디코더 전용(decoder-only) LLM에서 이러한 일반화가 발생하는 메커니즘은 여전히 명확히 밝혀지지 않았다. 특히, 비영어 입력의 표현(representation)을 그에 대응하는 영어 표현과 정렬하는 모델의 능력이 개별 작업 인스턴스의 성능에 인과적으로 영향을 미치는지 여부는 불분vi명하다. 선행 연구들은 집계된 지표를 사용하여 언어 수준에서의 교차 언어 정렬과 다국어 정확도 사이의 상관관계를 확립했지만, 이러한 연구들은 표현 정렬이 특정 NLU 인스턴스의 모델 행동에 어떻게 영향을 미치는지 설명하지 못한다.

방법론
저자들은 인스턴스 수준에서 교차 언어 정렬을 조사하고, 정렬과 작업 성공 사이의 인과 관계를 확립하기 위한 프레임els를 제안한다.

1. 인스턴스 수준 정렬 지표:
   본 논문은 판별적 NLU 작업(다중 선택 질의응답)을 위해 정렬을 정량화하는 세 가지 지표를 도입한다:

• DALI (Discriminative Alignment Index): 교차 언어로 매칭된 전제-종결 쌍의 코사인 유사도가 매칭되지 않은 쌍보다 높은지를 나타내는 이진 점수이다.
• DALIst: DALI의 더 엄격한 변형으로, 트랜스포머 표현의 이방성(anisotropy)으로 인한 가양성(false positive)을 완화하기 위해 교차 언어로 매칭된 쌍이 동일 언어 내의 매칭되지 않은 쌍보다도 더 높은 유사도를 가져야 함을 요구한다.
• MEXAT: 기존 MEXA 지표의 작업 특화 변형으로, 일반적인 병렬 코퍼스가 아닌 작업 전제를 사용하여 계산된다.

2. 실험 설계:

• 데이터셋: 본 연구는 24개 언어를 포함하는 세 가지 다국어 NLU 벤치마크(Belebele, Xstorycloze, Xcopa)를 활용한다.
• 샘플 범주화: 인스턴스는 전이 성공(Transfer Success, TS) (영어와 비영어 모두 정답) 및 전이 실패(Transfer Failure, TF) (영어는 정답이나 비영어는 오답)로 분류된다.
• 연관성 분석: 저자들은 트랜스포머 레이어 전반에 걸쳐 정렬 점수(DALI, DALIst, MEXAT)를 비교하여, 성공적인 전이가 더 높은 정렬을 보이는지 확인한다.
• 활성화 패칭(Activation Patching): 인과 관계를 확립하기 위해, 저자들은 TF 인스턴스에 대해 활성화 패칭을 수행한다. 특정 레이어($\lambda$)에서 실패한 비영어 순전파(forward pass)의 은닉 상태($h^\lambda$)를 성공한 영어 순전파의 대응하는 상태로 교체한다.
• 대조 실험: 패칭이 단순히 타겟 토큰(예: 정답 선택지 'A' 또는 'B')을 주입하는 것이 아니라 의미적 정렬에 기반하여 수정하는 것인지 확인하기 위해, 동일한 타겟 토큰을 공유하지만 의미는 다른 무관한 영어 샘플을 사용하여 대조 패칭을 수행한다.

주요 결과

• 성공과의 연관성: 33개의 언어-벤치마크-지표 조합 전체에서, 전이 성공(TS) 인스턴스는 전이 실패(TF) 인스턴스보다 일관되게 높은 교차 언어 정렬 점수를 보인다. 이 연관성은 8개 사례에서 통계적으로 유의미하며 30개 사례에서 양의 상관관계를 보여, 더 나은 정렬이 성공적인 일반화와 상관관계가 있음을 시사한다.
• 레이어별 효과: 분석 결과, 교차 언어 정렬은 트랜스포머의 중간 레이어(대략 레이어 14–25)에서 정점을 찍는다.
• 패칭을 통한 인과적 증거:
  • 중간 레이어에 영어 활성화를 패칭하면 실패한 비영어 인스턴스의 정답을 맞힐 확률이 유의미하게 증가한다.
  • "플립 레이트(flip rate)"(수정된 예측의 비율)는 패칭이 이 중간 레이어에서 발생할 때 가장 높다.
  • 의미적 특이성: 대조 실험을 통해 의미적으로 동등한 영어 패치가 (동일한 정답 토큰을 가진 무관한 영어 샘플보다) 예측을 수정하는 데 훨씬 더 효과적임을 입와하였다. 이는 수정이 단순히 타겟 토큰을 주입하는 것이 아니라 의미적 정렬에 의해 구동됨을 확인해 준다.
• 엔트로피 분석: 의미적으로 동등한 패치를 통해 달성된 수정은 대조 패치에 비해 낮은 출력 엔트로피(높은 확신도)를 보이는데, 이는 정렬이 모델의 의사 결정 과정을 안정화시킨다는 것을 시사한다.

주요 기여

1. 인스턴스 수준 지표: 언어 수준의 집계 분석을 넘어 판별적 작업에 대한 정렬을 인스턴스 단위로 정량화하는 DALI 및 DALIst를 도입하였다.
2. 인과적 검증: 활성화 패칭을 통해 중간 레이어에서의 정렬 결여가 교차 언어 실패의 주요 원인임을 보여주는 인과적 증거를 제공하였다. 본 연구는 영어 표현을 주입하여 정렬을 "강제"함으로써 비영어 오류를 바로잡을 수 있음을 입증한다.
3. 메커니즘 명확화: 본 연구는 디코더 전용 LLM이 언어 중립적인 추론이 일어나는 중간 레이어에서 영어 표현을 통해 암묵적으로 피벗(pivot)하며 비영어 텍스트를 처리한다는 가설을 뒷받침한다.

의의 및 주장
본 논문은 다국어 정렬의 상관관계 연구와 모델 행동의 인과적 메커니즘 사이의 간극을 메운다고 주장한다. 국소적인 중간 레이어에서의 교차 언어 의미 정렬이 정답 여부에 인과적으로 기여함을 입증함으로써, 저자들은 "영어를 통한 피벗(pivot through English)"이 단순한 통계적 아티팩트가 아니라 추론을 위한 기능적 메커니즘이라고 주장한다.

저자들은 자신의 발견을 판별적 작업에서 성공적인 전이를 위한 필수 구성 요소라는 증거로 조심스럽게 제시한다. 패칭이 오류를 수정할 수는 있지만 모든 인스턴스를 고칠 수는 없다는 점을 언급하며, 이는 다른 요인들도 실패에 기여할 수 있음을 시사한다. 논문은 이러한 결과가 비영어 성능을 향상시키기 위해 고충실도 영어 활성화를 활용하는 추론 시점의 스티어링(steering) 연구를 촉발한다고 결론짓는 동시에, 과도한 확신이나 현지 비영어 지식의 삭제와 같은 잠재적 부작용에 대해서도 경고한다. 본 연구는 판별적 NLU 작업과 이중 언어 정렬(비영어에서 영어로)에 한정되어 있으며, 다른 언어 쌍 간의 정렬은 제외되었다.