1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 다국어 사전 학습 (multilingual pretraining) 을 거쳤음에도 불구하고, 비영어 (non-English) 태스크에서 여전히 심각한 한계를 보입니다. 특히 언어 제어 (Language Control) 능력, 즉 의도된 언어로 응답하는 능력이 부족합니다. 저자들은 이러한 실패를 두 가지 주요 병목 현상으로 정의합니다.

1. 다국어 전이 병목 (Multilingual Transfer Bottleneck): 모델이 올바른 언어로 응답하지만, 태스크 자체를 수행하지 못하거나 (정답을 못 찾음), 영어로만 해결 가능한 태스크를 다른 언어로 풀지 못하는 경우.
2. 언어 일관성 병목 (Language Consistency Bottleneck): 모델이 태스크를 올바르게 수행하여 정답을 도출했지만, 응답이 의도된 언어가 아닌 다른 언어 (주로 영어) 로 출력되는 경우.

기존 연구들은 이러한 내부 메커니즘이 모델의 어느 층 (layer) 에서 발생하는지, 그리고 어떻게 효율적으로 수정할 수 있는지에 대한 명확한 통찰이 부족했습니다.

2. 방법론 (Methodology)

2.1 진단 프레임워크 (Evaluation Protocol)

저자들은 언어 제어의 실패 모드를 체계적으로 규명하기 위해 4 가지 제로샷 (zero-shot) 프롬프트 변형을 설계했습니다.

• 단일 언어 직접 프롬프팅 (Monolingual Direct Prompting): 지시와 내용이 모두 목표 언어인 경우.
• 코드 스위칭 프롬프팅 (Code-Switched Prompting): 지시 (영어) 와 내용 (목표 언어) 이 섞인 경우.
• 이중 언어 답변 프롬프팅 (Bilingual Answer Prompting): 정답이 목표 언어와 영어로 모두 제시된 경우 (언어 선호도 테스트).
• 영어 방해 요소 프롬프팅 (English Distractor Prompting): 잘못된 영어 답변이 포함된 경우 (저항력 테스트).

이 평가를 MMLU, MGSM, XQuAD 벤치마크와 6 개 언어 (영어, 프랑스어, 스페인어, 아랍어, 힌디어, 일본어) 에 적용하여 태스크 정확도와 언어 일관성을 분리하여 측정했습니다.

2.2 해석 가능성 분석 (Interpretability Analysis)

모델 내부에서 언어가 어떻게 처리되는지 파악하기 위해 두 가지 기법을 확장 적용했습니다.

• Logit Lens 분석: 각 층 (layer) 의 은닉 상태 (hidden state) 를 언어 모델링 헤드를 통해 가상의 로짓 (pseudo-logits) 으로 변환하여, 생성 단계별 단어의 언어 확률을 추적했습니다.
• 은닉 상태 유사성 분석 (Hidden State Similarity): 영어와 다른 언어의 동일한 의미 프롬프트에 대한 은닉 상태의 코사인 유사성을 층별로 계산하여, 의미적 정렬 (semantic alignment) 이 어디서 발생하고 언어별 분리가 어디서 시작되는지 확인했습니다.

2.3 제안된 해결책: 층별 선택적 미세 조정 (Layer-wise Selective Fine-tuning)

분석 결과를 바탕으로, 언어 제어 메커니즘이 모델의 특정 층에 국한되어 있다는 가설을 검증하고 이를 해결하기 위해 선택적 미세 조정을 제안했습니다.

• 전략: 모델의 초기 층 (의미 정렬) 과 중간 층 (추론) 은 동결 (freeze) 하고, **최종 출력 층 (late layers)**만 언어 제어에 특화되어 미세 조정합니다.
• 학습 데이터: 비즈니스 도메인의 MMLU 하위 집합을 5 개 언어로 구성하고, 정답이 맞는 예시 2,500 개를 사용하여 학습했습니다.

3. 주요 발견 및 결과 (Key Findings & Results)

3.1 모델 내부 구조의 3 단계 발견

해석 가능성 분석을 통해 다국어 LLM 의 내부 구조가 다음과 같은 3 단계로 나뉜다는 것을 발견했습니다.

1. 초기 층 (Semantic Alignment): 입력을 공유된 의미 공간으로 정렬합니다.
2. 중간 층 (Task Reasoning): 태스크 추론을 수행하며, 언어에 구애받지 않는 개념을 표현합니다.
3. 후기 층 (Language-specific Generation): 언어별 출력을 제어하는 결정적 단계입니다.

• Qwen-3-32B: 초기 및 중간 층에서 영어 편향이 강하게 존재하며, 언어별 생성은 매우 늦은 층 (약 55 층 이후) 에서만 발생합니다. 코드 스위칭 시 언어 제어가 완전히 붕괴됩니다.
• BLOOM-7.1B: 초기 층에서 목표 언어 확률이 높지만 중간 층에서 변동성이 크고, 후기 층에서야 명확한 분리가 일어납니다.

3.2 선택적 미세 조정의 성능

Qwen-3-32B 와 BLOOM-7.1B 모델에 대해 제안된 방법을 적용한 결과:

• 언어 일관성: 6 개 언어 전반에 걸쳐 98% 이상의 일관성을 달성했습니다 (기존 20% 미만에서 급상승).
• 태스크 정확도: 언어 일관성을 개선하면서도 태스크 수행 능력은 유지되거나 오히려 향상되었습니다 (예: Qwen-3-32B 의 MGSM 점수 유지).
• 효율성: 전체 파라미터의 3~5% 만을 학습시켰습니다 (Full-scope fine-tuning 대비 계산 자원 절감).
• 비교: 전체 모델을 미세 조정 (Full-scope SFT) 한 결과와 거의 동일한 성능 (98%+ 언어 일관성) 을 내면서, 파라미터 업데이트 양은 극히 적었습니다. 반면, 무작위 층을 선택하여 미세 조정하면 성능이 급격히 저하되었습니다.

4. 주요 기여 (Main Contributions)

1. 진단 프레임워크: 체계적인 프롬프트 변형을 통해 다국어 LLM 의 언어 제어 실패 모드 (전이 병목, 일관성 병목) 를 식별하고 평가하는 프레임워크를 제시했습니다.
2. 구조적 통찰: 다국어 LLM 내부에 '의미 정렬', '추론', '언어 생성'이라는 3 단계 공간 구조가 존재하며, 언어 제어는 주로 후기 층에서 발생함을 실험적으로 검증했습니다.
3. 효율적 적응 방법: 언어 제어 메커니즘이 국소화 (localization) 되어 있다는 인사이트를 바탕으로, 최종 층만 선택적으로 미세 조정하는 효율적인 방법을 제안하고 검증했습니다. 이는 전산 비용을 크게 줄이면서도 다국어 적응을 가능하게 합니다.

5. 의의 (Significance)

이 연구는 다국어 LLM 이 "생각하는 방식 (추론)"과 "말하는 방식 (언어 생성)"이 모델의 서로 다른 층에서 분리되어 작동함을 규명했습니다. 이를 통해 전체 모델을 재학습시키지 않고도, 언어 제어 실패를 효율적으로 수정할 수 있는 길을 열었습니다. 특히, 영어 중심의 편향을 가진 모델들을 다양한 언어 환경에 맞춰 조정할 때, 전산 자원을 아끼면서도 높은 성능을 유지할 수 있는 실용적인 솔루션을 제공한다는 점에서 의미가 큽니다. 이는 LLM 이 전 세계의 언어 다양성에 맞춰 확장되는 과정에서 중요한 진단 도구이자 최적화 전략이 될 것입니다.