기술 요약: 대규모 언어 모델 내 저자원 언어를 위한 희소 서브네트워크 강화

문제 정의

대규모 언어 모델(LLM)은 고자원 언어와 저자원 언어 사이에 상당한 성능 격차를 보입니다. 학습 데이터와 모델 파라미터를 확장하는 것이 다국어 성능을 개선할 수는 있지만, 수백 개의 언어를 포함하는 자원 제약적인 시나리오에서는 이러한 접근 방식이 비현실적일 수 있습니다. 기존의 적응 전략은 다음과 같은 근본적인 트레이드오프에 직면해 있습니다:

• 전체 미세 조정(Full Fine-Tuning): 일반적인 목적의 능력을 망각하는 치명적 망각(catastrophic forgetting) 현상을 초래할 수 있으며, 상당한 계산 자원을 요구합니다.
• 매개변수 효율적 미세 조정(PEFT): LoRA 및 어댑터와 같은 방법은 계산 비용을 줄여주지만, 모델 내에 지식이 어떻게 조직되어 있는지에 대한 명시적인 고려 없이 작동하며, 서로 다른 기능을 인코딩하는 파라미터를 무차별적으로 수정할 가능성이 있습니다.
• 뉴런 수준의 접근법: 기존 연구는 언어 특화 구조를 식별하는 데서 유망한 가능성을 보여주었으나, 주로 작업 특화 적응(예: 기계 번역)이나 해석 가능성에 초점을 맞추었을 뿐, 규모 있는 능력 주입을 위한 체계적이고 표적화된 미세 조정에는 크게 주목하지 않았습니다.

핵심 연구 질문은 기존의 일반적 능력을 저하시키지 않으면서, 언어 특화 처리를 인코딩하는 희소한 뉴런의 하위 집합만을 직접 미세 조정함으로써 새로운 언어 능력을 LLM에 주입할 수 있는가 하는 점입니다.

방법론

저자들은 피드포워드 네트워크(FFN) 구성 요소 내의 언어 특화 서브네트워크를 표적 미세 조정함으로써 단일 언어 능력을 강화하는 프레임워크를 제안합니다. 이 접근 방식은 두 가지 주요 단계로 구성됩니다.

1. LAPE를 통한 뉴로 식별

이 방법은 정보 이론적 지표인 **언어 활성화 확률 엔트로피(Language Activation Probability Entropy, LAPE)**를 사용하여 언어 특화 활성화 패턴을 보이는 뉴런을 식별합니다.

• 메커니즘: 레이어 $\ell$에 있는 각 뉴런 $i$에 대해, 단일 언어 코퍼스를 기반으로 입력에 따른 활성화 확률($p^k_{\ell,i}$)을 추정합니다.
• 엔트로피 계산: $K$개의 언어에 대한 확률을 정규화하여 분포를 형성합니다. LAPE 점수는 이 분포의 샤논 엔트로피(Shannon entropy)로 계산됩니다. 낮은 LAPE 점수는 특정 언어에 대해 선택적으로 활성화되는 뉴런(낮은 엔트로피)을 나타내며, 높은 LAPE 점수는 언어 불가지론적(language-agnostic)인 뉴런을 나타냅니다.
• 선택 기준: LAPE 점수의 하위 $\rho$-백분위수(5%로 설정)에 속하는 뉴런을 선택하되, 균일하게 비활성화된 뉴런을 걸러내기 위해 활성 임계값($\tau_{act}$)을 적용합니다. 하나의 뉴런은 여러 언어에 대해 활성 임계값을 초과할 수 있으며, 이는 공유된 언어적 특징을 반영합니다.
• 집중 대상: 선행 연구에서 트랜스포머의 사실적 및 언어적 지식 저장소로 FFN이 주요 지점임을 입증했으므로, 본 연구는 FFN 구성 요소에 집중합니다.

2. 희소 서브네트워크 미세 조정

대상 언어 $k$에 대한 언어 특화 서브네트워크 $S_k$가 식별되면, 해당 뉴런과 관련된 가중치만을 업데이트하여 모델을 미세 조정합니다.

• 파라미터 범위: GLU 기반 FFN 블록을 가진 트랜스포머의 경우, 선택된 뉴런 $i$에 대한 학습 가능한 파라미터는 대응하는 게이트 및 업-프로젝션 행렬($W_{gate}[i, :], W_{up}[i, :]$)과 다운-프로젝션 행렬의 열($W_{down}[:, i]$)을 포함합니다.
• 최적화: 모델은 다른 모든 파라미터를 동결한 상태에서 대상 언어 데이터에 대한 언어 모델링 손실을 최소화합니다.
• 효율성: 이 접근 방식은 전체 모델 파라미터의 **0.2%에서 1%**만을 업데이트합니다.

주요 기여

1. 체계적 프레임워크: 희소 서브네트워크 미세 조정을 통해 저자원 언어를 강화하는 프레임워크를 도입하였으며, 1% 미만의 파라미터를 업데이트함으로써 언어 능력을 주입할 수 있음을 입증했습니다.
2. 경험적 검증: 세 가지 모델(LLAMA-3.1-8B, MISTRAL-NEMO-12B, AYA-EXPANSE-8B)과 12개의 중·저자원 언어에 대해 광범위한 실험을 수행했습니다. 이 방법은 대상 언어 작업에서 전체 미세 조정, FFN 전용 미세 조정, LoRA, IA3 및 무작위 서브셋 베이스라인보다 일관되게 우수한 성능을 보였으며, 기존의 일반적 능력을 완전히 보존했습니다.
3. 기계적 통찰:
   • 가중치 변화의 비대칭성: 분석 결과, 후기 레이어의 다운-프로젝션(down-projection) 가중치가 게이트/업-프로젝션보다 3~5배 더 큰 업데이트를 겪는 것으로 나타났으며, 이는 다운-프로젝션이 언어적 재배선(linguistic re-wiring)의 주요 지점임을 시사합니다.
   • 교차 언어 정렬: 희소 미세 조정은 밀집 미세 조정(dense fine-tuning)보다 교차 언어 정렬(잔차 스트림 활성화의 코사인 유사도로 측정)을 더 효과적으로 개선하여, 후기 레이어에서 더 언어 불가지론적인 표현을 생성합니다.
4. 자원 공개: 100개 이상의 언어에 대한 언어별 뉴런 식별 결과와 적응 파이프라인을 발표하여 커뮤니티에 실질적인 자원을 제공합니다.

실험 결과

• 대상 언어 성능: 희소 서브네트워크 접근 방식은 번역(FLORES-200, OPUS-100) 및 이해/분류(BELEBELE, SIB-200) 벤치마크에서 가장 높은 평균 개선도를 달 기록했습니다. 예를 들어, FLORES에서 표적 서브네트워크는 베이스 모델 대비 평균 최대 5 BLEU 점점의 개선을 달성했으며, 이는 성능 저하를 일으키기 쉬운 전체 미세 조정보다 뛰어난 결과입니다.
• 일반 능력 보존: 치명적 망각(예: MMLU 점수가 ~58에서 ~22로 하락)을 유발하는 전체 미세 조정 및 FFN 전용 미세 조정과 달리, 희소 방법은 일반적 능력을 보존했습니다(MMLU 점수가 베이스라인 수준인 ~57.5 vs 58.1을 유지).
• PEFT와의 비교: IA3는 일반 능력을 보존했지만, 대상 언어 작업에서의 이득은 희소 서브네트워크 방식보다 일관되게 작았습니다. LoRA와 무작위 서브셋 베이스라인은 중간 정도의 성능을 보였으나 눈에 띄는 일반 능력 저하를 겪었습니다.
• 데이터 효율성: 이 방법은 베이스라인보다 더 빠르게 수렴하고 더 낮은 검증 손실에 도달합니다. 학습 데이터 크기를 늘리는 것(최대 2억 토큰)은 일반적으로 성능을 향상시켰으나, 특정 언어(예: 리투아니아어, 몰타어)에서는 포화 또는 약간의 하락이 관찰되었는데, 이는 서브네트워크 용량의 한계를 시사합니다.

의의 및 주장

본 논문은 언어 특화 뉴로의 희소하고 표적화된 미세 조정이 능력 수준의 언어 적응을 위한 실행 가능한 메커니즘임을 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 접근성 민주화: 전체 재학습의 계산적 부담이나 치명적 망각의 위험 없이, 저자원 언어로 LLM을 확장할 수 있는 비용 효율적인 경로를 제공합니다.
• 실행 가능한 해석 가능성: (LAPE를 통한 뉴런 식별과 같은) 기계적 통찰이 사후 분석을 넘어 실제적인 최적화를 직접 유도할 수 있음을 입증하여, 단순한 분석을 넘어 실행 가능한 최적화로 나아갔습니다.
• 확장성: 1% 미만의 파라미터를 업데이트함으로써 언어 능력을 주입할 수 있음을 증명하였으며, 저자들은 이러한 결과가 이전에는 이 정도 규모에서 입증된 바 없음을 언급했습니다.

저자들은 이 프레임ка이론이 저자원 언어를 위한 LLM 연구의 실질적인 토대를 제공하며, 다른 모달리티 및 언어 유형론에 기반한 적응형 서브네트워크 크기 결정으로 확장될 가능성이 있다고 결론짓습니다.