기술 요약: DuDi – 교차 언어 버벌라이저를 활용한 이중 신호 증류 (Dual-Signal Distillation with Cross-Lingual Verbalizer)

문제 정의

소형 언어 모델(SLM)은 효율성, 확장성, 그리고 자원이 제한된 에지 디바이스 배포 측면에서 상당한 이점을 제공한다. 그러나 다국어 능력, 특히 동남아시아(SEA) 언어에 대한 능력은 모델 크기가 10억 파라미터 미만으로 떨어질 때 심각하게 저하된다. 표준 지도 미세 조정(SFT)은 서브-빌리언 규모의 모델(예: Qwen2.5-0.5B)에서 더 큰 모델들에 비해 급격한 성능 저하를 초래하는 경우가 많다. 지식 증류(KD)는 더 큰 교사 모델로부터 작은 학생 모델로 지식을 전달하기 위한 일반적인 전략이지만, 기존의 다국어 KD 접근 방식은 종종 특정 작업 설정에 국한되거나 시퀀스 수준과 토큰 수준의 감독을 효과적으로 통합하지 못한다. 또한, 표준 증류 방법은 훈련-추론 불일치(training-inference mismatch)와 고품질 훈련 데이터가 부족한 동남아시아 언어 특유의 언어적 다양성을 처리하는 데 어려움을 겪는 경우가 많다.

방법론: DuDi 프레임워크

저자들은 세 가지 핵심 구성 요소를 통합하여 다국어 SLM을 향상시키기 위해 설계된 통합 프레임워크인 DuDi(교차 언어 버벌라이저를 통한 이중 신호 증류)를 제안한다.

1. 시퀀스 수준 신호 (Sequence-Level Signal)

DuDi는 Self-Play Fine-Tuning(SPIN)에서 영감을 얻은 온라인 시퀀스 수준 목적 함수를 포함한다. 정적인 반복 방식과 달리, DuDi는 실시간으로 응답($y' \sim \pi_\theta(x)$)을 샘플링한다. 모델은 정답 응답의 상대적 가능성을 최대화함으로써 현재의 정책을 정답과 구별하도록 학습된다. 이는 학생의 정책이 동적으로 정답 방향을 향하도록 유도한다.

2. 토큰 수준 신호 (Dual-Signal)

학생 생성 데이터나 정적인 데이터셋에만 의존하는 한계를 해결하기 위해, DuDi는 토큰 수준 감독을 위한 이중 신호 접근 방식을 채택한다.

• 오프-폴리시 신호 (Off-Policy Signal): 훈련 코퍼스에서 유도되며, 교사가 제공하는 로짓(logits)을 사용하여 감독 신호가 정답 분포에 엄격하게 기반하도록 보장한다. 이는 학습된 정책이 타겟 데이터 분포에서 벗어나는 것을 방지한다.
• 온-폴리시 신호 (On-Policy Signal): 학생이 생성한 응답($\tilde{y} \sim \pi_\theta(x)$)에서 유도되며, 이를 통해 교사가 학생의 자기 생성 출력을 실시간으로 수정하고 정교화할 수 있게 한다.

3. 교차 언어 버벌라이저 (Cross-Lingual Verbalizer)

다국어 환경에서의 지식 전이성을 개선하기 위해, DuDi는 교차 언어 버벌라이저를 도입한다. 이 구성 요소는 입력 프롬프트($x$), 정답($y$), 소스 언어($l$), 그리고 샘플링된 타겟 언어($l_z$)를 교사의 구조화된 버벌라이즈드 프롬프트($z$)와 학생을 위한 대응 프롬프트($p_z$)로 변환한다.

• 메커니즘: 교사는 소스 언어로 된 프롬프트와 정답 데모를 받는다. 그 후 학생은 타겟 언어(훈련 세트에서 소스 언어를 제외하고 영어 포함 추출)로 응답을 생성하도록 지시받는다.
• 목적: 이는 학생이 언어 경계를 넘어 교사의 가이드에 따라 자신의 온-폴리시 생성을 정렬하도록 강제하며, 이를 통해 더 풍부한 학습 신호를 촉진한다.

통합 학습 목적 함수

최종 학습 목적 함수($L_{DuDi}$)는 다음의 가중 합계이다:

1. 시퀀스 수준 정렬 (SPIN 스타일).
2. 오프-폴리시 토큰 수준 증류 (정답 기반 가이드).
3. 온-폴리시 토큰 수준 증류 (교차 언어 버벌라이저를 통한 교사 가이드).

주요 기여

1. DuDi 프레임워크: 시퀀스 수준 목적 함수와 이중 신호(오프-폴리시 및 온-폴리시) 토큰 수준 감독을 결합하여 최적화하는 범용 다국어 증류 프레임워크를 제안한다.
2. 교차 언어 버벌라이저: 입력을 데모와 함께 다른 타겟 언어로 응답을 생성하도록 유도하는 프롬프트로 변환함으로써 교사의 피드백을 정교화하고 전이성을 높이는 새로운 메커니즘을 도입한다.
3. 포괄적 분석: 시퀀스 수준 최적화, 토큰 수준 감독, 그리고 교차 언어 버벌라이저가 상호 보완적이고 전이 가능한 학습 신호를 제공함을 확인하는 광범한 어블레이션 연구 및 분석을 수행하였다.

실험 결과

저자들은 SEA-HELM 벤치마크를 사용하여 7개의 동남아시아 언어(인도네시아어, 베트남어, 태국어, 타밀어, 타갈로그어, 말레이어, 버마어)에 대해 DuDi를 평가하였다.

• 성능: DuDi는 SFT, DFT, SPIN, SDFT, SeqKD, GKD를 포함한 경쟁력 있는 베이스라인들을 지속적으로 능가했다.
  • Qwen2.5-0.5B에서 DuDi는 평균 점수 10.1을 기록하여, 두 번째로 높은 베이스라인인 DFT(9.7)와 SPIN(9.5)을 통계적으로 유의미하게 앞질렀다.
  • DuDi는 다양한 모델 제품군(Qwen2.5, Qwen3, Llama3.2)과 규모(0.5B ~ 1.5B 학생 모델) 전반에서 견고함을 보여주었다.
  • Qwen3-0.6B 설정에서 DuDi는 강력한 GKD 베이스라인 대비 평균 성능을 15.6% 향상시켰다.
• 어블레이션 연구 (Ablation Studies):
  • 오프-폴리시 KD를 제거했을 때 가장 큰 성능 저하(-24.6%)가 발생했으며, 이는 모델을 타겟 분포에 정착시키는 데 있어 결정적인 역할을 한다는 점을 강조한다.
  • 온-폴리시 KD를 제거하면 -6.6%의 저하가 발생했다.
  • 버벌라이저를 제거하면 -5.0%의 저하가 발생했다.
  • 버벌라이저의 타겟 언어 집합에서 영어를 제거했을 때 성능이 저하되었으며, 이는 영어가 더 나은 교차 언어 전이를 촉진함을 시사한다.
• 버벌라이저 분석: 오버랩 비율 분석 결과, 교차 언어 버벌라이저가 온-폴리시 롤아웃 중에 교사와 학생의 로짓 간 가장 높은 일치도를 달성하였으며, 이는 가장 정보가 풍부한 감독 신호를 제공함을 확인시켜 준다.
• 초기화 (Initialization): "콜드 스타트(cold-start)" SFT(정답 데이터로 미세 조정된 모델에서 시작)가 매우 중요하다는 것을 확인했다. 베이스 모델이나 교사 생성 출력에서 직접 초기화할 경우 성능이 현저히 낮아졌다.

의의 및 주장

본 논문은 Du기(DuDi)가 상호 보완적인 학습 신호를 활용하는 통합 프레임워크를 제공함으로써 다국어 능력을 축소하는 데 따르는 특정 과제를 해결한다고 주장한다. 저자들은 다음과 같이 단언한다:

• 결합 최적화의 필요성: 구성 요소들(시퀀스 신호, 이중 토큰 신호, 버벌라이저)은 독립적으로 효과적인 것이 아니라, 다국어 SLM에서 최첨단(SOTA) 결과를 달로 하기 위해 반드시 결합되어야 한다.
• 교차 언어 전이: 교차 언어 버벌라이저는 영어 전용 또는 단일 언어 버벌라이저의 한계를 극복하고 교사-학생 간의 지식 전이성을 향상시키는 핵심 혁신이다.
• 견고성: 이 프레임워크는 다양한 모델 아키텍처와 규모에 걸쳐 견고하며, 동남아시아와 같은 다양한 저자원 언어 환경에서 효율적인 다국어 SLM을 배포하기 위한 실행 가능한 솔루션이 된다.

저자들은 DuDi가 다국어 환경의 SLM을 위한 효과적인 미세 조정 프레임워크를 제공한다고 결론지으며, 모든 산출물(코드, 데이터셋, 모델)을 공개 연구를 위해 릴리스할 예정이다.