KazByte: Adapting Qwen models to Kazakh via Byte-level Adapter

1. 문제 정의 (The Problem)

대형 언어 모델 (LLM) 은 고자원 언어 (영어 등) 를 위해 설계된 토크나이저를 사용하므로, 카자흐어와 같은 교착어 (Agglutinative language) 를 처리할 때 심각한 비효율성이 발생합니다.

• 토크나이저 세금 (Tokenizer Tax): 카자흐어는 풍부한 접미사 형태론을 가지지만, Qwen2.5 와 같은 모델의 기본 BPE 토크나이저는 하나의 의미 단위 (예: "당신의 달리기 행위로부터") 를 10~12 개의 토큰으로 분할합니다. 이는 영어 단어 대비 약 5 배의 토큰 수를 요구합니다.
• 부정적 영향:
  • 계산 비용 증가: 동일한 텍스트 양을 처리하는 데 더 많은 연산 자원이 소모됩니다.
  • 유효 컨텍스트 창 축소: 토큰 길이가 길어짐에 따라 모델이 한 번에 처리할 수 있는 실제 정보량이 줄어듭니다.
  • 형태론적 이해 약화: BPE 토큰화 과정에서 카자흐어 특유의 형태소 구조가 파편화되어 모델의 언어 이해도가 떨어집니다.
• 기존 해결책의 한계: 토크나이저를 교체하고 가중치를 매핑하는 방식은 사전 학습된 LLM 의 임베딩 분포, 토큰 공발생 패턴, 위치 인코딩을 무효화하므로, 대규모 재학습 없이는 불가능합니다.

2. 제안된 방법론: ByteKaz (Methodology)

저자는 토크나이저를 완전히 우회하여 원시 바이트 (Raw Bytes) 를 직접 처리하는 ByteKaz 아키텍처를 제안합니다. 이는 Byte Latent Transformer (BLT) 와 LLaVA의 아키텍처를 카자흐어 NLP 에 적용한 변형입니다.

2.1 아키텍처 구성

ByteKaz 는 고정된 Qwen2.5-7B 모델을 중심으로 다음과 같은 양방향 바이트 인터페이스를 구축합니다:

1. 로컬 인코더 (Local Encoder): 원시 바이트 시퀀스를 입력받아 엔트로피 기반의 '패치 (Patch)' 단위로 그룹화하고, 이를 512 차원의 벡터로 인코딩합니다.
2. 프로젝션 레이어 (Projection): 인코더 출력을 Qwen 의 4096 차원 임베딩 공간으로 매핑합니다.
3. 고정된 Qwen2.5-7B 바디: 사전 학습된 모델의 본체 (Attention 및 FFN 레이어) 를 사용합니다.
4. 프로젝션 및 로컬 디코더: Qwen 의 출력을 다시 패치 단위로 변환한 후, 로컬 디코더를 통해 최종 바이트 시퀀스로 복원합니다.

2.2 2 단계 학습 프로토콜 (Staged Training)

모델의 전체 재학습을 피하기 위해 2 단계 전략을 사용합니다:

• Stage A (인터페이스 정렬): Qwen2.5-7B 본체를 동결 (Freeze) 하고, 어댑터 (인코더, 디코더, 프로젝션) 만 학습합니다. 영어/중국어 데이터로 어댑터가 Qwen 의 내부 언어를 이해하도록 훈련합니다.
• Stage B (카자흐어 적응): 어댑터를 동결하고, Qwen 본체의 Attention 레이어 (WQ, WK, WV, WO) 만 카자흐어 데이터로 미세 조정합니다. MLP(FFN) 레이어는 동결하여 기존 지식 보존을 목표로 합니다.
• Stage C (선택적): 카자흐어 지시 (Instruction) 또는 벤치마크 형식에 대한 추가 미세 조정 (SFT).

3. 주요 기여 (Key Contributions)

1. 아키텍처 혁신: 토크나이저 없이 바이트 단위로 직접 작동하는 양방향 어댑터 (BLT 스타일 로컬 인코더/디코더 + Qwen 본체) 를 설계했습니다.
2. 학습 가설: "먼저 인터페이스를 가르치고, 그 다음 모델의 어텐션만 적응시킨다"는 2 단계 학습 프로세스가 기존 BPE 토크나이저를 사용하는 Qwen2.5-7B 보다 카자흐어 벤치마크에서 동등하거나 더 나은 성능을 낼 것이라는 가설을 제시했습니다.
3. 분석 및 위험 관리: 콜드 스타트 (Cold start), RoPE(회전 위치 임베딩) 호환성, 마스킹, 용량 문제 등 잠재적 실패 모드와 대응책을 분석했습니다.
4. 데이터 및 평가 계획: Hugging Face 에 공개된 검증된 카자흐어 코퍼라 목록을 정리하고, SozKZ 벤치마크 (MC QA, Belebele, SIB-200) 를 활용한 구체적인 평가 계획을 수립했습니다.

4. 결과 및 기대 효과 (Results & Significance)

• 현실적 상태: 이 논문은 실험적 검증이 진행 중인 연구 제안서 (Proposal) 단계이므로, 구체적인 수치 결과는 아직 보고되지 않았습니다.
• 기대되는 결과 (가설):
  • 성능: Stage B 학습 후, ByteKaz 가 기존 Qwen2.5-7B + BPE 토크나이저보다 카자흐어 태스크 (문화적 QA, 독해, 주제 분류) 에서 동등하거나 더 높은 정확도를 달성할 것으로 예상됩니다.
  • 효율성: 카자흐어 텍스트의 토큰 수를 줄여 (패치 기반), 훈련 및 추론 비용을 절감하고 컨텍스트 창 효율성을 높일 것으로 기대됩니다.
  • 지식 보존: Attention 만을 조정함으로써, Qwen 이 가진 광범위한 일반 지식을 유지하면서 카자흐어 특유의 형태론적 구조에 적응할 수 있습니다.

5. 의의 (Significance)

이 연구는 저자원 언어, 특히 형태론적으로 복잡한 교착어에 대한 LLM 적용의 새로운 패러다임을 제시합니다.

• 토크나이저 의존성 탈피: 고정된 어휘집에 의존하지 않고 바이트 단위로 유연하게 작동함으로써, 언어별 토큰화 편향을 근본적으로 해결합니다.
• 효율적인 적응: 모델을 처음부터 다시 학습시키지 않고, 소규모 어댑터와 선택적 어텐션 튜닝만으로도 고자원 모델의 성능을 저자원 언어에 효과적으로 이전할 수 있음을 보여줍니다.
• 카자흐어 NLP 진전: 카자흐어 처리를 위한 체계적인 아키텍처와 데이터 리소스를 제공하여, 해당 언어의 자연어 처리 기술 발전에 기여할 것으로 기대됩니다.

결론적으로, KazByte 는 토크나이저의 한계를 우회하여 Qwen 과 같은 강력한 LLM 을 카자흐어와 같은 복잡한 언어에 효율적으로 적용하기 위한 혁신적인 아키텍처와 학습 전략을 제안한 연구입니다.