Surpassing Scale by Efficiency: A Compact 135M Parameter Foundational LLM Natively Adapted for the Bangla Language

기술 요약: bangla-smollm-135m을 통한 효율성을 통한 규모의 극복

문제 정의
현재 자연어 처리(NLP)의 지형은 수십억 개의 파라미터를 가진 아키텍처들이 지배하고 있습니다. 이러한 모델들은 고자원 언어에는 효과적이지만, 에지 디바이스, 모바일 시스템 및 분산된 로컬 하드웨어에 배포하기에는 계산 비용이 너무 높습니다. 이러한 제한은 비라틴 문자를 사용하는 방글라(벵골어)와 같은 저자원 언어에서 특히 심각하게 나타납니다. 3억 명 이상의 모국어 화자가 있음에도 불구하고, 방글라는 대규모 다국어 파운데이션 모델에서 구조적으로 불이익을 받고 있습니다. 표준 모델들은 방글라 아부기다(Abugida) 스크립트에 대해 높은 "토큰 대비 단어(fertility)" 비율을 보이는데, 이는 방글라 토큰이 고레지스터(high-register) 사전 학습 데이터셋에서 차지하는 비중이 미미하기 때문입니다. 이러한 구조적 비효율성은 과도한 메모리 캐시, 높은 추론 지연 시간, 그리고 조기 컨텍스트 윈도우 저하를 초래하는 불공정한 "토큰 세금(token tax)"을 발생시키며, 결과적으로 이 언어의 효율적인 로컬 AI 배포를 가로막고 있습니다.

방법론
이러한 제약을 해결하기 위해, 저자들은 방글라 스크립트를 위해 명시적으로 설계된 1억 3,500만 개의 활성 파라미터만을 가진 파운데이션 디코더 전용 모델인 bangla-smollm-135m을 소개합니다. 방법론은 다음 세 가지 핵심 축에 집중합니다:

1. 결정론적 토크나이저 교집합(Deterministic Tokenizer Intersection):
   어휘를 처음부터 학습시키거나(이는 사전 학습된 파라미터를 불안정하게 만듦) 적응되지 않은 베이스 모델에 의존하는 것(높은 fertility 페널티 발생) 대신, 저자들은 "결정론적 교차 및 추가(deterministic intersect-and-append)" 전략을 채택했습니다. 이 파이프라인은 TituLLMs(베이스 역할)의 로컬화된 어휘와 SmolLM2-135M의 컴팩트한 아키텍처를 병합합니다.

   • 특수 토큰 수집: 소스(source)로부터 제어 토큰과 구조적 구성을 격리하여, 누락된 경우 베이스 모델에 추가합니다.
   • 어휘 교집합: 소스에는 존재하지만 베이스에는 없는 서브워드(subwords)를 식별하고, 재현성을 보장하기 위해 알파벳 순으로 정렬한 후 추가합니다.
   • 경계 제약: 컴팩트한 은닉 임베딩 구성을 유지하기 위해 어휘 확장을 $K_{max} = 48,000$ 토큰으로 제한합니다.

2. 데이터 정제 및 계층적 학습:
   모델은 hishab/titulm-bangla-corpus에서 유도된 다양화된 멀티모달 지역 코퍼스를 사용하여 반복적인 지속적 사전 학습(continual pretraining)을 거칩니다. 데이터는 경험적 안정성을 확보하기 위해 세 가지 계층적 테마 슬라이스로 분할됩니다:

   • Common Crawl (20%): 비구조화된 현대 관용구 및 구어체 대화.
   • 번역된 텍스트 (30%): 학술 및 프로그래밍 프레임워크로부터 추출된 고레지스터 데이터셋으로, 공식적인 추론 능력을 포착합니다.
   • 로마자 표기 텍스트 (30%): 방글리시(Banglish)(코드 스위칭 구조) 성능을 향상시키기 위한 음성 매핑 컬렉션.

3. 최적화된 학습 인프라:
   학습은 순차적 라인을 연속적인 1D 토큰 행렬로 평탄화하여 패딩 벡터에 의한 계산 낭비를 최소화하는 동적 블록 패킹(dynamic block packing)을 활용합니다. 워크플로우는 네이티브 Bfloat16 (BF16) 혼합 정밀도 실행과 그래디언트 체크포인팅을 사용하는 멀티 GPU 리눅스 노드에서 실행되며, 이를 통해 4096-토큰 컨텍스트 윈도우를 관리하고 Out-of-Memory (OOM) 오류를 방지합니다.

주요 결과
네 가지 로컬 벤치마크에서 엄격한 제로샷(zero-shot) 설정으로 평가된 bangla-smollm-135m은 훨씬 더 큰 모델들과 대등하거나 이를 능가하는 성능을 보여줍니다:

• 270M 모델 대비: 추상적 추론 작업에서 자신보다 두 배 큰 Gemma-3-270m을 능가하며, CommonsenseQA_bn (0.256 vs. 0.249) 및 Bangla_MMLU (0.237 vs. 0.234)에서 더 높은 점수를 기록했습니다.
• 1B 모델 대비: 물리적 추론 및 상식 작업에서 바닐라 Llama-3.2-1b와 대등하거나 이를 능가하면서도, 메모리 공간은 약 7.4배 적게 요구합니다.
• 효율성: 결정론적 어휘 교차와 타겟팅된 데이터 필터링을 통해 초소형 시스템이 훨씬 큰 범용 다국어 아키텍처와 대등한 성능을 낼 수 있음을 입증했습니다.

의의 및 주장
본 논문은 bangla-smollm-135m이 저자원, 비라틴 스크립트 언어를 위해 소비자용 에지 디바이스에 효율적인 AI 도구를 직접 배포할 수 있는 실행 가능한 경로를 제공한다고 주장합니다. 주요 기여는 커스텀 스크립트 적응과 정밀한 데이터 필터링이 작은 모델 규모의 한계를 극복할 수 있음을 보여준 것입니다. 핵심 추론 및 지식 작업에서 최대 7배 큰 모델들과 대등하거나 이를 능가함으로써, 이 아키텍처는 특정 지역 배포를 위한 거대 파라미터 스케일링의 필요성에 도전합니다.

한계점
저자들은 컴팩트한 아키텍처에 내재된 몇 가지 제약 사항을 겸허히 인정합니다:

• 컨텍스트 지평(Contextual Horizons): 4096-토큰 윈도우로 구성되어 있으나, 초거대 다국어 구조가 가진 고충실도 검색 또는 장문 서사 합성 능력은 부족합니다.
• 복잡한 추론: 모델은 방글라어를 이용한 다단계 심볼릭 계산이나 복잡한 프로그래밍적 변형을 처리할 때 급격한 성능 저하를 경험하며, 무거운 알고리즘 추론을 위해서는 엔터프라이즈급 모델(예: Qwen3-235B)로의 오프로딩이 필요합니다.
• 언어적 환각(Linguistic Hallucinations): 어휘 병합 프레임워크에도 불구하고, 근본적인 용량 제한으로 인해 매우 양식화된 지역적 변형 하에서 의미론적 정렬 오류나 구절 저하가 발생할 수 있습니다.