Multilinguality at the Edge: Developing Language Models for the Global South

1. 문제 정의 (Problem Definition)

이 논문은 언어 모델 (LM) 의 배포가 누구에게 혜택을 주는지를 결정한다는 전제에서 출발합니다. 현재 LM 기술은 영어 중심의 고사양 하드웨어 환경 (클라우드, 고성능 GPU) 에 최적화되어 있어, **글로벌 사우스 (Global South)**의 비영어권 및 하드웨어 제약이 심한 커뮤니티에서는 효과적으로 활용되지 못하고 있습니다.

저자들은 이를 "Last Mile (마지막 1 마일)" 문제라고 명명하며, 이는 **다국어성 (Multilinguality)**과 **에지 배포 (Edge Deployment)**의 교차점에서 발생하는 기술적 긴장 관계를 의미합니다.

• 상충되는 요구사항: 에지 배포는 메모리, 연산 능력, 에너지 효율성을 극도로 제한하는 반면, 다국어 모델은 다양한 언어를 처리하기 위해 대규모 데이터와 모델 용량이 필요합니다.
• 현실적 장벽: 글로벌 사우스의 많은 국가는 인터넷 연결이 불안정하고 저가형 스마트폰만 보급되어 있어, 클라우드 기반 모델이나 고사양 온디바이스 모델 모두를 실행하기 어렵습니다.
• 연구의 공백: 기존 연구는 다국어성 연구와 에지 효율성 연구를 분리하여 진행해 왔으나, 실제로는 이 두 가지가 동시에 해결되어야 하는 커뮤니티의 필요를 충족하지 못합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 232 편의 관련 논문을 체계적으로 조사 (Survey) 했습니다.

• 데이터 수집: 2021 년 이후 발표된 ACL, EMNLP, NeurIPS 등 주요 NLP 및 머신러닝 컨퍼런스 논문을 대상으로 검색했습니다. 검색어는 다국어 NLP, 효율성, 에지 배포 관련 키워드를 포함했습니다.
• 선별 및 주석: 초기 2,473 편의 논문 중 관련성을 필터링하여 232 편의 논문을 최종 선정했습니다. GPT-4.1 Mini 를 활용한 자동 주석과 인간 검증을 거쳐 각 논문의 다음 속성을 분류했습니다:
  • 언어 모델 파이프라인 단계 (데이터 수집, 사전학습, 후학습, 추론, 평가)
  • 주요 초점 (다국어성, 효율성, 또는 둘 다)
  • 배포 장치 및 언어 커버리지
• 분석 프레임워크: 언어 모델 개발 파이프라인의 각 단계에서 에지 제약 (메모리, 연산, 에너지) 과 다국어성 요구사항 (데이터, 표현, 정렬) 이 어떻게 충돌하는지 분석하고, 이를 해결하는 기존 기술들을 분류했습니다.

3. 주요 기여 및 기술적 내용 (Key Contributions & Technical Findings)

논문은 언어 모델 파이프라인의 5 단계별로 주요 도전 과제와 해결 방법을 제시합니다.

A. 데이터 수집 (Data Collection)

• 도전 과제: 제한된 모델 용량으로 인해 많은 언어를 포함하면 기존 언어의 성능이 저하되는 '다국어성의 저주 (Curse of Multilinguality)'가 발생하며, 저자원 언어의 경우 데이터 노이즈에 취약합니다.
• 해결 방법:
  • 어휘 공유 (Vocabulary Sharing): 다른 언어의 성능을 향상시키는 언어 조합을 선택.
  • 합성 데이터 생성 (Synthetic Data Generation): 강력한 교사 모델을 활용해 고품질 훈련 데이터 생성.
  • 데이터 큐레이션: 웹 크롤링 데이터의 노이즈 제거 및 품질 관리.

B. 사전학습 (Pretraining)

• 도전 과제: 다국어 성능은 모델 크기에 비례하여 향상되지만, 에지 장치는 작은 모델 (보통 8B 파라미터 이하) 만 실행 가능합니다. 또한, 다양한 언어의 형태론적 복잡성은 연산 부하를 증가시킵니다.
• 해결 방법:
  • 토크나이저 설계: 서브워드 할당 및 바이트 레벨 인코딩을 통해 다양한 언어를 효율적으로 표현.
  • 지속적 사전학습 (Continual Pretraining): 기존 모델을 기반으로 새로운 언어 데이터로 추가 학습 (재학습 불필요).
  • 파라미터 효율적 방법 (PEFT): 어댑터 (Adapters), LoRA, 프리픽스 튜닝 등을 사용하여 전체 파라미터를 업데이트하지 않고 특정 언어/작업에 적응.
  • 언어 전문가 (Language Experts): MoE(Mixture-of-Experts) 구조를 활용해 입력 언어에 따라 활성화되는 파라미터 서브셋을 변경.

C. 후학습 (Post-training)

• 도전 과제: 파인튜닝용 베이스 모델이 에지 장치 메모리에 맞지 않음. 새로운 기능 추가나 민감 정보 제거를 위해 재학습을 하면 비용이 과도하게 듦.
• 해결 방법:
  • 모델 압축: 양자화 (Quantization), 가지치기 (Pruning) 를 통해 모델 크기 축소.
  • 지식 증류 (Knowledge Distillation): 대형 모델의 지식을 소형 모델로 전이.
  • 모델 병합 (Model Merging): 재학습 없이 여러 모델의 가중치를 결합하여 새로운 기능 추가.
  • 기계적 망각 (Machine Unlearning): 특정 지식 (민감 정보 등) 만을 재학습 없이 삭제.
  • 연방 학습 (Federated Learning): 데이터를 중앙화하지 않고 분산된 장치에서 모델을 공동으로 학습.

D. 추론 (Inference)

• 도전 과제: 추론 비용은 언어마다 다릅니다. 특히 비효율적인 토크나이저는 특정 언어에서 토큰 수를 불필요하게 증가시켜 에너지와 시간을 낭비합니다.
• 해결 방법:
  • 프롬프트 압축 (Prompt Compression): 불필요한 토큰 제거.
  • 가상 디코딩 (Speculative Decoding): 작은 모델이 미래 토큰을 예측하여 추론 속도 향상.
  • 추론 시 적응 (Inference-time Adaptation): 재학습 없이 토크나이저 효율성 개선 또는 어휘 확장.

E. 평가 (Evaluation)

• 도전 과제: 다국어 벤치마크는 수천 개의 인스턴스를 포함하여 평가 비용이 매우 높음.
• 해결 방법:
  • 라이트 벤치마크 (Lite Benchmarks): 개발 단계에서 빠른 평가를 위한 축소 버전 벤치마크.
  • 인스턴스 선택 (Instance Selection): 평가에 가장 유익한 데이터만 선별.
  • 동적 평가 (Dynamic Evaluation): 기존 데이터셋을 기반으로 실시간으로 평가 세트를 생성.

4. 실증 분석 및 결과 (Results & Analysis)

• 현황 분석: 조사된 232 편의 논문 중 실제 배포 사례 (Edge LM Systems) 는 36 편에 불과했습니다.
• 배포 현황:
  • 개발 주체: 학계 (Academia) 와 연구 집단 (Research Collective) 이 주도하며, 산업계 및 정부와의 협업이 중요한 역할을 합니다.
  • 적용 분야: 의료 (Healthcare) 와 사회 (Social) 분야가 가장 활발하며, 농업, 법률 등 다른 분야는 상대적으로 기술이 집중되지 않았습니다.
  • 사용 기술: 실제 배포 시스템은 주로 양자화, 증류, 합성 데이터, LoRA 등 제한된 기술 스택에 의존하고 있어, 다양한 방법론 탐구의 여지가 큽니다.
• 언어 커버리지: 에지 전용 연구는 대부분 단일 언어에 집중되어 있으며, 50 개 이상의 언어를 지원하는 다국어 에지 모델은 극히 드뭅니다.

5. 의의 및 시사점 (Significance & Recommendations)

이 논문은 **공평한 언어 기술 (Equitable Language Technologies)**을 위한 로드맵을 제시합니다.

• 이론적 기여: 다국어성과 에지 효율성을 분리된 문제가 아닌, 상호 의존적인 'Last Mile' 문제로 재정의했습니다.
• 실천적 권고:
  • 연구자: 에지 모델 평가 시 메모리뿐만 아니라 에너지, 연산 비용 등을 고려해야 하며, 현재 과소대표된 방법론들을 탐구해야 합니다.
  • 개발자 및 커뮤니티: 성공적인 배포를 위해서는 학계, 산업계, NGO, 정부 간의 크로스 섹터 협업이 필수적입니다. 또한, 해당 커뮤니티를 단순한 피험자가 아닌 적극적인 개발 파트너로 참여시켜야 합니다.
  • 정책 입안자 및 후원자: 모델 개발뿐만 아니라 이를 실행할 인프라와 디바이스에 대한 투자가 필요하며, 정부의 참여를 확대해야 합니다.

결론적으로, 이 연구는 기술적 진보가 반드시 사회적 형평성으로 이어지지 않을 수 있음을 지적하며, 글로벌 사우스의 언어적 다양성과 하드웨어 제약을 동시에 해결하기 위한 통합적인 접근의 필요성을 강조합니다.