기술 요약: FPMoE – 기능적 코드 생성을 위한 희소 혼합 전문가 (Sparse Mixture-of-Experts) 접근법

1. 문제 제기

코드 생성을 위한 대규모 언어 모델 (LLM) 의 급속한 발전에도 불구하고, Haskell, OCaml, Scala 와 같은 함수형 프로그래밍 언어 (FPL) 는 만성적으로 충분히 연구되지 않은 상태입니다. 기존 최첨단 모델은 Java 와 같은 명령형 언어에 비해 FPL 에서 현저히 낮은 성능을 보이며, 기능적으로 정확하지만 모나드 (monads) 나 참조 투명성 (referential transparency) 과 같은 기능적 스타일의 관례를 위반하는 코드를 생성하는 경우가 많습니다.

이 논문은 구조적인 데이터 불균형을 지적합니다. FPL 개발자 커뮤니티는 규모가 작아 주류 언어에 비해 수배에서 수십 배 적은 오픈소스 코드를 생산합니다. 따라서 사전 학습 데이터를 단순히 확장하는 것만으로는 성능 격차를 해소하기에 부족합니다.

저자들은 미세 조정 (fine-tuning) 을 해결책으로 모색했으나, 기존 접근법에서 두 가지 뚜렷한 실패 양상을 발견했습니다:

1. 언어별 미세 조정: 각 언어별로 별도의 모델을 학습시키는 것은 언어 간에 일반화되는 공유된 기능적 추상화 (예: 모나드적 추론) 를 포착하지 못합니다.
2. 다국어 미세 조정: 단일 밀집 (dense) 모델을 여러 언어의 혼합 데이터로 학습시키면 언어 간 간섭이 발생하여 개별 언어 (특히 OCaml) 의 성능이 저하됩니다.

핵심 과제는 언어별 전문성과 공유된 언어 간 일반화를 동시에 유지하는 것입니다.

2. 방법론

저자들은 희소 혼합 전문가 (MoE) 아키텍처를 기반으로 구축된 경량 오픈소스 코드 생성 모델인 FPMoE를 제안합니다. 학습 파이프라인은 다음 세 단계로 구성됩니다:

2.1 데이터 수집 및 전처리

• 코퍼스: CodeParrot GitHub 크롤링 데이터와 OCaml 코퍼스에서 데이터를 수집하며, Haskell, Scala, OCaml 저장소만 필터링합니다.
• 필터링: 과도한 줄 길이를 가진 파일 (자동 생성/미니화된 코드) 은 폐기합니다.
• 중복 제거: 구조적 무결성을 유지하기 위해 저장소 수준에서 수행됩니다.
• 오염 제거: FPEval 테스트 세트에서 발견된 하위 문자열을 포함하는 학습 데이터를 배제하기 위해 N-gram 필터링을 적용합니다.
• 시퀀스 구성: 저장소 내 종속성과 장거리 문맥을 보존하기 위해 파일 수준이 아닌 저장소 수준 (저장소의 모든 소스 파일을 연결) 에서 학습 시퀀스를 구성합니다.

2.2 전문가 사전 학습

기저 모델 (base model) 에 대해 두 가지 병렬 감독 미세 조정 (SFT) 실행을 수행합니다:

1. 언어별 SFT: 기저 모델을 세 가지 언어 코퍼스 각각에서 독립적으로 미세 조정하여 세 개의 전문화된 체크포인트를 생성합니다.
2. 혼합 언어 SFT: 세 가지 코퍼스의 합집합으로 별도의 인스턴스를 미세 조정합니다. 이는 밀집 베이스라인이자 공유 전문가의 초기화 역할을 합니다.

2.3 결합 MoE 미세 조정

최종 모델은 트랜스포머 백본의 피드포워드 네트워크 (FFN) 하위 계층을 특수한 MoE-FFN 블록으로 교체하여 구성됩니다:

• 라우팅 전문가 (Routed Experts): 세 가지 전문가 ($E_1, E_2, E_3$) 는 언어별 체크포인트에서 초기화됩니다. 경량 라우터는 Top-K 선택 (K=2) 을 사용하여 토큰을 적절한 언어 전문가로 배분합니다.
• 공유 전문가 (Shared Expert): 네 번째 전문가 ($E_{shared}$) 는 라우팅 결정과 관계없이 항상 활성화됩니다. 이는 교차 언어 기능적 패턴 (예: 타입 지향 프로그래밍) 을 인코딩하기 위해 혼합 언어 체크포인트에서 초기화됩니다.
• 학습 목표: 조립된 모델은 보조 부하 균형 손실 (auxiliary load-balancing loss) 을 추가한 인과적 언어 모델링 목표를 사용하여 결합된 코퍼스에서 공동으로 학습됩니다. 이는 라우팅 붕괴를 방지합니다.

3. 주요 기여

1. 문제 분석: 표준 미세 조정 전략 (언어별 대 다국어) 이 밀집 모델로는 동시에 해결할 수 없는 상호 보완적인 실패 양상을 보인다는 경험적 증명.
2. 모델 아키텍처 (FPMoE): 라우팅을 위한 귀납적 편향으로 언어 정체성을 명시적으로 통합하는 희소 MoE 아키텍처 도입. 이전 데이터 기반 MoE 접근법 (예: Mixtral, DeepSeekMoE) 과 달리, FPMoE 는 언어별 지식으로 라우팅 전문가를 초기화하고 교차 언어 추상화를 포착하기 위해 전용의 항상 활성화된 공유 전문가를 사용합니다.
3. 평가 및 분석: 기능적 정확성 외에도 FPViolation(관례적 스타일 준수) 을 평가합니다. 언어 정렬 라우팅과 공유 전문가의 기여도를 분리하여 아키텍처의 이득을 분해하는 통제된 제거 연구 (ablation study) 를 제공합니다.

4. 실험 결과

실험은 FPEval 벤치마크 (Haskell, OCaml, Scala 의 721 개 작업) 에서 수행되었습니다.

• 밀집 베이스라인 대비 성능: FPMoE 는 밀집 미세 조정 베이스라인을 크게 능가합니다.
  • FPMoE-Qwen2.5-4x1.5B-A3B(활성 파라미터 3B) 는 Haskell 7.37%, OCaml 6.8%, Scala 13.31% 의 Pass@1 점수를 달성합니다. 이는 동급 밀집 1.5B 모델 대비 5~11 배의 개선입니다.
  • FPMoE-Qwen2.5-4x3B-A6B(활성 파라미터 6B) 는 Haskell 11.00%, OCaml 12.34%, Scala 21.08% 를 달성합니다.
• 파라미터 효율성: 6B 활성 파라미터 FPMoE 모델은 DeepSeek-Coder-6.7B 및 Qwen2.5-Coder-14B 와 같은 훨씬 더 큰 밀집 모델과 성능을 맞먹거나 능가하면서, 그보다 절반 미만인 파라미터만 활성화합니다. 또한 OCaml 과 Scala 에서 GPT-3.5 를 능가합니다.
• 관례성 (Idiomaticity): FPMoE 는 테스트를 통과하지만 기능적 원칙을 위반하는 명령형 스타일 코드를 자주 생성하는 더 큰 최첨단 모델에 비해 정확성과 기능적 스타일 준수 (낮은 FPViolation 비율) 사이의 더 나은 균형을 보여줍니다.

제거 연구 (Ablation Study) 결과

• 공유 전문가 초기화: 혼합 언어 코퍼스에서 공유 전문가를 초기화하는 것 (Config A) 이 결정적입니다. 일반 기저 모델에서 초기화 (Config B) 하거나 고정 (Config C) 하는 경우 성능이 저하되어 때로는 밀집 베이스라인보다 낮아지기도 합니다.
• 공유 전문가의 필요성: 공유 전문가를 제거 (Config D) 하면 성능이 감소하여 교차 언어 추상화를 포착하는 데 그 역할이 필수적임을 확인합니다.
• 언어 정렬 라우팅: 언어별 워밍업 (warm-up) 을 제거 (Config E) 하면 성능이 크게 저하되며, 특히 OCaml 에서 두드러집니다. 이는 라우터가 귀납적 편향 없이 순수하게 데이터만으로 전문화를 발견할 수 없음을 증명합니다.

5. 중요성 및 주장

이 논문은 타겟팅된 아키텍처 전문화가 무차별적인 데이터 확장보다 기능적 코드 생성을 위한 더 원칙적인 길이라고 주장합니다. 저자들은 다음과 같이 논합니다:

• FPL 데이터 생태계는 구조적으로 작아 대규모 사전 학습을 단독으로 지원할 만큼 빠르게 성장하지 않을 것입니다.
• 더 큰 코퍼스로 학습된 최첨단 모델에서도 관례 위반률이 높게 나타나 데이터 확장만으로는 문제를 해결하지 못함을 시사합니다.
• FPMoE 의 설계는 (라우팅 전문가를 통한) 언어별 구문과 (공유 전문가를 통한) 공유된 기능적 논리를 분리하여 기존 FPL 토큰을 효과적으로 활용합니다.

저자들은 FPMoE 를 함수형 프로그래밍의 진입 장벽을 낮추는 한 걸음으로 위치시키지만, 지원되는 언어 세트가 고정되어 있다는 점, 추론 중 발생할 수 있는 메모리 풋프린트 문제, 학습 데이터의 최신성 부족과 같은 한계점도 인정합니다.