Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search

기술 요약: 자동화된 파이프라인 탐색을 통한 4-전문가 이종 혼합 전문가(Mixture-of-Experts)의 체계적 탐색

문제 정의
본 논문은 방대한 조합적 이종 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 탐색하는 과제를 다룹다. 구체적으로, 29개의 서로 다른 기본 아키텍처 패밀리를 포함하는 LEMUR 신경망 데이터셋을 사용하여 4-전문가 MoE(MoE4) 앙상블을 구축하는 것을 목표로 한다. 29개 중 4개의 고유한 패밀리를 선택하는 이론적 탐색 공간은 $\binom{29}{4} = 23,751$가지의 가능한 조합이다. LEMUR 생태계 내의 기존 연구들은 소수의 구성만을 수동으로 설계하였기에, 이 공간의 대부분은 탐색되지 않은 상태로 남아 있었다. 저자들은 2-전문가 시나리오에서 제한적인 성공을 보였던 LLM 기반 생성 루프에 의존하지 않고, 고성능 이종 앙상블을 자동으로 발견하는 것을 목표로 한다.

방법론
저자들은 NNGPT 프레임워크를 기반으로 구축된 4단계의 순차적 단계로 구성된 완전 자동화된 28일간의 탐색 파이프라인을 개발하였다.

1. 전문가 풀 구축: 시스템은 CIFAR-10으로 훈련된 29개의 확립된 기본 아키텍처 패밀리를 검색하기 위해 LEMUR 데이터베이스를 쿼리한다. LLM 생성 변이(mutation), 기존 MoE 모델, 그리고 소문자 접두사가 붙은 생성된 모델들을 필터링하여 구별되는 아키텍처 패밀리의 깨끗한 풀을 확보한다.
2. 결정론적 코드 조립: 생성 스크립트(AlterHeteroMoE4.py)는 후보 MoE4 모델을 프로그래밍 방식으로 조립한다. 이 스크립트는 선택된 4개 패밀리의 소스 코드를 가져오고, 클래스 이름 충돌을 방지하기 위해 이름을 변경하며, 임포트(import) 문을 병합하고, 래퍼 템플릿을 인스턴스화한다. 이 아키텍처는 입력을 라우팅하기 위해 HeterogeneousGate(온도 스케일링이 적용된 합성곱 게이팅 네트워크)를 채택한다. 출력은 전문가 로짓(logits)의 가중 합이다: $y = \sum_{i=1}^{4} g_i(x) \cdot f_i(x)$. 훈련에는 AdamW, mixup 증강($\alpha=0.2$), 레이블 스무딩(label smoothing), 코사인 어닐링 학습률이 사용된다.
3. 다단계 검증: GPU 평가 전, 후보들은 세 가지 필터를 거친다:
   • 구문 검사(Syntax Check): Python의 compile() 함수가 코드의 정확성을 검증한다.
   • CPU 포워드 패스 프로브(CPU Forward-Pass Probe): 구문 검사가 놓칠 수 있는 차원 불일치를 감지하기 위해 더미 배치(2, 3, 256, 256)를 CPU에서 통과시킨다.
   • 데이터베이스 중복 제거: MD5 체크섬을 통해 중복된 모델이 평가되지 않도록 보장한다.
4. 캠페인 자동화: 결함 허용 오케스트레이터(CampaignMoE4.py)는 197개 배치에 걸쳐 생성-평가 루프를 관리하며, 중단 시 SSH 안전한 재개를 위해 상태를 JSON 파일에 저장하며, 1,000회의 성공적인 평가를 목표로 한다.

주요 기여
본 논문은 세 가지 주요 엔지니어링 기여를 제시한다:

• 결정론적 코드 조립 생성기: 검증된 게이팅 및 훈련 구성을 재사용하여, LLM 호출 없이도 구문적으로 유효하고 포워드 패스가 검증된 MoE4 모델을 체계적으로 결합하는 도구.
• 다단계 검증 파이프라인: 구문 오류, 해상도 의존적 차원 불일치, 중복을 잡아냄으로써 계산 자원의 낭비를 크게 줄이는 GPU 전 단계 필터링 시스템.
• 결함 허용 캠페인 자동화: 지속적인 상태 관리를 통해 중단 없는 장기 실행(28일)을 가능하게 하는 견고한 오케스트레이션 시스템.

결과
캠페인은 NVIDIA RTX 4090에서 28일 동안 실행되었으며, 4,463개의 후보 모델을 생성하고 1,021개의 모델을 성공적으로 평가하였다.

• 탐색 공간 커버리지 편향: 캠페인 후 분석 결과 심각한 커버리지 편향이 드러났다. 정렬된 리스트에 대해 itertools.combinations를 사용했기 때문에, 생성기는 사전식 순서로 조합을 열거했다. "AirNet"이 알파벳 순으로 가장 앞서기 때문에, 생성기는 다음 패밀리로 넘어가기 전에 AirNet을 포함하는 모든 $\binom{28}{3} = 3,276$개의 조합을 먼저 소진했다. 캠페인은 1,146번째 조합에서 멈췄으며, 이는 탐색된 공간의 100%가 AirNet에 고정되어 있었음을 의미하며, 이론적 탐색 공간의 **4.8%**만을 커버했다.
• 성능 지표: AirNet에 고정된 범위 내에서, 최적의 모델(AirNet + AlexNet + DPN68 + ResNet)은 단일 훈련 에포크에서 CIFAR-10에 대해 **68.0%**의 Top-1 정확도를 달ino었다. 성공한 모델들의 평균 정확도는 0.5221이었다.
• 패밀리별 분석:
  • 고수율 패밀리: ShuffleNet(평균 정확도: 0.632)과 MobileNetV3(평균 정확도: 0.621)는 성공률 96% 이상과 함께 일관되게 가장 높은 정확도의 앙상블을 생성했다.
  • 저수율 패밀리: FractalNet은 빈번한 OOM(Out-of-Memory) 오류와 형상(shape) 불일치로 인해 0.7%의 낮은 성공률을 보였다. MNASNet은 앙상블 품질을 지속적으로 저하시켰다(평균 정확도: 0.218).
• 실패 분석: 실패의 99.7%는 주로 256×256 해상도에서 4개의 전체 네트워크를 결합할 때 발생하는 메모리 요구량으로 인한 CUDA OOM 오류 때문이었다.

의의 및 주장
본 논문은 수동 튜닝 없이도 이종 전문가의 자동 조립이 경쟁력 있는 후보를 생성할 수 있음을 단일 에포크에서 달성한 68.0%의 정확도를 통해 주장한다. 그러나 저자들은 특정 정확도 순위가 AirNet의 존재에 따라 조건화되어 있다는 점을 언급하며, 일반화 가능성에 대해 신중한 태도를 취한다.

주요 과학적 기여는 처리량 기반 중단 조건을 사용하는 대규모 조합 탐색에서 발생할 수 있는 **커버리지 사각지대(coverage blind spot)**를 식별한 것이다. 저자들은 이러한 편향을 제거하기 위해 조합 리스트를 층화 무작위 추출(stratified random shuffling)하는 간단한 해결책을 제안한다. 또한, 향후 캠페인의 효율성과 품질을 높이기 위해 전문가 풀에서 제외해야 할 특정 아키텍처 패밀리(FractalNet, MNASNet)를 식별하였다. 파이프라인, 분석 아티팩트 및 수정된 생성기는 오픈 소스로 공개된다.