기술 요약: 진화하는 모델 허브에서의 지속적 모델 라우팅

1. 문제 정의

AI 모델 허브 (예: Hugging Face) 의 급속한 확장은 핵심 과제를 모델 구축에서 특정 쿼리에 적합한 사전 훈련된 모델 선택으로 전환시켰습니다. 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처와 오케스트레이션 파이프라인이 라우팅의 가치를 입증해 왔지만, 기존 접근 방식은 실제 진화하는 허브에 적용될 때 두 가지 근본적인 한계에 직면합니다:

1. 확장성: 라우팅은 수천 개의 후보 전문가로 확장되어야 하므로, 추론 후 포괄적 평가나 단순한 순위 매기기는 비현실적입니다.
2. 비정상성: 모델 허브는 동적입니다. 새로운 전문가가 추가되고, 기존 전문가가 업데이트되며, 다른 전문가들은 구식이 됩니다. 정적 검색 방법 (예: 모델 카드 유사도로 순위 매기기) 은 크고 진화하는 공간에서 취약하며, 표준 검색 증강 학습 (RAT) 은 타겟 공간이 이동함에 따라 안정적인 라우팅 성능을 보장하지 않습니다.

저자들은 이 설정을 **지속적 모델 라우팅 (Continual Model Routing, CMR)**으로 공식화하여, 사전 추론 모델 선택을 레이블 공간 (사용 가능한 모델 집합) 이 시간이 지남에 따라 확장되는 지속적 분류 작업으로 취급합니다. 목표는 처음부터 다시 학습하지 않고도 이전에 본 모델에 대한 능력을 유지하면서 새로운 모델에 점진적으로 적응할 수 있는 라우터를 설계하는 것입니다.

2. 방법론: CARvE

CMR 문제를 해결하기 위해 저자들은 CARvE(Contrastive Embeddings 를 사용한 지속적 앵커드 라우터) 를 제안합니다. 모델 카드 (자연어 설명) 에 의존하거나 후보 모델을 실행하는 베이스라인과 달리, CARvE 는 사용자 쿼리와 학습된 모델 임베딩 레지스트리 간의 임베딩 유사도를 기반으로 라우팅합니다.

핵심 구성 요소

• 임베딩 기반 라우터: 라우터는 각 경험 (experience) 에서 학습된 LoRA 어댑터를 갖춘 고정된 백본 언어 모델 (예: LLaMA2-7B) 을 사용합니다. 토큰화된 쿼리를 고정 차원의 임베딩 공간 ($\mathbb{R}^d$) 으로 투영하고, 온도 스케일링된 코사인 유사도를 사용하여 학습된 모델 임베딩 레지스트리와 비교합니다.
• 비대칭 앵커링: catastrophic forgetting(치명적 망각) 을 완화하기 위해 CARvE 는 체크포인트 기반 앵커링 메커니즘을 사용합니다. 각 경험 $t$의 시작 시, $t-1$의 라우터 파라미터 (프로젝션 헤드 및 모델 임베딩) 스냅샷을 촬영합니다. $E_t$에 대한 학습 중, 손실 함수는 이전에 본 모델 ID 의 임베딩에 대한 드리프트를 패널티로 부과하는 반면, 새로 도입된 모델의 임베딩은 앵커링되지 않고 자유롭게 적응할 수 있도록 합니다. 이는 기존 레지스트리의 기하학적 안정성을 유지합니다.
• 후보 집합 학습: 수천 개의 모델에 대한 전체 소프트맥스의 계산 비용을 피하기 위해 학습은 고정된 크기의 후보 집합 ($K$) 에서 수행됩니다. 이러한 집합에는 정답 모델, 현재 풀에서 채굴된 하드 네거티브, 동일한 도메인의 시맨틱 네거티브, 그리고 다른 도메인의 원거리 네거티브가 포함됩니다.
• 구조화된 재생 (Structured Replay): 이 방법은 도메인 - 모델 코어셋 재생 버퍼를 활용합니다. 무작위 샘플링 대신 도메인별 재생 할당량을 할당하고 도메인 내에서 가장 먼 지점 샘플링 (Farthest-Point Sampling, FPS) 을 사용하여 다양한 예제를 선택함으로써, 모델의 긴 꼬리 분포를 포괄하도록 보장합니다.

3. 벤치마크: CMRBench

저자들은 지속적 모델 라우팅을 위해 특별히 설계된 첫 번째 벤치마크인 CMRBench를 소개합니다.

• 구조: APIBench, ToolMMBench 및 새로운 데이터셋인 HuggingBench 를 통합하여 네 가지 연속적인 경험을 통해 현실적인 허브 확장을 시뮬레이션합니다.
• 규모: 이 벤치마크는 여러 도메인에 걸쳐 2,000 개 이상의 후보 모델을 포괄합니다.
• 지표: 표준 Model-ID 및 도메인 정확도 외에도 저자들은 Model Family Accuracy를 도입합니다. 이 중간 세분화 지표는 동일한 아키텍처의 서로 다른 양자화 수준과 같이 기능적으로 유사한 변형들을 그룹화하여, 정확한 모델 식별자에 지나치게 엄격하지 않으면서도 시맨틱 라우팅 품질을 더 잘 포착합니다.

4. 실험 결과

광범위한 실험을 통해 CARvE 를 제로샷 파인튜닝, 검색 전용 방법 (BM25, BGE-M3), 모델 병합 (TIES, DARE), 그리고 다양한 지속적 학습 전략 (EWC, LwF, 무작위 재생) 을 포함한 강력한 베이스라인과 비교했습니다.

• 성능: CARvE 는 모든 베이스라인을 크게 능가합니다. 10% 재생 예산에서 CARvE 는 표준 무작위 재생의 75.9% 정확도 및 13.1% 망각과 비교하여 80.7% 도메인 정확도를 달성하면서 5.9% 망각만 기록했습니다. 20% 재생 시에는 82.9% 정확도와 3.0% 망각을 달성했습니다.
• 상한선과의 비교: CARvE 는 모든 데이터에 대한 동시 학습 (joint training) 과의 격차를 줄이며, 일부 도메인 수준 지표에서는 더 엄격한 지속적 제약 하에 운영하면서도 이를 능가합니다.
• 애블레이션 연구:
  • 앵커링: 프로젝션 앵커링을 비활성화하면 정확도가 크게 떨어지고 망각이 급증하여, 임베딩 공간 안정화에서 앵커링의 결정적 역할을 확인시켜 줍니다.
  • 재생 전략: 도메인 계층화 코어셋 재생은 무작위 재생보다 우수하며, 특히 낮은 재생 예산 (5-10%) 에서 두드러집니다.
  • 초기화: 모델 카드 임베딩으로 워밍업하는 것보다 모델 임베딩을 무작위로 초기화하는 것이 더 우수합니다. 카드 텍스트는 라우팅 판별력보다는 언어적 유사성을 인코딩하기 때문입니다.
• 효율성: CARvE 는 누적 학습 또는 처음부터 다시 학습하는 방식에 비해 계산 비용 (TFLOPs 및 GPU 시간) 을 약 45~60% 감소시켜 대규모 배포를 가능하게 합니다.

5. 중요성 및 주장

본 논문은 대규모 벤치마크와 분석을 통해 모델 라우팅에서 지속적 학습의 중심 역할을 경험적으로 입증한 최초의 작업이라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 공식화: 라우터가 수천 명의 전문가로 확장되고 비정상적 풀에 적응해야 하는 클래스 증분 학습 문제로 CMR 을 정의합니다.
2. 벤치마킹: 정적 후보 풀을 넘어선 커뮤니티를 위한 재현 가능한 참조점으로 CMRBench 를 제공합니다.
3. 방법론: CARvE가 시맨틱 임베딩, 구조화된 재생, 비대칭 앵커링을 통해 확장 가능하고 견고한 전문가 선택을 가능하게 함을 입증합니다.

저자들은 그들의 접근 방식이 지연 시간과 비용을 줄이기 위해 추론 전에 전문가 모델을 선택하는 실용적인 시스템 병목 현상을 해결한다고 강조합니다. CARvE 는 원시 사용자 기록 저장에 대한 의존성을 줄이지만, 프라이버시 위험을 완전히 제거하지는 않으며, 안전 정책과 결합되지 않을 경우 더 나은 라우팅이 실수로 편향을 증폭시킬 수 있다고 지적합니다. 이 연구는 모델 선택의 미래가 단일 거대 모델에 있는 것이 아니라, 지속적 학습 시스템에 의해 관리되는 진화하고 상호작용하는 모델들의 생태계에 있음을 시사합니다.