🤖 machine learning

OrderMoE: An expert similarity driven distributed edge MoE inference

OrderMoE는 전문가 유사성을 활용하여 원격 전문가를 위한 로컬 대체(local substitution)를 가능하게 함으로써, 추론 품질을 제어 가능한 수준으로 유지하면서도 지연 시간과 통신 오버헤드를 크게 줄여 분산 엣지 MoE 추론을 가속화하는 새로운 프레임워크이다.

원저자: Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Athanasios V. Vasilakos, Song Guo, Haijun Zhang

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Athanasios V. Vasilakos, Song Guo, Haijun Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 도시라고 상상해 보세요. 그곳에는 매우 똑똑한 컴퓨터들(거대 언어 모델이라고 불리는)이 살고 있습니다. 이 컴퓨터들은 어떤 질문에도 답할 수 있고, 이야기를 쓰거나 수학 문제를 풀 수도 있는 아주 명석한 사서들과 같습니다. 하지만 이 사서들은 너무 크고 무거워서 여러분의 휴대폰이나 동네 커피숍의 컴퓨터 안에는 들어갈 수 없습니다. 보통 질문을 하려면, 여러분의 휴대폰은 도시 너머에 있는 거대한 데이터 센터를 향해 질문을 외쳐야 하고, 거대한 사서가 생각할 시간을 기다린 뒤, 다시 답변이 돌아올 때까지 기다려야 합니다. 이 과정은 시간이 걸리며 도시의 "도로 공간"(대역폭)을 많이 사용합니다.

이를 더 빠르게 만들기 위해, 과학자들은 "전문가 혼합(Mixture of Experts, MoE)"이라는 새로운 종류의 사서를 발명했습니다. 하나의 거대한 두뇌 대신, 이 사서는 여러 명의 작은 전문가들로 이루어진 팀과 같습니다. 여러분이 질문을 하면, 똑똑한 매니저(라우터라고 불리는)가 특정 작업에 필요한 단 두세 명의 전문가만을 빠르게 골라내고 나머지는 무시합니다. 이 덕분에 사서는 훨씬 더 빠르고 가벼워집니다. 하지만 까다로운 점이 있습니다. 분산된 에지 시스템(distributed edge system)에서는, 이 전문가들이 하나의 큰 건물에 모여 있는 대신 서로 다른 로컬 서버들(예를 들어 서로 다른 커피숍이나 동네 허브들)에 흩어져 있습니다. 만약 라우터가 세 마을 떨어진 커피숍에서 일하고 있는 전문가를 선택한다면, 여러분의 휴대폰은 질문을 저 멀리까지 보내야 하고 답변이 돌아오기를 기다려야 합니다. 도로가 좁고 붐비는 도시에서는, 이 이동 시간이 거대한 데이터 센터와 대화하는 것만큼이나 느릴 수 있습니다.

여기에서 OrderMoE라는 새로운 연구가 등장합니다. 8개의 물리적 서버로 구성된 실제 테스트베드에서 연구를 진행한 연구진은 단순하지만 영리한 질문을 던졌습니다. "만약 라우터가 선택한 '정확한' 전문가에게 항상 질문을 보내는 대신, 바로 옆에 있고 거의 같은 일을 하는 '다른' 전문가를 사용할 수 있다면 어떨까?"

이 논문은 많은 전문가가 비록 이름은 다르더라도 실제로 매우 유사한 방식으로 사고한다는 점을 시사합니다. 저자들은 이들의 "사고 패턴"(라우터 유도 로짓이라고 불리는 것 사용)이 얼마나 유사한지 측정함으로써, 이 전문가들을 하나의 가족으로 묶을 수 있다는 것을 발견했습니다. 만약 라우터가 멀리 떨어진 곳에 있는 전문가를 선택하면, OrderMoE는 근처에 그 일을 대신 할 수 있을 만큼 충분히 유사한 "사촌" 전문가가 있는지 확인합니다. 만약 사촌이 있다면, 질문은 로컬에서 처리되어 도시를 가로지르는 길고 느린 여정을 아낄 수 있습니다.

하지만 연구진은 이것이 섬세한 균형 잡기라는 점을 알고 있었습니다. 진짜 전문가 대신 사촌을 사용하는 것은 시간을 절약할 수는 있지만, 답변이 아주 약간 덜 완벽해질 수도 있기 때문입니다. 이를 해결하기 위해 그들은 모든 질문에 대해, 근처의 사촌을 사용하는 것이 안전한지 아니면 멀리 있는 정확한 전문가를 기다리는 것이 가치가 있는지를 결정하는 스마트한 교통 관제사를 만들었습니다. 이 관제사는 또한 앞을 내다보며, 다음 단계에 대한 질문이 어디로 가야 할지 미리 생각하여, 다음 단계에 좋지 않은 곳으로 질문을 보내는 실수를 범하지 않도록 합니다.

연구진이 서로 다른 속도와 메모리 크기를 가진 8개의 서버 네트워크에서 OrderMoE를 테스트했을 때, 결과는 인상적이었습니다. 이 시스템은 다른 방법들과 비교했을 때 평균 대기 시간(지연 시간)을 약 40%에서 51%까지 줄였으며, 서버 간에 이동하는 데이터의 양을 엄청난 차이로 줄였습니다. 아마도 가장 중요한 점은, 답변의 품질이 거의 떨어지지 않았다는 것입니다—단지 아주 미미하고 거의 눈에 띄지 않는 수준이었습니다. 이 연구는 로컬 서버들이 유사한 전문가로 교체되도록 허용함으로써, 더 크고 비싼 데이터 센터를 구축하지 않고도 AI를 훨씬 더 빠르고 반응성이 좋게 만들 수 있음을 보여줍니다. 이는 마치 특정 종류의 샌드위치를 먹기 위해 옆 동네까지 운전해서 갈 필요가 없다는 것을 깨닫는 것과 같습니다. 바로 길 건너편 가게에도 아주 비슷한 샌드위치가 있고, 그것을 몇 초 만에 바로 먹을 수 있는 것처럼 말이죠.

기술 요약: "OrderMoE: 전문가 유사도 기반의 분산 에지 MoE 추론"

문제 정의
Mixture-of-Experts (MoE) 모델은 대규모 언어 모델(LLM)을 위해 모델 용량과 계산 비용 사이의 유리한 절충안을 제공하지만, 자원이 제한되고 대역폭이 낮은 에지 인프라에 배포하는 것은 여전히 도전적인 과제입니다. 기존의 분산 MoE 서빙 방식은 주로 정확한 전문가 배치, 캐싱 또는 통신 스케줄링에 의존합니다. 이러한 접근 방식은 활성화된 전문가를 고정된 계산 단위로 취급합니다. 즉, 라우팅된 전문가가 로컬에 없는 경우, 토큰은 정확한 실행을 위해 원격 서버로 전송되어야 합니다. 이러한 패러다임은 동일한 MoE 레이어 내 전문가들 사이의 기능적 유사성을 간과합니다. 이질적인 자원, 동적인 워크로드, 그리고 고속 데이터 센터 인터커넥트가 아닌 일반 인터넷 기반의 상호 연결을 특징으로 하는 에지 환경에서, 빈번한 교차 서버 토큰 전송은 상당한 지연 시간과 불안정한 성능을 초래합니다. 핵심적으로 해결하고자 하는 문제는 추론 품질의 수용 불가능한 저하 없이, 어떻게 교차 서버 토큰 전송을 줄이고 토큰 계산을 로컬에 유지할 것인가 하는 점입니다.

방법론
본 논문은 유사도 인식 전문가 그룹화 및 분산 배포 프레임워크인 OrderMoE를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

전문가 유사도 및 그룹화 모델:
- OrderMoE는 라우터 유도 로짓 표현(router-induced logits representations)을 기반으로 전문가 유사도 모델을 구축합니다. 이는 캘리브레이션 토큰에 대한 라우팅 응답 벡터의 코사인 유사도를 사용하여 동일 레이어 내 전문가 간의 기능적 유사성을 측정합니다.
- 이는 전문가 유사성이 레이어에 따라 달라짐을 인식합니다. 즉, 깊은 레이어일수록 유사도가 높은 경향이 있는 반면, 얕은 레이어는 더 강한 전문화(specialization)를 보입니다.
- 레이어 인식 그룹화 전략은 전문가를 유사도 그룹으로 분할합니다. 깊은 레이어는 더 큰 그룹과 느슨한 유사도 임계값을 허용하는 반면, 얕은 레이어는 더 엄격한 임계값을 사용합니다. 각 그룹은 지배적인 전문가(활성화 빈도 기준)와 대체 가능한 비지배적 전문가들로 구성됩니다.
유사도 인식 분산 배포:
- 본 프레임워크는 메모리 제약 조건 하에서 이질적인 에지 서버에 전문가를 분산시키기 위해 중요도 인식 배포 전략을 채택합니다.
- 대표성 커버리지(Representative Coverage): 동일한 유사도 그룹의 전문가들을 의도적으로 서로 다른 서버에 분산 배치하여, 특정 에지 서버가 주어진 그룹에 대한 실행 가능한 대체제를 보유할 확률을 극대화합니다.
- 중복 배포(Redundant Deployment): 남은 메모리를 사용하여 중요한 전문가(높은 활성화 빈도 및 높은 대표성)의 복제본을 중복 배포함으로써, 아직 로컬에 가용하지 않은 그룹을 커버하며, 특히 바쁜 서버를 우선시합니다.
토큰 궤적 인식 런타임 선택:
- 품질 인식 및 궤적 인식 온라인 알고리즘을 통해, 각 MoE 레이어의 각 토큰에 대해 원격 대상 전문가를 호출할지 또는 실행 가능한 로컬 대체제를 사용할지를 결정합니다.
- Look-Ahead 메커니즘: 미래의 교차 서버 전송을 강제할 수 있는 근시안적 결정을 피하기 위해, 알고리즘은 캘리브레이션 세트의 전문가 전이 통계를 기반으로 한 깊이- $H$ 재귀를 사용합니다. 이를 통해 토큰 궤적의 미래 비용-투-고(cost-to-go)를 추정합니다.
- 품질 예산(Quality Budget): 알고리즘은 사용자당 품질 예산을 강제합니다. 정확한 대상 전문가와 유사한 대체제를 포함하는 실행 가능한 후보 세트를 구성하여, 누적된 대체 품질 손실이 할당된 예산을 초 exceed하지 않도록 보장합니다.
- 가중치 적응: 네트워크 조건 및 워크로드에 대한 런타임 관찰을 기반으로 추론 지연과 품질 손실 사이의 트레이드오프 가중치를 동적으로 적응시킵니다.

주요 기여

문제 공식화: 본 논문은 전문가 배치, 전문가 유사도, 대체 실행 및 토큰 궤적을 공동으로 고려함으로써 분산 에지 MoE 추론 문제를 공식화합니다. 기존 방식과 달리, 본 연구는 토큰이 품질 면에서 실행 가능한 대체 전문가를 사용할 수 있도록 허용하며 토큰의 위치를 동적으로 업데이트합니다.
유사도 인식 전략: 기능적 유사성을 활용하여 여러 에지 서버 간의 로컬 대체 가능성을 개선하고 원격 전문가 호출 확률을 줄이는 새로운 전문가 그룹화 및 배포 전략을 제로 제안합니다.
궤적 인식 알고리즘: 전송 지연, 계산 지연, 대체 품질 손실, 서버 워크로드 및 미래 토큰 이동 비용을 공동으로 고려하는 온라인 서버-전문가 선택 알고리즘을 설계합니다.
구현 및 평가: OrderMoE는 8개의 이질적인 서버로 구성된 실제 분산 에지 테스트베드에 구현되었습니다.

실험 결과
세 가지 MoE 모델(Switch-Base-8E, Qwen-MoE-A2.7B, Mixtral-8x7B)에 대해 실제 에지 테스트베드에서 실험을 수행했습니다. 결과에 따르면 OrderMoE는 다음과 같은 성능을 보입니다:

지연 시간(Latency): 평균 지연 시간을 유의미하게 감소시킵니다 (예: Mixtral-8x7B의 경우 187ms로, MoE² 대비 40.1% 감소). 또한 꼬리 지연 시간(tail latency)도 감소시킵니다.
통신(Communication): 교차 서버 트래픽을 획기적으로 줄입니다 (예: 1,000 토큰당 1.5 GB). 또한 원격 전문가 호출 비율을 낮춥니다.
처리량(Throughput): 베이스라인 모델들에 비해 더 높은 추론 처리량을 달s합니다.
품질(Quality): 미미하고 조절 가능한 수준의 추론 품질 저하만을 도입합니다 (예: WikiText-103에서 퍼플렉서티 증가가 0.3에 불과함). 모든 모델에서 99.3% 이상의 품질 유지율을 유지합니다.
확장성(Scalability): 에지 서버 수가 증가함에 따라 원격 대상 위치의 확률이 높아져 지연 시간이 증가하는 정확한 실행(exact-execution) 베이스라인들과 달리, 견고한 성능을 입증합니다.

의의 및 주장
본 논문은 OrderMoE가 여러 에지 서버에 걸친 분산 협업 배포를 위해 동일 레이어 내의 전문가 유사성을 활용한 첫 번째 연구라고 주장합니다. 그 의의는 분산 배포 문제를 "정확한 원격 전문가 접근"에서 "유사도 인식 로컬 대체 실행"으로 전환했다는 데 있습니다. 전문가들이 동일 레이어 내에서 고립되어 있지 않다는 점을 인정함으로써, OrderMoE는 고대역폭 인터커넥트에 대한 의존도를 낮추는 에지 인텔리전스의 새로운 패러다임을 제시합니다. 이 프레임워크는 통신 오버헤드 최소화와 추론 품질 보존이라는 상충하는 목표를 성공적으로 균형 있게 조절하며, 이는 전통적인 클라우드 기반 분산 배포 전략이 효과적이지 않은 대역폭 제한적이고 동적인 에지 환경에 특히 적합합니다.

유사한 논문