🤖 machine learning

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

본 논문은 가장 빈번하게 활성화된 전문가에만 저랭크 적응 모듈을 부착하여 Mixture-of-Experts 모델용 파라미터 효율적 미세 조정 방법인 HELLoRA 를 제안함으로써, 표준 LoRA 에 비해 학습 가능한 파라미터와 계산 비용을 줄이면서도 하류 작업 성능을 크게 향상시킵니다.

원저자: Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang

게시일 2026-05-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

64 명의 다양한 셰프 (이들은 Mixture-of-Experts AI 모델의 '전문가'들) 가 있는 거대하고 매우 전문화된 주방을 상상해 보세요. 고객이 요리를 주문하면, 수석 셰프는 64 명 모두에게 요리를 시키지 않고 대신 그 특정 주문에 가장 적합한 상위 8 명의 셰프를 선택합니다. 이는 오직 소수의 사람만이 언제든지 일하기 때문에 주방을 매우 효율적으로 만듭니다.

이제 이 주방에 새로운 특정 레시피 (예: '완벽한 사워도우 빵 굽는 법') 를 가르치고 싶다고 가정해 보세요. 이를 '파인튜닝 (fine-tuning)'이라고 합니다.

문제: '전원 동원' 방식

이러한 주방들을 가르치는 표준적인 방법 (LoRA 라는 방법을 사용) 은 사워도우를 요리하라고 부르지 않는 셰프들조차도 모든 단일 셰프에게 새로운 레시피 카드와 연습용 메모장을 주는 것입니다.

낭비: 새로운 레시피를 결코 사용하지 않을 셰프들을 훈련시키는 것은 시간과 메모리를 낭비하는 것입니다.
위험: 만약 '초밥'을 전문으로 하는 셰프를 아마도 부를지도 모른다는 이유로 '사워도우'를 연습하게 한다면, 그들의 원래 초밥 실력을 망칠 수 있습니다. 이는 그들의 전문성을 희석시키는 것입니다.

해결책: HELLoRA (Hot Experts Layer-Level Low-Rank Adaptation)

저자들은 HELLoRA라는 더 지적인 방식을 제안합니다. 모두를 훈련시키는 대신 다음과 같이 진행합니다:

'맛보기' (워밍업): 실제 훈련이 시작되기 전에, 빠르고 작은 연습 세션을 실행합니다. 주방을 지켜보며 사워도우를 요리하라고 실제로 부른 특정 셰프들이 누구인지 확인합니다.
'핫 리스트': 이 특정 작업의 90% 의 일을 수행하는 소수의 셰프들인 'Hot Experts'를 식별합니다.
표적 훈련: 새로운 레시피 카드와 메모장을 오직 이러한 'Hot Experts'에게만 줍니다. 나머지 56 명의 셰프 ('Cold Experts') 는 제자리에 앉아 원래 실력을 유지하며 아무것도 하지 않도록 합니다.

이것이 작동하는 이유 (마법)

이 논문은 이 간단한 트릭이 동시에 세 가지 놀라운 일을 한다고 주장합니다:

더 빠릅니다: 56 명의 쓸모없는 셰프를 훈련시키지 않기 때문에 전체 과정이 약 2 배 더 빠릅니다. 요리하지 않는 사람들을 주방에서 치워 실제 요리사들이 더 빠르게 움직일 수 있게 하는 것과 같습니다.
더 저렴합니다: 훨씬 적은 정보 (더 적은 '파라미터') 를 기억해야 합니다. HELLoRA 는 이전 방법이 사용했던 메모리의 약 **16% 에서 30%**만 사용합니다.
더 똑똑합니다: 'Cold Experts'를 건드리지 않음으로써 그들의 원래 사전 훈련된 기술을 보호합니다. 초밥 셰프에게 빵 굽기를 연습시키지 않아 실수로 생선 썰는 법을 잊지 않게 하는 것과 같습니다. 이는 실제로 모든 사람을 훈련시켰을 때보다 AI 가 새로운 작업에서 더 잘 수행하게 만듭니다.

'HELLoRI' 업그레이드

저자들은 HELLoRI라는 초경량 버전도 만들었습니다. 'Hot Experts'에게조차 메모장 페이지의 **10%**만 쓰도록 허용한다고 상상해 보세요. 이는 훈련 비용을 거의 제로 (원래 크기의 1% 미만) 로 줄이면서도 AI 를 매우 똑똑하게 유지합니다.

결과

이 팀은 세 가지 다른 유형의 AI 주방 (OlMoE, Mixtral, DeepSeekMoE) 과 세 가지 다른 작업 (수학, 코딩, 안전) 에서 이를 테스트했습니다.

판결: HELLoRA 는 기존 방법들을 일관되게 능가했습니다. 더 빠르고, 메모리를 덜 사용하며, 수학 및 코딩 테스트에서 더 높은 점수를 받았습니다.
비유: 이는 절대 저글링을 하지 않을 사람들에게 시간을 낭비하며 전체 스타디움의 사람들에게 저글링을 가르치려고 시도하는 것과, 이미 저글링을 잘하는 crowd 의 5 명을 찾아 마스터클래스를 제공하는 것의 차이입니다.

간단히 말해: HELLoRA 는 일을 하지 않는 '콜드' 전문가들을 훈련시키는 시간 낭비를 멈추고, 일을 하는 '핫' 전문가들에게 모든 에너지를 집중함으로써 AI 를 더 빠르고, 저렴하며, 똑똑하게 만듭니다.

기술 요약: HELLoRA

문제 정의

저랭크 적응 (LoRA) 은 밀집형 대규모 언어 모델 (LLM) 의 매개변수 효율적 미세 조정 (PEFT) 에 대한 표준으로 자리 잡았으나, 이를 전문가 혼합 (MoE) 모델에 적용할 때는 고유한 도전 과제가 존재합니다. MoE 모델은 각 토큰에 대해 희소하게 선택된 전문가 서브셋만 활성화함으로써 토큰당 계산량을 거의 일정하게 유지하면서 매개변수 용량을 확장합니다. 그러나 MoE 모델의 모든 전문가에 LoRA 를 무비판적으로 적용하면, 특정 하류 작업에서 거의 활성화되지 않는 전문가에 어댑터가 부착됨에 따라 메모리 및 처리량 오버헤드가 크게 발생합니다. 또한 이러한 '콜드 (cold)' 전문가를 적응시키는 것은 전문화된 사전 훈련 지식을 보유한 매개변수에 그라디언트 노이즈를 주입하여 전문가의 전문성을 교란시키고 성능을 저하시킬 수 있습니다.

방법론

본 논문은 MoE 활성화 패턴의 고유한 희소성을 활용하여 어댑터 배치를 최적화하는 HELLoRA(Hot Experts Layer-Level Low-Rank Adaptation) 를 제안합니다.

핵심 메커니즘

HELLoRA 는 특정 작업 내에서 각 레이어의 전문가 활성화가 매우 편향되어 있다는 관찰에 기반합니다: 소수의 '핫 (hot)' 전문가가 대부분의 토큰 처리를 담당하는 반면, 긴 꼬리를 이루는 '콜드' 전문가들은 거의 사용되지 않습니다. 이 방법은 두 단계로 진행됩니다:

경량 프로파일링 (워밍업): 전체 미세 조정 전에 모델은 표준 LoRA 를 사용하여 짧은 워밍업 단계 (기본값은 훈련 데이터의 10%) 를 거칩니다. 이 단계 동안 시스템은 각 MoE 레이어의 모든 전문가에 대한 활성화 빈도를 기록합니다.
선택적 어댑터 부착: 프로파일링 통계에 기반하여 HELLoRA 는 각 레이어에서 가장 빈번하게 활성화된 상위- $k$ 개 전문가 ('핫 전문가') 를 식별합니다. LoRA 어댑터는 오직 이러한 핫 전문가와 어텐션 프로젝션 및 게이팅 네트워크에만 부착됩니다. 모든 '콜드' 전문가는 완전히 동결 (frozen) 됩니다.

HELLoRI 변형

극단적인 매개변수 예산 문제를 해결하기 위해 저자들은 HELLoRA 와 LoRI(희소 업데이트를 통한 LoRA) 를 결합합니다. 이를 HELLoRI라고 명명하며, 핫 전문가 어댑터 내에서 업 - 프로젝션 행렬 ( $A$ ) 을 동결하고 다운 - 프로젝션 행렬 ( $B$ ) 의 상위 10% 항목만 업데이트하여 학습 가능한 매개변수를 추가로 줄입니다.

이론적 근거

저자들은 이 접근법이 두 가지 상호 보완적인 이점을 제공한다고 주장합니다:

효율성: 콜드 전문가에서 어댑터를 완전히 제거함으로써 HELLoRA 는 이들의 순전파 및 역전파 계산을 제거합니다. LoRI 와 같은 마스크 기반 방법은 계산 그래프 내에 매개변수를 유지하는 것과 달리, HELLoRA 는 실제 FLOPs 와 메모리 트래픽을 감소시킵니다.
정규화: 콜드 전문가를 동결함으로써 사전 훈련된 전문성을 보존합니다. 희소하고 대표성이 부족한 토큰 부분집합으로 콜드 전문가를 적응시키면 학습된 능력을 교란시키는 노이즈가 있는 그라디언트가 발생할 수 있습니다. 적응을 핫 전문가로 제한하는 것은 구조화된 정규화의 한 형태로 작용합니다.

주요 기여

이중 희소성 식별: 저자들은 MoE 미세 조정이 희소한 전문가 활성화와 LoRA 업데이트의 저랭크 구조가 결합된 시너지 효과를 통해 이점을 얻는다는 점을 식별했습니다.
HELLoRA 프레임워크: 훈련 전 간단한 원회 (one-shot) 프로파일링 단계만 필요한 레이어 수준의 핫 - 전문가 어댑터 배치 전략을 제안합니다.
종합적 평가: 이 방법은 세 가지 서로 다른 MoE 백본 (OlMoE-1B-7B, Mixtral-8×7B, DeepSeekMoE) 과 세 가지 작업 계열 (수학적 추론, 코드 생성, 안전성 정렬) 에서 평가되었습니다.
동시 최적화: 논문은 HELLoRA 가 하류 정확도, 매개변수 효율성, 어댑터 유발 FLOPs, 그리고 월시계 (wall-clock) 훈련 처리량을 동시에 개선함을 입증했으며, 이는 기존 마스크 기반 또는 밀집형 어댑터 방법으로는 달성되지 않은 조합입니다.

실험 결과

이 평가는 표준 PEFT 베이스라인 (LoRA, DoRA, LoRI) 과 MoE 특화 방법 (LoRAMoE) 대비 일관된 개선을 보여줍니다:

매개변수 효율성: HELLoRA 는 전체 LoRA 의 성능을 맞추거나 초과하면서 학습 가능한 매개변수를 훨씬 적게 사용합니다.
- OlMoE-1B-7B에서 HELLoRA 는 LoRA 보다 약 6 배 적은 **0.7%**의 매개변수만 사용하면서도 GSM8K(29.49 대 26.37) 와 HumanEval 에서 더 높은 정확도를 달성했습니다.
- Mixtral-8×7B에서는 LoRA 예산의 30% 인 **0.31%**의 매개변수를 사용하여 정확도가 향상되었습니다.
- DeepSeekMoE에서는 LoRA 예산의 23% 인 **0.82%**의 매개변수를 사용하여 동등하거나 더 나은 성능을 보였습니다.
처리량 및 FLOPs: HELLoRA 는 LoRA 대비 약 1.9 $\times$ 의 훈련 처리량을 달성하며, 백본 전반에 걸쳐 어댑터 유발 FLOPs 를 33–39% 감소시킵니다. 이 속도 향상은 계산 그래프에서 콜드 전문가 어댑터 커널을 완전히 제거한 데 기인합니다.
애블레이션 연구:
- 선택 전략: 레이어 수준의 핫 선택은 모델 수준 (전역) 선택, 무작위 선택, 콜드 - 전문가 선택보다 우월합니다. 무작위 선택조차 전체 LoRA 를 약간 능가하는데, 이는 범위 제한 자체가 정규화를 제공함을 시사합니다.
- 워밍업: 데이터의 10% 를 프로파일링에 사용하면 전체 데이터 프로파일링으로 식별된 핫 전문가의 87.5% 를 복구하며, 훈련 시간 오버헤드는 9.2% 에 불과합니다.
- 교차 작업 보존: 특정 작업에 대한 미세 조정은 비대상 작업의 성능을 대부분 보존하여 순차적 또는 다중 작업 시나리오에서 HELLoRA 사용을 지지합니다.

중요성 및 주장

본 논문은 활성화 인식 어댑터 배치가 대규모 MoE 언어 모델로 PEFT 를 확장하기 위한 실용적이고 효과적인 원칙이라고 주장합니다. 적응 용량을 모델의 네이티브 계산 분포에 정렬함으로써 HELLoRA 는 사용되지 않는 매개변수를 적응시키는 비효율성과 사전 훈련 지식을 교란시킬 위험을 해결합니다.

저자들은 HELLoRA 가 학습 가능한 매개변수를 줄이고, FLOPs 를 낮추며, 훈련 처리량을 높이고, MoE 모델의 하류 정확도를 개선하는 첫 번째 접근법임을 강조합니다. 이 방법은 워밍업 데이터의 대표성에 의존하지만, 복잡한 아키텍처 변경이나 온라인 랭크 조정이 필요하지 않은 리소스 제약이 있는 미세 조정을 위한 강력한 해결책을 제공한다고 언급합니다. 이 연구는 표준 MoE 아키텍처의 경우, 핫 전문가 수 ( $k$ ) 를 스텝당 라우팅 예산과 일치하도록 설정하는 것이 신뢰할 수 있는 시작점이며, 공유 전문가가 포함된 아키텍처의 경우 조정이 필요함을 시사합니다.