🤖 machine learning

Mixture of Channel Experts: Static Sparse Supports with Input-Adaptive Mixing for Pointwise Projections

이 논문은 밀집된 포인트와이즈 투영(pointwise projections)을 학습된 희소 채널 서포트(sparse channel supports)와 입력 적응형 집합(input-adaptive aggregation)을 가진 전문가들로 입력을 라우팅함으로써 대체하는 구조적 희소 채널 믹싱 레이어인 Mixture of Channel Experts (MoCE)를 소개하며, 이를 통해 밀집형 베이스라인의 정확도와 대등하거나 이를 능가하면서도 계산 비용과 지연 시간을 크게 줄이는 성과를 달성한다.

원저자: Elian Iluk, Gil Ben-Artzi

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elian Iluk, Gil Ben-Artzi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이미지를 인식하거나 언어를 번역하고 질병을 진단하는 현대의 컴퓨터들은 거대한 인공 뉴런 네트워크에 의존합니다. 이러한 네트워크는 다층 구조의 공장처럼 구축되어, 맨 아래에서 가공되지 않은 데이터가 들어오면 마지막 답이 나올 때까지 층별로 처리됩니다. 이 프로세싱의 핵심적인 부분은 정보의 흐로를 결합하는 "혼합(mixing)" 스테이션에서 일어납니다. 많은 경우, 이 혼합은 모든 정보 스트림이 모든 단계에서 서로와 결합되는 밀도 높고 투박한 방식으로 이루어집니다. 이는 시스템이 모든 가능성을 보장하지만, 그 대가는 매우 큽니다. 시스템의 스트림이 많아질수록 수행해야 할 계산량은 늘어나고, 그 계산을 위한 지침을 저장하기 위해 더 많은 메모리가 필요합니다. 시스템이 더 똑똑해지기 위해 규모가 커질수록, 이 끊임없이 모든 것을 아우르는 혼합 방식은 병목 현상이 되어 기계의 속도를 늦추고 운영 비용을 비싸게 만듭니다.

이스라엘 아리엘 대학교의 연구진은 출력의 품질을 희생하지 않으면서도 전문화된 인력의 효율성을 모방하는 새로운 방식의 혼합 스테이션 운영법을 제 제안했습니다. 그들은 이 방법을 '채널 전문가의 혼합(Mixture of Channel Experts)'이라고 부릅니다. 핵심 아이디어는 간단합니다. 모든 부분이 항상 서로와 소통하도록 강요하는 대신, 각 출력 채널이 선택된 소수의 입력 채널 집합에만 귀를 기울이도록 하는 것입니다. 모든 직원이 자신의 메모를 작성하기 전에 다른 모든 부서의 보고서를 모두 읽어야 하는 큰 사무실을 상상해 보십시오. 이 새로운 방법은 각 직원이 자신의 특정 작업과 가장 관련 있는 서너 개의 보고서만 읽으면 된다고 제안하며, 별도의 가벼운 시스템이 중요한 보고서가 완전히 무시되지 않도록 보장합니다. "모두가 모두와 대화하는 것"에서 "모두가 각자의 전문가와 대화하는 것"으로의 이러한 전환은 필요한 계산량을 획기적으로 줄여줍니다.

연구진은 언어 모델에서 인기 있는 전략, 즉 서로 다른 전문가를 복제하고 시스템이 어떤 것을 사용할지 선택하는 방식을 단순히 모방하는 것이 이미지 처리에는 잘 작동하지 않는다는 것을 발견했습니다. 모든 동일한 입력을 읽는 여러 개의 병렬 혼합 단위를 만들려고 시도했을 때, 이 단위들은 빠르게 똑같은 일을 수행하도록 학습되었습니다. 그들은 새로운 통찰력을 더하지 못한 채 서로의 중복된 복사본이 되어 공간만 낭비하게 되었습니다. 이를 해결하기 위해 연구팀은 전문화의 대상을 연산자 자체가 아닌 연산자 사이의 연결로 옮겼습니다. 새로운 설계에서 각 출력 채널은 별도의 네트워크가 아니라, 학습된 특정 입력 채널의 선택에 의해 처리됩니다. 각 전문가는 예를 들어 100개 중 8개의 입력 채널을 골라 이들을 결합합니다. 결정적인 점은 이 선택이 정적이라는 것입니다. 시스템이 훈련되면 전문가는 항상 동일한 8개 채널을 바라봅니다. 이를 통해 컴퓨터는 어떤 채널을 읽을지 실시간으로 결정하느라 발생하는 혼란스럽고 예측 불가능한 지연을 피하고, 작업을 미리 계획할 수 있습니다.

그러나 연구진은 채널의 '선택'은 고정되어야 하지만, 그들이 결합되는 '방식'은 여전히 유연해야 한다는 것을 발견했습니다. 그들은 처리 중인 특정 이미지에 따라 선택된 각 채널에 부여되는 가중치를 조절하는 작고 스마트한 메커니즘을 추가했습니다. 이미지가 밝고 선명하면 시스템은 특정 채널 하나에 집중할 수 있고, 이미지가 흐릿하면 주의력을 더 고르게 분산시킬 수 있습니다. 이러한 조정은 계산 비용이 매우 저렴하여, 각 이미지에 대해 단 하나의 숫자만을 계산하면 됩니다. 또한 시스템에는 어떤 전문가에게도 선택되지 않은 입력 채널들을 모으는 안전망인 '잔차 요약(residual summary)'이 포함되어 있어 정보의 손실을 방지합니다. 이러한 고정된 효율적 선택과 아주 작은 적응적 유연성의 결합은 최적의 접점이었습니다.

표준 이미지 인식 작업에 대한 테스트 결과, 이 새로운 접근 방식은 전통적인 고성능 시스템의 성능과 대등하거나 오히려 약간 능가하는 결과를 보여주었습니다. ImageNet이라는 주요 데이터셋에서, 이 새로운 방법은 모델을 저장하는 데 훨씬 적은 메모리를 사용하면서도 필요한 계산량을 약 17% 줄였습니다. 어떤 경우에는 실제 사용 시 시스템이 더 빨라져 이미지를 처리하는 시간을 단축하기도 했습니다. 연구진은 인간이 장면을 보는 것에 따라 서로 다른 부분을 보듯 매 이미지마다 다른 채널을 선택하도록 하는 더 복적인 버전도 테스트했습니다. 그 결과, 이러한 추가적인 유연성이 정확도를 높이지는 못하면서도 시스템을 거의 7배나 느리게 만든다는 것을 발견했습니다. 이는 결정적인 발견이었습니다. 시스템은 신뢰할 수 있고 미리 계획된 연결 세트를 고수하고, 제한된 에너지는 그 연결의 가중치를 미세 조정하는 데만 사용하는 것이 가장 좋았습니다.

이 연구는 효율적인 인공지능의 미래가 더 크고 복잡한 네트워크를 구축하는 것이 아니라, 그 내부의 연결을 더 똑똑하고 절제되게 만드는 데 있다는 것을 시사합니다. 각 입력 중 무엇이 가장 중요한지 학습하고 그 선택을 고정함으로써, 시스템은 세상을 이해하는 능력을 잃지 않으면서도 더 빠르고 저렴하게 구동될 수 있습니다. 연구진은 잘 조직된 경직된 구조가 아주 작은 적응성과 결합될 때, 모든 것을 하려고 노력하는 시스템보다 더 뛰어난 성능을 낼 수 있음을 보여주었습니다. 이 접근 방식은 강력한 인공지능을 일상적인 하드웨어에서 실행 가능하게 만드는 명확한 경로를 제시하며, 때로는 무엇에 집중할지 아는 것만큼이나 무엇을 무시할지 정확히 아는 것이 중요하다는 것을 증명합니다.

기술 요약: 채널 전문가 혼합 (Mixture of Channel Experts, MoCE)

문제 정의

본 논문은 현대적인 비전 백본(Vision Backbone)의 ResNet bottleneck, inverted bottleneck, 그리고 Vision Transformer에서 채널 믹싱 연산자로 사용되는 포인트와이즈(1×1) 컨볼루션의 계산 비용 문제를 다룹니다. 이러한 연산은 채널 폭( $C_{in} \times C_{out}$ )에 따라 이차적으로(quadratically) 증가하며, 이는 구조적 희소화(structured sparsification)의 주요 타겟이 됩니다.

저자들은 기존의 Mixture-of-Experts (MoE) 원리를 컨볼루션 네트워크에 직접 적용할 때 발생하는 결정적인 실패 모드를 식별했습니다. 표준 MoE에서는 입력이 복제된 연산자들의 하위 집합으로 라우팅됩니다. 그러나 병렬 컨볼루션 전문가들이 동일한 입력 채널과 감독(supervision)을 공유할 경우, 이들은 거의 동일한 필터를 학습하게 되어(평균 코사인 유사도 0.88 관찰) 유용한 전문화를 생성하는 데 실패합니다. 이는 입력 표현(representation)이 공유될 때 연산자를 단순히 복제하는 것이 전문화를 위한 효율적인 경로가 아님을 시사합니다.

방법론: 채널 전문가 혼합 (MoCE)

연산자 복제의 중복성을 해결하기 위해, 저자들은 **채널 전문가 혼합 (MoCE)**을 제안합니다. 이는 전문화의 축을 복제된 연산자에서 **희소 채널 선택(sparse channel selection)**으로 전환합니다.

핵심 아키텍처

MoCE는 밀집된(dense) 포인트와이즈 프로젝션을 다음과 같이 구성된 구조적 희소 레이어로 대체합니다:

라우팅된 전문가 (Routed Experts): 전체 컨볼루션 필터 대신, 각 "전문가"는 단일 출력 채널에 대응합니다. 각 전문가는 학습된 정적(static)인 $k$ 개의 입력 채널( $k \ll C$ )의 하위 집합 위에서 동작합니다.
정적 희소 서포트 (Static Sparse Supports): 각 전문가를 위한 입력 채널의 선택은 라우팅 로짓(logits)에 의해 결정됩니다. 훈련 중에 이 로짓들은 최적화되지만, 추론 시에는 상위 $k$ 개의 인덱스가 미리 계산되어 고정됩니다. 이를 통해 데이터 의존적 브랜칭(data-dependent branching) 없이 고정된 메모리 액세스 패턴과 패킹된 실행(packed execution)이 가능해집니다.
입력 적응형 믹싱 (Input-Adaptive Mixing): 선택된 채널의 집합은 정적이지만, 이 채널들의 *가중치(weighting)*는 동적입니다. 경량 게이트(gate)는 각 전문가와 입력 예시별로 온도 파라미터 $\tau$ $τ$ 를 예측합니다. 이 온도는 믹싱 계수의 소프트맥스 농축도를 조절합니다:
- 낮은 $\tau$ : 가장 가중치가 높은 채널에 질량을 집중시킵니다 (max-like).
- 높은 $\tau$ : 균등 평균에 가까워집니다 (mean-like).
- 이를 통해 전문가는 선택된 서포트를 변경하거나 모든 $C$ 개 채널을 점수 매기는 전체 라우터를 요구하지 않고도, 자신의 집계 전략을 적응시킬 수 있습니다.
잔차 커버리지 (Residual Coverage): 잔차 전문가(residual expert)는 라우팅된 전문가들에 의해 선택되지 않은 모든 입력 채널(집합 $U$ )을 집계합니다. 이는 어떤 입력 채널도 완전히 무시되지 않도록 보장하여 정보 흐름을 유지합니다.
부하 분산 (Load Balancing): 정규화 항( $L_{cov}$ )은 모든 입력 채널이 전문가들 사이에서 균일하게 집계되어 사용되도록 권장하여, 모델이 소수의 채널 집합으로 붕괴되는 것을 방지합니다.

설계 근거: 정적 vs. 동적

본 논문은 입력 의존성이 어떤 채널을 읽을지 결정하는 데 쓰이는 것이 나은지(동적 서포트), 아니면 그들을 어떻게 결합할지 결정하는 데 쓰이는 것이 나은지(적응형 믹싱)를 조사합니다.

동적 서포트 (Dynamic Support): 각 입력당 $C$ 개의 채널을 모두 점수 매겨 $k$ 개를 선택하는 라우터는 표현력이 매우 높지만, 상당한 메모리 액세 오버헤드와 지연 시간(실험에서 7.13배 느림 관찰)을 초래하며 정확도 향상은 미미했습니다(+0.03%).
적응형 믹싱 (Adaptive Mixing): 이미 선택된 $k$ 개의 디스크립터만을 읽어 스칼라 온도를 예측하는 게이트는 계산 비용이 매우 저렴합니다. 이 게이트를 제거했을 때 상당한 정확도 저하(-1.19%)가 발생했습니다.
결론: 저자들은 포인트와이즈 프로젝션의 경우, 입력 의존성이 멤버십 선택(support)보다는 집계 전략(mixing)에 적용될 때 가장 효과적이며, 이를 통해 MoCE가 정적으로 스케줄링 가능한 상태를 유지할 수 있다고 결론지었습니다.

주요 기여

구조적 통찰: 공유 입력 컨볼루션 MoE에서 연산자 복제가 필터 정렬로 인해 실패함을 입증하고, 채널 선택 기반 희소성으로의 전환이 필요함을 보여주었습니다.
MoCE 레이어: 학습된 정적 서포트와 입력 적응형 믹싱을 사용하여 밀집 프로젝션을 대체하는 새로운 희소 채널 믹싱 레이어를 제안했습니다.
효율성 분석: MoCE가 MAC(연산량)을 크게 줄임에도 불구하고, 풀링 및 잔차 경로가 여전히 전체 입력 텐서를 읽기 때문에 엔드 투 엔드(end-to-end) 속도 향상은 주로 산술 강도(arithmetic intensity)보다는 메모리 대역폭(활성화 트래픽)에 의해 제한됨을 보여주었습니다.
실증적 검증: ResNet 백본, EfficientViT, 그리고 다양한 훈련 체계(ImageNet, CIFAR, 전이 학습)에 대한 포괄적인 평가를 제공합니다.

실험 결과

저자들은 ResNet-50/101/152 및 EfficientViT 백본을 사용하여 ImageNet-1K 및 CIFAR-100에서 MoCE를 평가했습니다.

정확도 vs. 효율성:
- ResNet-50 (ImageNet): MoCE는 76.71% Top-1 정확도를 달성(밀집 베이스라인 75.98% 대비)하며, 16.7%의 MAC 감소와 16.8%의 배포 파라미터 감소를 기록했습니다.
- ResNet-152: 정확도가 78.24%(vs. 77.78%)로 증가했으며, 20.8%의 MAC 감소를 달성했습니다.
- 전이 학습 (Transfer Learning): ImageNet에서 학습된 MoCE는 서포트를 다시 학습하지 않고도 CIFAR-100으로 전이되었을 때 효과가 유지되었으며, 이는 채널 역할의 안정성을 나타냅니다.
- EfficientViT: MoCE는 정확도를 유지하면서 MAC을 18~22% 감소시켰습니다.
베이스라인과의 비교:
- MoCE는 SE(Squeeze-and-Excitation) 및 CondConv보다 효율성 면에서 뛰어났으며, 훨씬 적은 파라미터와 MAC으로 SE의 정확도에 필적하는 성능을 보였습니다.
- Pick-or-Mix(동적 채널 선택 방식)와 비교했을 때, MoCE는 유사한 지연 시간으로 더 높은 정확도를 달성했습니다.
절제 연구 (Ablation Studies):
- 서포트 설계: 무작위 고정 서포트는 성능이 크게 저하(61.30%)된 반면, 결정론적 순환(cyclic) 서포트는 밀집 베이스라인에 거의 근접했습니다(78.27% vs. 78.44%). 학습된 서포트가 최상의 성능을 제공하여, 서포트 구조를 학습하는 것의 필연성을 확인했습니다.
- 희소도 ( $k$ ): 최적의 $k$ 는 8로 나타났으며, 이는 계산적 손익분기점( $C=256$ 일 때 $k^* \approx 63$ )보다 훨씬 낮았습니다. 이는 제약 조건이 계산적 측면이 아닌 표현력 측면에 있음을 나타냅니다.
- 지연 시간 (Latency): MoCE는 메모리 대역폭 병목 현상으로 인해 엔드 투 엔드 지연 시간을 약 4.6% 감소시켰습니다(16.7%의 MAC 감소보다 작음). 그러나 넓은 프로젝션(예: 2048→512)에서는 속도가 3.0배까지 향상되었습니다.

의의 및 주장

본 논문은 MoCE가 정적 희소 서포트와 최소한의 입력 적응형 믹싱을 활용함으로써 밀집 포인트와이즈 프로젝션에 대한 실용적이고 하드웨어 친화적인 대안을 제공한다고 주장합니다.

효율성: 감소된 계산량, 파라미터 수, 실행 시간을 통해 더 높거나 유지된 정확도라는 공동의 운영 지점을 달성합니다.
설계 원칙: 채널 믹싱 레이어에서는 "입력 신호"를 (온도를 통해) 고정된 채널 세트를 어떻게 집계할지 조절하는 데 사용하는 것이, 어떤 채널을 읽을지 동적으로 선택하는 데 사용하는 것보다 더 효과적임을 확립했습니다. 이 구분을 통해 모델은 정적 스케줄링의 실행 효율성을 유지하면서도 적응성의 이점을 누릴 수 있습니다.
중복성: 밀집 포인트와이즈 프로젝션은 상당한 중복을 포함하고 있음을 시사합니다. 즉, 수백 개의 채널에 대한 밀집 프로젝션의 성능을 단 8개의 채널에 대한 볼록 혼합(convex mixture)만으로도 일치시키거나 능가할 수 있습니다.

저자들은 속도 향상이 산술 연산이 아닌 메모리 트래픽에 의해 제한된다는 점을 언급하며 신중한 태도를 유지하며, 주요 이점은 잔차 연결을 통해 정보 흐름을 유지하면서 프로젝션 레이어의 산술 강도를 줄이는 데 있다고 설명합니다.