Technische Samenvatting: Mixture of Channel Experts (MoCE)

Probleemstelling

Het artikel behandelt de computationele kosten van pointwise (1×1) convoluties in moderne computer vision-backbones, die dienen als kanaal-mixende operatoren in ResNet-bottlenecks, inverted bottlenecks en Vision Transformers. Deze operaties schalen kwadratisch met de kanaalbreedte ($C_{in} \times C_{out}$), wat ze een primair doelwit maakt voor gestructureerde sparsificatie.

De auteurs identificeren een kritieke foutmodus wanneer principes van Mixture-of-Experts (MoE) direct worden toegepast op convolutionele netwerken. In standaard MoE wordt een input gerouteerd naar een subset van gedupliceerde operatoren. Echter, wanneer parallelle convolutionele experts dezelfde inputkanalen en supervisie delen, leren zij bijna identieke filters (geobserveerde gemiddelde cosinusgelijkenis van 0,88), waardoor ze niet in staat zijn tot nuttige specialisatie. Dit suggereert dat het dupliceren van operatoren een inefficiënt pad naar specialisatie is wanneer de inputrepresentatie gedeeld wordt.

Methodologie: Mixture of Channel Experts (MoCE)

Om de redundantie van operator-duplicatie op te lossen, stellen de auteurs Mixture of Channel Experts (MoCE) voor, wat de as van specialisatie verschuift van gedupliceerde operatoren naar sparse kanaalselectie.

Kernarchitectuur

MoCE vervangt een dense pointwise projectie door een gestructureerde sparse laag bestaande uit:

1. Gerouteerde Experts: In plaats van volledige convolutionele filters, komt elke "expert" overeen met een enkel outputkanaal. Het opereert op een geleerd, statisch subset van $k$ inputkanalen (waarbij $k \ll C$).
2. Statische Sparse Supports: De selectie van inputkanalen voor elke expert wordt bepaald door routing-logits. Tijdens de training worden deze logits geoptimaliseerd; tijdens de inferentie worden de top-$k$ indices vooraf berekend en vastgelegd. Dit maakt vaste geheugentoegangspatronen en gepakte executie mogelijk zonder data-afhankelijke vertakkingen.
3. Input-Adaptieve Mixen: Hoewel de set van geselecteerde kanalen statisch is, is de weging van deze kanalen dynamisch. Een lichtgewicht gate voorspelt een temperatuurparameter $\tau$ per expert en inputvoorbeeld. Deze temperatuur moduleert de softmax-concentratie van de mixcoëfficiënten:
   • Lage $\tau$: Concentreert de massa op het hoogst gewogen kanaal (max-achtig).
   • Hoge $\tau$: Nadert een uniforme gemiddelde (mean-achtig).
   • Dit stelt de expert in staat om de aggregatiestrategie aan te passen zonder de geselecteerde support te veranderen of een volledige router nodig te hebben om alle $C$ kanalen te scoren.
4. Residuele Dekking: Een residuele expert aggregeert alle inputkanalen die niet door een geruteerde expert zijn geselecteerd (de verzameling $U$). Dit zorgt ervoor dat geen enkel inputkanaal volledig wordt genegeerd, waardoor de informatiestroom behouden blijft.
5. Load Balancing: Een regularisatieterm ($L_{cov}$) stimuleert een uniforme aggregatie van alle inputkanalen over de experts heen, om te voorkomen dat het model instort naar een kleine subset van kanalen.

Ontwerp-ratio: Statisch vs. Dynamisch

Het artikel onderzoekt of input-afhankelijkheid beter besteed kan worden aan het kiezen welke kanalen gelezen worden (dynamische support) of het kiezen hoe deze kanalen gecombineerd worden (adaptieve mixing).

• Dynamische Support: Een router die alle $C$ kanalen per input scoort om $k$ te selecteren, is zeer expressief maar brengt aanzienlijke overhead in geheugentoegang en latentie met zich mee (geobserveerd 7,13× langzamer in experimenten) met verwaarloosbare winst in nauwkeurigheid (+0,03%).
• Adaptieve Mixing: Een gate die alleen de reeds geselecteerde $k$ descriptors leest om een scalaire temperatuur te voorspellen, is computationeel goedkoop. Het verwijderen van deze gate resulteerde in een significante daling van de nauwkeurigheid (-1,19%).
• Conclusie: De auteurs concluderen dat voor pointwise projecties input-afhankelijkheid het meest effectief is wanneer het wordt toegepast op de aggregatiestrategie (mixing) in plaats van op de lidmaatschapsselectie (support), waardoor MoCE statisch programmeerbaar blijft.

Belangrijkste Bijdragen

1. Structureel Inzicht: Het demonstreren dat operator-duplicatie faalt in gedeelde-input convolutionele MoE door filteruitlijning, wat een verschuiving noodzakelijk maakt naar kanaalselectie-gebaseerde sparsiteit.
2. MoCE Laag: Een nieuwe sparse kanaal-mixende laag die dense projecties vervangt door geleerde statische supports en input-adaptieve mixing.
3. Efficiëntie-analyse: Het aantonen dat hoewel MoCE de MACs aanzienlijk vermindert, de end-to-end snelheidswinst vaak beperkt wordt door geheugenbandbreedte (activatieverkeer) in plaats van rekenkundige intensiteit, aange aspecten zoals pooling en de residuele paden nog steeds de volledige input-tensor lezen.
4. Empirische Validatie: Het bieden van een uitgebreide evaluatie over ResNet-backbones, EfficientViT en diverse trainingsregimes (ImageNet, CIFAR, transfer learning).

Experimentele Resultaten

De auteurs evalueerden MoCE op ImageNet-1K en CIFAR-100 met ResNet-50/101/152 en EfficientViT backbones.

• Nauwkeurigheid vs. Efficiëntie:
  • ResNet-50 (ImageNet): MoCE bereikte 76,71% Top-1 nauwkeurigheid (tegenover 75,98% dense baseline) met een reductie van 16,7% in MACs en een reductie van 16,8% in gedeployed parameters.
  • ResNet-152: Nauwkeurigheid steeg naar 78,24% (tegenover 77,78%) met een MAC-reductie van 20,8%.
  • Transfer Learning: De door MoCE ondersteunde geleerde kanalen bleven effectief wanneer ze werden getransfereerd naar CIFAR-100 zonder de supports opnieuw te leren, wat duidt op stabiele kanaalrollen.
  • EfficientViT: MoCE verminderde de MACs met 18–22% terwijl de nauwkeurigheid behouden bleef.
• Vergelijking met Baselines:
  • MoCE presteerde beter dan SE (Squeeze-and-Excitation) en CondConv op het gebied van efficiëntie, waarbij het de nauwkeurigheid van SE evenaarde met aanzienlijk minder parameters en MACs.
  • Vergeleken met Pick-or-Mix (een methode voor dynamische kanaalselectie), behaalde MoCE een hogere nauwkeurigheid met een vergelijkbare latentie.
• Ablatie-studies:
  • Support Design: Willekeurige vaste supports verslechterden de prestaties aanzienlijk (61,30%), terwijl deterministische cyclische supports de dense baseline bijna evenaarden (78,27% vs. 78,44%). Geleerde supports boden de beste prestaties, wat de noodzaak van het leren van de support-structuur bevestigt.
  • Sparsity ($k$): De optimale $k$ werd gevonden op 8, ruim onder het computationele break-even punt ($k^* \approx 63$ voor $C=256$), wat aangeeft dat de beperking representatief is, niet computationeel.
  • Latentie: MoCE verminderde de end-to-end latentie met ~4,6% (kleiner dan de 16,7% MAC-reductie) vanwege bottlenecks in de geheugenbandbreedte. Echter, in brede projecties (bijv. 2048→512), bereikte de snelheidswinst 3,0×.

Betekenis en Claims

Het artikel claimt dat MoCE een praktische, hardware-efficiënte alternatief biedt voor dense pointwise projecties door gebruik te maken van statische sparse supports gecombineerd met minimale input-adaptieve mixing.

• Efficiëntie: Het bereikt een gezamenlijk optimaal punt van hogere (of behouden) nauwkeurigheid met verminderde berekening, aantal parameters en executietijd.
• Ontwerpprincipe: Het werk stelt vast dat in kanaal-mixende lagen het "inputsignaal" beter benut kan worden om te moduleren hoe een vaste set kanalen wordt geaggregeerd (via temperatuur) dan om dynamisch te selecteren welke kanalen gelezen worden. Dit onderscheid stelt het model in staat om de voordelen van adaptiviteit te behouden terwijl de executie-efficiëntie van statische scheduling behouden blijft.
• Redundantie: De resultaten suggereren dat dense pointwise projecties substantiële redundantie bevatten, aangezien een convexe mix van slechts 8 kanalen per output de prestaties van een dense projectie over honderden kanalen kan evenaren of overtreffen.

De auteurs houden een bescheiden standpunt aan door te merken dat de snelheidswinst begrensd wordt door het geheugentrafiek in plaats van de rekenkracht, en dat de primaire winst voortkomt uit het verminderen van de rekenkundige intensiteit van de projectielaag terwijl de informatiestroom via residuele verbindingen behouden blijft.