Task-Conditioned Routing Signatures in Sparse Mixture-of-Experts Transformers
Este artigo demonstra que os mecanismos de roteamento em arquiteturas Sparse Mixture-of-Experts (MoE) exibem uma estrutura sensível à tarefa, onde prompts da mesma categoria geram assinaturas de roteamento altamente similares que permitem a classificação precisa de tarefas, sugerindo que o roteamento é um componente condicional mensurável e não apenas um mecanismo de equilíbrio de carga.