Deterministic multi-hash routing supports long-horizon training in a compact language model
Este artigo demonstra que um modelo de linguagem compacto de 201 milhões de parâmetros, utilizando roteamento multi-hash determinístico baseado em identidade de tokens para seleção de especialistas, pode alcançar um desempenho competitivo em tarefas de treinamento de longo horizonte, embora a contribuição específica do mecanismo de roteamento permaneça não isolada devido à falta de controles densos correspondentes.