Deterministic multi-hash routing supports long-horizon training in a compact language model
Cet article démontre qu'un modèle de langage compact de 201 millions de paramètres utilisant un routage par multi-hachage déterministe basé sur l'identité des jetons pour la sélection des experts peut atteindre des performances compétitives sur des tâches d'entraînement à long horizon, bien que la contribution spécifique du mécanisme de routage ne puisse être isolée en raison de l'absence de contrôles denses appariés.