Deterministic multi-hash routing supports long-horizon training in a compact language model
Questo articolo dimostra che un modello linguistico compatto da 201 milioni di parametri, che utilizza un routing multi-hash deterministico basato sull'identità del token per la selezione degli esperti, può raggiungere prestazioni competitive in compiti di addestramento a lungo orizzonte, sebbene il contributo specifico del meccanismo di routing rimanga non isolato a causa della mancanza di controlli densi corrispondenti.