An Empirical Comparison of Positional Encoding Methods in a Small Character-Level Transformer
Cette étude compare empiriquement quatre méthodes de codage positionnel dans un petit Transformer de niveau caractère entraîné sur un texte de style shakespearien, concluant que les Rotary Positional Embeddings (RoPE) surpassent systématiquement les plongements appris, le codage sinusoïdal et ALiBi en termes de perte de validation et de qualité de génération de texte, bien que les résultats soient spécifiques au cadre expérimental.