An Empirical Comparison of Positional Encoding Methods in a Small Character-Level Transformer
本研究は、シェイクスピア風のテキストで学習された小規模な文字レベルのTransformerにおいて4つの位置エンコーディング手法を経験的に比較しており、その結果、Rotary Positional Embeddings (RoPE) が検証損失およびテキスト生成の質の両面において、学習済み埋め込み、正弦波エンコーディング、およびALiBiを一貫して上回っていることを見出したが、これらの結果は実験設定に固有のものである。