An Empirical Comparison of Positional Encoding Methods in a Small Character-Level Transformer
Este estudio compara empíricamente cuatro métodos de codificación posicional en un pequeño Transformer a nivel de caracteres entrenado con texto de estilo shakesperiano, encontrando que los Embeddings Posicionales Rotatorios (RoPE) superan consistentemente a los embeddings aprendidos, a la codificación sinusoidal y a ALiBi en la pérdida de validación y en la calidad de la generación de texto, aunque los resultados son específicos del entorno experimental.