Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks
Ce papier présente Jordan-RoPE, un encodage de position relative non semi-simple qui exploite des blocs de Jordan complexes pour générer des caractéristiques oscillatoires-polynomiales afin de modéliser les interactions de phase modulées par la distance, démontrant des avantages structurels et des gains de performance spécifiques par rapport aux bases RoPE et ALiBi standard dans certains contextes.