Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies
本論文は、すべてのRoPE周波数が一対一で異なることを要求する、これまで明文化されていなかった「max_cluster = 1」という条件を特定および検証し、推論時にこの暗黙の制約に違反することが大規模言語モデルにおいて壊滅的な性能低下を引き起こすことを実証するとともに、標準的な幾何学的スケールは、その対数の底の超越的な性質によって本質的にこの制約を満たしていることを証明するものである。