Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies
Este artigo identifica e valida uma condição anteriormente não articulada de "max_cluster = 1", que exige a distinção pareada de todas as frequências RoPE, demonstrando que a violação dessa restrição implícita no momento da inferência causa uma degradação catastrófica de desempenho em grandes modelos de linguagem, ao mesmo tempo em que prova que os cronogramas geométricos padrão satisfazem inerentemente essa condição devido à natureza transcendente de suas bases logarítmicas.