Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies

Probleemstelling

Het artikel identificeert een voorheen niet gearticuleerde foutmodus in Rotary Position Embedding (RoPE), een standaard positionele codering in large language models. Terwijl eerder werk (specifiek Liu et al., 2024) een foutmodus karakteriseerde die gerelateerd is aan "onder-rotatie" aan het lage-frequentie-einde van het spectrum (dimensies die geen volledige rotatie voltooien binnen de trainingscontext), identificeert dit artikel een distincte, catastrofale foutmodus die optreedt aan het hoge-frequentie-einde van het spectrum.

Het kernproblein is de paarwijze onderscheidbaarheid van de frequentie-tuple $\{\theta_k\}$. De auteurs definiëren een conditie genaamd max_cluster = 1, die vereist dat alle $d/2$ per-dimensie frequenties in een RoPE-schema paarwijs onderscheidbaar zijn. Als deze conditie wordt geschonden (d.w.z. als twee of meer frequenties samenvallen en een "cluster" vormen), raakt de gezamenlijke fase-trajectorie van het aandachtsmechanisme van het model beperkt tot een lager-dimensionale roosterstructuur (sublattice). Deze beperking zorgt ervoor dat de getrainde aandachtspatronen instorten, wat leidt tot een catastrofale degradatie in perplexiteit tijdens inferentie, met name bij lange contextlengtes.

Methodologie

De studie maakt gebruik van een gecontroleerde inferentie-tijd perturbatie-aanpak op twee productie-schaal modellen: Mistral-7B-v0.3 en Qwen2.5-7B (beide gebruikmakend van de geometrische vorm $\theta_k = b^{-2k/d}$ met basis $b=10^6$ en hoofddimensie $d=128$).

1. Perturbatie-schema's:

   • Lineaire Kwantisatie (INT8/INT4): Deze schema's laten van nature kleine inverse-frequentiewaarden (overeenkomend met hoge-$\theta$ kanalen) samenvallen in dezelfde kwantisatie-bin, waardoor grote clusters ontstaan (max_cluster tot 38).
   • Log-kwantisatie (Controle): Een bit-gematchte controle die in de log-ruimte kwantiseert, waardoor de paarwijze onderscheidbaarheid expliciet behouden blijft (max_cluster = 1).
   • Gladde Perturbaties: Multiplicatieve ruis toegepast op frequenties om de gevoeligheid voor kleine waarde-veranderingen te testen zonder de onderscheidbaarheid te verbreken.
   • Gecontroleerde Cluster-constructie: Het kunstmatig construeren van clusters van specifieke groottes (codimensie) op specifieke spectrale posities (lage-$\theta$ vs. hoge-$\theta$) met gecontroleerde log-afstanden.

2. Evaluatie:

   • Modellen werden geëvalueerd op drie datasets (WikiText-2, C4, PG-19) over vier contextlengtes ($L \in \{2048, 4096, 8192, 16384\}$).
   • De primaire metriek was de inflatiefactor (de ratio tussen de geperturbeerde perplexiteit en de baseline perplexiteit).

3. Theoretische Analyse:

   • De auteurs maken gebruik van de Hermite–Lindemann-stelling uit de transcendentietheorie om te bewijzen dat de standaard geometrische vorm van RoPE automatisch voldoet aan max_cluster = 1.
   • Ze analyseren de fout met behulp van het kader van de Weyl-equidistributiestelling, waarbij ze de fase-trajectorie van het aandachtsmechanisme beschouwen als een baan op een torus $T^{d/2}$.

Belangrijkste Bijdragen

1. Identificatie van max_cluster = 1: Het artikel definieert en bewijst formeel dat elk ingezet RoPE-schema voldoet aan de conditie dat alle frequenties paarwijs onderscheidbaar zijn. Deze conditie werd voorheen niet herkend als een kritieke structurele vereiste.
2. Karakterisering van de Tweede Foutmodus: De auteurs demonstreren dat het schenden van max_cluster = 1 een "catastrofe" veroorzaakt (perplexity inflatie van 3–214$\times$) die onderscheidend is van de onder-rotatie fout beschreven door Liu et al.
3. Decompositie van de Catastrofale Omvang: De ernst van de fout wordt gedecomposed in drie meetbare assen:
   • Codimensie: De grootte van de frequentiecluster.
   • Binnen-cluster Log-afstand: Bij codimensie 2 volgt de inflatie een heldere machtswet: $\log(\text{inflatie}) \approx 0.6 \times \Delta \log \theta$ (Pearson $r > 0.996$).
   • Spectrale Positie: Clusters gevormd in de hoge-$\theta$ regio (korte-periode rotaties) zijn aanzienlijk catastrofaler (ca. 2$\times$) dan lage-$\theta$ clusters, zelfs bij een vaste codimensie en log-afstand.
4. Topologische Aard van de Fout: De studie toont aan dat gladde perturbaties (die onderscheidbaarheid behouden) geen meetbare degradatie veroorzaken, wat bewijst dat de fout topologisch is (afhankelijk van het bestaan van een cluster) in plaats van kwantitatief (afhankelijk van de grootte van de frequentieverschuivingen).
5. Theoretisch Bewijs van Veiligheid: Met behulp van de Hermite–Lindemann-stelling bewijst het artikel dat de geometrische vorm $\theta_k = b^{-2k/d}$ (met rationale $b \neq 1$) gegarandeerd max_cluster = 1 oplevert omdat $\log b$ transcendent is. Dit zorgt ervoor dat de enige gehele relaties tussen frequenties die door de priemfactorisatie van $b$ worden afgedwongen zijn, wat toevallige samenval voorkomt.

Belangrijkste Resultaten

• Catastrofale Inflatie: Lineaire INT8-kwantisatie (die clusters creëert) blies de perplexiteit op met 3–214$\times$ over 24 experimentele cellen. In tegenstelling hiertoe hield de bit-gematchte Log-INT8 controle (die onderscheidbaarheid behoudt) de perplexiteit binnen 0,1% van de full-precision baseline.
• Machtswet Regulariteit: Bij codimensie 2 is de relatie tussen log-afstand en perplexiteit-inflatie opmerkelijk stabiel over modellen en contextlengtes, met een helling van $\approx 0,6$.
• Spectrale Asymmetrie: Clusters gevormd in de hoge-$\theta$ regio (waar aandacht vertrouwt op fijnmazige positie-onderscheidingen) veroorzaakten een aanzienlijk hogere perplexiteit-inflatie dan clusters in de lage-$\theta$ regio (onder-geroteerde dimensies).
• Onafhankelijkheid van Rekenfouten: De fout wordt niet veroorzaakt door precisie-fouten in de rekenkunde, maar specifiek door de generatie van clusters (het verlies van onderscheidbaarheid).
• Theoretische Limieten: Hoewel de geometrische vorm onderscheidbaarheid garandeert, garandeert het niet volledige $\mathbb{Q}$-lineaire onafhankelijkheid (bijv. $\theta_0 = 1000\theta_{32}$ is mogelijk). Echter, het artikel betoogt dat de getrainde aandacht deze specifieke algebraïsche afhankelijkheden tolereert omdat ze aanwezig zijn tijdens de training, terwijl geïnjecteerde clusters relaties introduceren die afwezig zijn in de trainingsdistributie.

Betekenis en Claims

Het artikel claimt een structurele kwetsbaarheid in RoPE-gebaseerde modellen op te lossen die voorheen onbekend was. De significantie ligt in:

• Onderscheid van Foutmodi: Het verheldert dat RoPE twee orthogonale foutmodi heeft: één aan het lage-$\theta$ uiteinde (gestuurd door basisselectie en onder-rotatie) en één aan het hoge-$\theta$ uiteinde (gestuurd door structurele onderscheidbaarheid en clustergeneratie).
• Verklaring van Robuustheid: Het verklaart waarom getrainde aandacht de inherente algebraïsche afhankelijkheden van de geometrische vorm tolereert (die aanwezig zijn tijdens de training), maar catastrofaal reageert op perturbatie-geïnduceerde clusters (die tijdens de inferentie worden geïnjecteerd).
• Richtlijnen voor Toekomstige Schema's: De auteurs stellen dat toekomstige schema-families die afwijken van de geometrische vorm (bijv. geleerde per-dimensie schalen zoals LongRoPE) expliciet veiligheid moeten ontwerpen tegen beide foutmodi. Specifiek moeten zij ervoor zorgen dat max_cluster = 1 behouden blijft, aangezien de automatische voldoening van deze conditie via de transcendentietheorie verloren gaat bij niet-geometrische parametrisaties.

Het artikel concludeert dat de geometrische vorm veilig is aan beide uiteinden van het spectrum vanwege twee onafhankelijke mechanismen: basisselectie (bescherming van het lage-$\theta$ uiteinde) en structurele onderscheidbaarheid (bescherming van het hoge-$\theta$ uiteinde).