Depth-Staggered Fibonacci Spacing for Sparse Attention: Static Schedules Beat Learned Dilation and Extrapolate Where Dense Attention Fails

Probleemstelling

Het artikel adresseert de uitdaging om de kwadratische computationele kosten van self-attention in taalmodellen te verminderen door middel van sparse attention-mechanismen. Hoewel veel bestaande schema's queries beperken tot specifieke subsets van keys (bijv. lokale vensters, gestreepte patronen of per-head variaties), is er beperkte kennis over hoe men een enkele afstandsparameter optimaal over de netwerkdiepte kan variëren in een gecontroleerde setting. Specifiek onderzoeken de auteurs of een per-laag scalaire $\alpha$, die Fibonacci-gespatieerde offsets schaalt, vastgezet, geleerd moet worden via dynamische optimalisatie, of ingesteld moet worden via een statisch schema om de balans te vinden tussen de dekking van het receptieve veld en de modelprestaties.

Methodologie

De auteurs voerden een gecontroleerde vergelijking uit over 21 taalmodellen die getraind zijn met een identiek receptuur (60M parameters, 512 hidden dimension, 16 lagen, 426M tokens).

Architectuur en Attention-mechanisme:

• Attended Set: Voor elke query op positie $i$ let de aandacht op een dense lokaal venster van grootte $W$ plus een set sparse offsets gebaseerd op een Fibonacci-sequentie ($fib = [1, 2, 3, 5, \dots, 987]$).
• Scaling: Elke offset $f_k$ wordt geschaald door een per-laag scalaire $\alpha$ zodat de doelafstand $d_k = \alpha f_k$ is. De scalaire is beperkt tot $\alpha \in [0.5, 1.5]$.
• Implementatie: Om gradiëntdoorstroming naar $\alpha$ mogelijk te maken wanneer offsets geen gehele getallen zijn, gebruikt het model lineaire interpolatie tussen key/value-rijen. Rotary position embeddings (RoPE) worden toegepast vóór het verzamelen (gathering).

Experimentele Variabelen:
De studie vergeleek vier methoden voor het instellen van de scalaire $\alpha$ over de 16 lagen:

1. Fixed (Vast): $\alpha = 1$ voor alle lagen.
2. Learned (Geleerd): Een vrije parameter $\theta$ per laag, geïnitialiseerd op $\alpha=1$, geoptimaliseerd via gradiëntafdaling.
3. Staggered (Linear) (Gestaffeld - Lineair): Een vaste ramp waarbij $\alpha$ lineair toeneemt van 0.5 (laag 0) naar 1.5 (laag 15).
4. Staggered (Coprime/HDC) (Gestaffeld - Copriem): Dezelfde multiset van $\alpha$-waarden als de lineaire ramp, maar toegewezen aan lagen met behulp van een coprieme stap ($\ell \to (7\ell \mod L)$) om de verschillen in afstand tussen aangrenzende lagen te maximaliseren.

Controles:

• Een "reach-matched" macht-van-2 basis (log-sparse) werd gebruikt om het effect van de dichtheid van de spacing te isoleren van de specifieke Fibonacci-sequentie.
• Een dense baseline met exact dezelfde architectuur en trainingsrecept diende als de prestatie-upper bound.

Belangrijkste Bijdragen en Resultaten

1. Statische stroomlijning (Staggering) is de dominante hefboom
Over alle venstergroottes ($W \in \{6, 8, 10, 12\}$) en datasets heen, presteerde een statisch per-laag gestaffeld schema beter dan zowel vaste als geleerde schema's.

• Prestatievolgorde: Staggered $\approx$ Coprime $>$ Learned $>$ Fixed.
• Beste Model: Het lineaire gestaffelde model met $W=12$ bereikte de laagste perplexiteit (FineWeb-Edu: 42.02, Wikipedia: 37.59).
• Base Agnosticism (Onafhankelijkheid van de basis): Het voordeel van staggering is onafhankelijk van de base-sequentie. Het toepassen van de lineaire stagger op een macht-van-2 basis verbeterde deze aanzienlijk, waardoor het boven een vaste Fibonacci-basis uitkwam en gelijkwaardigheid bereikte met een geleerde Fibonacci-basis. Dit geeft aan dat de diversiteit in per-laag spacing belangrijker is dan de specifieke keuze van de base-sequentie.

2. Geleerde dilatatie is inert
In tegen tegenstelling tot de hypothese dat lagen een optimale "spring-achtige" spacing zouden "leren", bleef de geleerde scalaire $\alpha$ bijna statisch nabij zijn initialisatie ($\alpha \approx 1$).

• Prestatie: De geleerde variant verbeterde licht ten opzichte van de vaste variant, maar slaagde er niet in de statische stagger te verslaan.
• Efficiëntie: De geleerde variant veroorzaakte ongeveer 5x hogere inferentie-latentie omdat niet-gehele offsets een ongefuseerde geïnterpoleerde gather vereisten, terwijl statische varianten gebruik konden maken van snellere gefuseerde boolean-mask paden.
• Mechanistische Probe: Een gecontroleerde retrieval-taak bevestigde dat gradiëntafdaling de scalairen niet significant verplaatst, zelfs niet wanneer de taak expliciet specifieke spacing beloont. Het voordeel is structureel (diverse spacing) in plaats van adaptief.

3. Lengte-extrapolatie: Sparse Robuustheid vs. Dense Instorting
De meest significante bevinding betreft extrapolatie naar lengtes 4x de trainingslengte (4096 tokens versus 1024 trainings-tokens).

• Dense Baseline: Instortte catastrofaal, met een perplexiteitstoename van 201% (van 33.37 naar 100.36 op FineWeb-Edu).
• Sparse Varianten: Bleven robuust, waarbij de perplexiteit vlak bleef of licht verbeterde (bijv. de lineaire stagger daalde met 1.3%).
• Mechanisme: Fixed-offset sparse attention bevraagt alleen relatieve posities die tijdens de training zijn gezien. Aangezien de RoPE-hoeken voor deze offsets in-distribution zijn bij elke lengte, extrapoleert het model natuurlijk. Dense attention let op alle relatieve posities, inclusclusief die met rotatiehoeken die nooit tijdens de training zijn gezien, wat tot falen leidt.
• Base Sensitivity (Gevoeligheid voor de basis): De macht-van-2 basis degradeerde meer (+11.3%) dan de Fibonacci basis (+0% tot +2.8%) omdat de sparse treden nieuwe, ongetrainde grote offsets introduceerden (bijv. 1024, 2048) bij lange evaluatielengtes.

4. Eerlijke Negatieven en Beperkingen
Het artikel begrenst de claims expliciet met twee negatieve bevindingen:

• In-Distribution Kwaliteitskloof: Bij de trainingslengte (1024) heeft het beste sparse model een perplexiteit die ongeveer 26% hoger is dan de dense baseline. Sparse attention is een kwalitatief offer ten gunste van de lengte-generalisatie.
• Uniform Voordeel: De verbetering door staggering is uniform over alle contextposities, niet geconcentreerd bij lange afstand. Het voordeel lijkt voort te komen uit algemene per-laag representatieve diversiteit in plaats van een specifiek "long-range reaching" effect.

Betekenis en Claims

Het paper claimt dat voor sparse self-attention, een statisch, diepte-variërend schema superieur is aan zowel vaste als geleerde schema's. De auteurs stellen dat het "geleerde veer"-mechanisme onnodig en inefficiënt is; in plaats daarvan biedt het handmatig opleggen van een gestaffeld bereik aan spacings de noodzakelijke diversiteit in het receptieve veld.

De primaire praktische implicatie is een trade-off: gestructureerde sparse attention offert in-distribution kwaliteit op tijdens de training, maar biedt bijna nul kosten voor extrapolatie naar lengtes waar dense attention volledig faalt. Dit maakt het een levensvatbare strategie voor toepassingen die lang-context verwerking vereisen zonder de computationele overhead van dense attention of de complexiteit van geleerde positionele aanpassingen.

De auteurs benadrukken dat deze resultaten specifiek zijn voor de geteste schaal (60M parameters) en vanilla RoPE zonder scaling, en dat de optimale gestaffelde schedule (lineair vs. copriem) een open vraag blijft voor grotere modellen.