💬 NLP

PaTH Attention: Position Encoding via Accumulating Householder Transformations

Dit artikel introduceert PaTH, een flexibele, datagegevensafhankelijke positie-encodering gebaseerd op geaccumuleerde Householder-transformaties die de standaard Rotary Position Encoding (RoPE) overtreft in taalmodelleringstaken, terwijl het efficiënte parallelle training en de mogelijkheid biedt om vooraf getrainde RoPE-modellen te converteren.

Oorspronkelijke auteurs: Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

Gepubliceerd 2026-02-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Blinde" Geheugen

Stel je een groot taalmodel voor (zoals degene waar je nu mee praat) als een zeer intelligente bibliothecaris die een lang boek leest om je vragen te beantwoorden. Om het verhaal te begrijpen, moet de bibliothecaris niet alleen weten wat de woorden zijn, maar ook waar ze in het boek voorkomen.

Huidige modellen gebruiken een systeem genaamd RoPE (Rotary Position Encoding) om de posities van woorden te onthouden. Denk aan RoPE als een vaste, vooraf gedrukte liniaal.

Als je een woord van pagina 1 naar pagina 2 verplaatst, verschuift de liniaal het met een vast bedrag.
De Fout: Deze liniaal is "blind" voor de inhoud. Het behandelt het woord "appel" en het woord "raket" precies hetzelfde, simpelweg omdat ze op dezelfde plek staan. Het geeft niet om de vraag of het verhaal over een vrucht of een ruimteschip gaat. Hierdoor raakt de bibliothecaris soms in de war wanneer het verhaal complexe, stapsgewijze logica vereist (zoals het bijhouden wie welk item bezit in een lange lijst).

De Oplossing: PaTH (De "Slimme" Liniaal)

De auteurs introduceren PaTH, een nieuwe manier om posities te onthouden. In plaats van een vaste liniaal is PaTH als een dynamische, vormveranderende liniaal die van vorm verandert op basis van het verhaal dat het leest.

Hoe het werkt: Terwijl de bibliothecaris elk woord leest, past PaTH een speciale wiskundige "draai" toe (een zogenaamde Householder-transformatie) op het geheugen van eerdere woorden.
De Analogie: Stel je voor dat je door een gang loopt met spiegels.
- RoPE: De spiegels zijn vast. Ongeacht wat je draagt, je reflectie ziet er hetzelfde uit.
- PaTH: De spiegels zijn slim. Als je een rode hoed draagt, draait de spiegel je reflectie op een bepaalde manier. Als je een blauwe hoed draagt, draait de spiegel je reflectie op een andere manier. De "draai" hangt af van de werkelijke inhoud (de hoed) die je vasthoudt.

Dit stelt het model in staat om een "pad" van geheugen op te bouwen dat zich aanpast aan de specifieke data die het verwerkt, waardoor het veel beter wordt in het oplossen van puzzels die het bijhouden van toestanden vereisen (zoals het onthouden van de waarde van een variabele in een computercode).

De Magische Truc: Het Snel Doen

Normaal gesproken zou het maken van een liniaal die voor elk woord van vorm verandert ongelooflijk traag en rekenintensief zijn. Het zou zijn alsof je de hoeken van alle spiegels in de gang opnieuw moet berekenen elke keer dat je een stap zet.

De tweede grote bijdrage van het paper is een versnellingsalgoritme (vergelijkbaar met iets dat FlashAttention wordt genoemd).

De Analogie: In plaats van de hele gang elke keer opnieuw te berekenen, hebben de auteurs een slimme afkorting gevonden. Ze realiseerden zich dat als je de spiegels in kleine blokken groepeert, je de "draai" voor het hele blok in één keer kunt berekenen met een compacte wiskundige formule.
Het Resultaat: Ze hebben een systeem gebouwd dat bijna net zo snel werkt als het oude systeem met de vaste liniaal (RoPE), maar wel de "slimme, veranderende" voordelen van het nieuwe systeem behoudt.

Wat Hebben Ze Bewezen?

De auteurs hebben dit nieuwe systeem op twee manieren getest:

Synthetische Puzzels (De "Leerwielen"):
Ze gaven het model eenvoudige logische spelletjes, zoals een "Flip-Flop" spel waarbij het moet onthouden wanneer voor het laatst een schakelaar werd omgezet, of een "Woordprobleem" spel dat complexe wiskundige regels bevat.
- Resultaat: De oude modellen (RoPE) faalden vaak bij deze puzzels omdat ze in de war raakten door de sequentie. Het nieuwe PaTH-model loste ze bijna perfect op, zelfs met minder lagen van de "hersenen" dan de anderen.
Echte Taaltaken:
Ze trainden modellen op echte teksten (boeken, code, gesprekken).
- Resultaat: PaTH-modellen waren beter in het begrijpen van lange contexten (zeer lange boeken lezen zonder het begin te vergeten) en presteerden beter op taken met redeneringen, vooral in programmeren en wiskunde.
- Bonus: Ze lieten zien dat je een bestaand model dat getraind is met de oude "vaste liniaal" (RoPE) kunt omzetten naar het gebruik van de "slimme liniaal" (PaTH) met slechts een klein beetje extra training, zonder helemaal opnieuw te hoeven beginnen.

De Kernboodschap

PaTH is een nieuwe manier voor AI om de volgorde van woorden te onthouden. In plaats van een rigide systeem dat voor iedereen hetzelfde is, gebruikt het een flexibel systeem dat verandert op basis van de woorden zelf. De auteurs hebben ontdekt hoe ze dit flexibele systeem snel genoeg kunnen laten draaien om praktisch bruikbaar te zijn, wat resulteert in AI-modellen die beter zijn in logica, het bijhouden van informatie over lange afstanden en het begrijpen van complexe sequenties.

Technische Samenvatting: PaTH Attention

1. Probleemstelling

Het aandachtmechanisme (attention mechanism) is fundamenteel voor moderne Large Language Models (LLM's), maar is inherent permutatie-invariant. Om gestructureerde domeinen zoals taal te modelleren, is positie-encoding vereist. Hoewel Rotary Position Embedding (RoPE) de de facto standaard is geworden, bezit het een kritieke beperking: de transformatie die op keys en queries wordt toegepast, is data-onafhankelijk. In RoPE hangt de interactie tussen twee tokens uitsluitend af van hun relatieve afstand, niet van de inhoud van de tokens zelf.

Deze data-onafhankelijkheid beperkt de expressiviteit van RoPE-gebaseerde transformers. Theoretische analyse wijst uit dat RoPE-gebaseerde modellen binnen de $TC^0$ complexiteitsklasse blijven (gelijk aan gewone transformers met absolute positie-embeddings), wat hun vermogen beperkt om taken op te lossen die sequentieel redeneren of state-tracking vereisen (bijv. flip-flop taalmodellering, state-tracking problemen). Bijgevolg worstelen deze modellen met synthetische taken die dynamische adaptatie aan inputsequenties vereisen.

2. Methodologie: PaTH Attention

De auteurs stellen PaTH (Position Encoding via Accumulating Householder Transformations) voor, een flexibele, data-afhankelijke position encoding methode.

Kernmechanisme

In tegen tegenstelling tot RoPE, dat een vaste rotatiematrix toepast, berekent PaTH attention logits met behulp van een cumulatief product van data-afhankelijke Householder-achtige transformaties langs het pad tussen query- en key-posities.

Formulering van de Attention Logit: De attention score tussen query $q_i$ en key $k_j$ wordt gedefinieerd als:
$A_{ij} \propto \exp\left(k_j^\top \left(\prod_{s=j+1}^{i} H_s\right) q_i\right)$
Data-afhankelijke Transitie-matrix ( $H_s$ ): Elke matrix $H_s$ in de sequentie is een Householder-achtige identiteit-plus-rank-one matrix:
$H_s = I - \beta_s w_s w_s^\top$
Hier zijn $w_s$ en $\beta_s$ functies van de inputtoken $x_s$ . Specifiek is $\beta_s = 2 \times \text{sigmoid}(u^\top x_s + b)$ , waardoor de transitie-matrix negatieve eigenwaarden kan hebben, wat cruciaal is voor de prestaties bij state tracking.

Theoretische Expressiviteit

Het artikel stelt vast dat PaTH de theoretische capaciteiten van transformers uitbreidt.

Complexiteitsklasse: Een eenlaagse PaTH-transformer met twee attention heads kan een $NC^1$ -complete probleem oplossen onder $AC^0$ reducties. Dit demonstreert dat PaTH de $TC^0$ barrière kan doorbreken die RoPE-gebaseerde modellen beperkt.
Relatie tot Lineaire RNN's: Er wordt aangetoond dat PaTH nauw verwant is aan expressieve lineaire RNN's (zoals DeltaNet), waarbij het hun vermogen om staten te tracken overneemt terwijl de associatieve recall-voordelen van softmax attention behouden blijven.

Uitbreidingen: PaTH-FoX

De auteurs demonstreren dat Paşt compatibel is met andere aanpassingen aan attention. Ze stellen PaTH-FoX voor, die de multiplicatieve position encoding van PaTH combineert met de additive, data-afhankelijke forget gates van de Forgetting Transformer (FoX). Deze hybride aanpak verbetert de prestaties verder, met name bij lengte-extrapolatie.

3. Efficiënte Training en Inferentie

Een grote uitdaging bij PaTH is het efficiënt berekenen van het cumulatieve product van Householder-matrices zonder de volledige $L \times L$ attention matrix te materialiseren.

UT Transform Representatie: De auteurs maken gebruik van de UT transform om het product van Householder-matrices compact weer te geven. Een product van $L$ transformaties kan worden uitgedrukt als $P = I - W^\top T^{-1} W$ , waarbij $W$ de vectoren $w_s$ bevat en $T$ een driehoekige matrix is afgeleid van de $\beta$ -waarden.
FlashAttention-Stijl Algoritme: Om hardware-efficiënte training mogelijk te maken, ontwikkelen de auteurs een blockwise algoritme:
- Ze berekenen vooraf "boundary-adjusted" query en key matrices voor elk blok.
- Ze gebruiken een right-to-left scan over key/value blokken om de cumulatieve Householder-producten op een streaming wijze te accumuleren.
- Deze aanpak behoudt de I/O-efficiëntie van FlashAttention (opererend binnen SRAM) terwijl dynamische positionele encoding wordt toegepast.
Inferentie: Voor inferentie worden historische keys in-place bijgewerkt met de transitie-matrix van het huidige tijdstap, waardoor de noodzaak voor een aparte cache van transformatie-vectoren vervalt. Dit maakt compatibiliteit mogelijk met bestaande inferentie-kernels zoals FlashDecoding.

4. Experimentele Resultaten

Synthetische Benchmarks

PaTH werd geëvalueerd op taken die ontworpen zijn om sequentieel redeneren en state tracking te testen:

Flip-Flop Language Modeling (FFLM): PaTH-gebaseerde modellen (1 laag, 2 heads) behaalden bijna perfecte nauwkeurigheid op deze taak, terwijl RoPE-gebaseerde modellen aanzienlijk moeite hadden.
Wooproblemen ( $A_5$ Groep): PaTH loste $NC^1$ -complete wooproblemen op met minder lagen dan baselines (RoPE, SBA, FoX).
Multi-query Repeated Associative Recall (MQRAR-N): PaTH trackte succesvol variabele waarden voor $N$ -back recall ( $N < 4$ ), waarbij het recente baselines versloeg die faalden in het tracken van geordende historieën.

Taalmodellering (760M Parameters)

Experimenten werden uitgevoerd op de Fineweb-Edu corpus (50B tokens):

Standaard Benchmarks: PaTH presteerde consequent beter dan RoPE en FoX op zero-shot commonsense reasoning taken (LAMBADA, PIQA, HellaSwag, etc.) en behaalde een lagere perplexiteit op Wikitext.
Lengte-extrapolatie: Modellen getraind op een 4K context generaliseerden goed naar langere sequenties.
- RoPE: Faalde abrupt voorbij 4K.
- PaTH: Behield stabiele prestaties tot 32K.
- PaTH-FoX: Generaliseerde robuust tot 64K tokens, waarbij het een bijzondere kracht toonde in code generatie (CodeParrot) waar state tracking cruciaal is.
Long-Context Benchmarks: Op RULER, BABILONG en PhoneBook behaalde PaTH-FoX de hoogste retrieval en state-tracking scores, waarbij het RoPE en FoX significant versloeg in Multi-Needle-In-A-Haystack en variabele tracking taken.

Model Conversie

De auteurs onderzochten het converteren van gepre-trainde RoPE-modellen naar PaTH:

SmolLM2-1.7B: Het converteren van een model voordat het werd blootgesteld aan hoogwaardige wiskunde/code data en vervolgens het pre-trainen voortzetten, resulteerde in het feit dat PaTH het originele RoPE-model versloeg op wiskunde (GSM-8K) en coding (HumanEval, MBPP) benchmarks.
Qwen2.5-7B: Distillatie van een reeds overgetraind RoPE-model leverde gemengde resultaten op, met enige prestatiewinst maar ook degradatie op bepaalde benchmarks, wat suggereert dat conversie het meest effectief is voordat het model "versteent" (ossifies).

5. Betekenis en Claims

Het artikel claimt dat PaTH de theoretische en empirische beperkingen van huidige position encoding schema's aanpakt door data-afhankelijke multiplicatieve transformaties te introduceren.

Expressiviteit: Het biedt een principiële manier om transformers voorbij de $TC^0$ complexiteitsklasse te bewegen, waardoor ze $NC^1$ -complete problemen kunnen oplossen.
Praktiseerbaarheid: Door de UT transform en blockwise algoritmen bereikt PaTH een efficiëntie die vergelijkbaar is met standaard attention mechanismen, wat het levensvatbaar maakt voor grootschalige training.
State Tracking: Het data-afhankelijke karakter van de Householder transformaties stelt het model in staat om zich dynamisch aan te passen aan inputsequenties, waardoor state-tracking taken worden opgelost die ontoelaatbaar zijn voor RoPE-gebaseerde modellen.

6. Beperkingen

De auteurs erkennen enkele kanttekeningen:

Numerieke Stabiliteit: Training kan gevoelig zijn voor precisie; specifiter kan BF16 instabiliteit veroorzaken in het cumulatieve product, wat het afkappen (clipping) van de schalingfactor $\beta$ vereist.
Computationele Overhead: Hoewel efficiënt, vergroten grotere head dimensies de computationele en geheugen overhead van de Householder product berekeningen vergeleken met standaard attention.
Geometrische Biases: PaTH modelleert niet van nature rotaties (aangezien Householder matrices reflecties zijn). Dit kan bepaalde geometrische inductieve biases beperken die aanwezig zijn in RoPE, zoals de gestructureerde afhankelijkheid van relatieve positie, hoewel de auteurs suggereren dat toekomstig werk rotaties kan benaderen via composities van reflecties.