💻 informatica

Attention with a Calibrated Off Switch: Causal FIR Key Smoothing, the Score-Shift Pathology, and Selective Silence in Rectified Attention (pn_fir_tau)

Dit artikel introduceert **pn_fir_tau**, een parametervrije causale FIR-smoothing van keys gecombineerd met een leerbare per-layer drempelwaarde die de "Score-Shift Pathologie" in rectified attention oplost, waardoor perfecte associatieve recall wordt bereikt, attention sinks worden geëlimineerd en modellen effectief onbeantwoorde queries kunnen dempen terwijl ze een state-of-the-art perplexiteit behouden.

Oorspronkelijke auteurs: Maxim Zhukov

Gepubliceerd 2026-10-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maxim Zhukov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentiesystemen die tekst genereren, talen vertalen of vragen beantwoorden, vertrouwen op een kernmechanisme dat aandacht (attention) wordt genoemd. Stel je een lezer voor die een lang document scant; aandacht is het mentale proces dat bepaalt welke woorden belangrijk genoeg zijn om op te focussen en welke genegeerd kunnen worden. In het meest voorkomende type AI-architectuur wordt dit proces beheerst door een wiskundige regel die het systeem dwingt om de focus over alle beschikbare woorden te verdelen, zelfs wanneer er geen van hen relevant lijkt te zijn. Deze regel werkt als een strikte accountant die erop staat dat een budget van honderd procent moet worden uitgegeven, zelfs als er niets te koop is. Als gevolg hiervan wordt het systeem gedwongen om een gewicht toe te kennen aan irrelevante informatie, wat kan leiden tot fouten waarbij de AI feiten verzint of in de war raakt door ruis. Bovendien zorgt deze gedwongen verdeling voor numerieke onbalansen die het moeilijk maken om deze grote modellen op kleinere, efficiëntere hardware te draaien.

Een onderzoeker genaamd Maxim Zhukov heeft een manier onderzocht om deze systemen een gekalibreerde uit-schakelaar te geven. In plaats van het AI-systeem te dwingen zijn aandachtsbudget aan alles te besteden, staat de nieuwe methode het systeem toe om "niets gevonden" te zeggen en volledig stil te blijven wanneer er geen relevante informatie aanwezig is. Deze aanpak, getest in gecontroleerde simulaties en kleinschalige taalmodellen, lost twee verschillende problemen op. Ten eerste stelt het het systeem in staat om complexe geheugentaken uit te voeren in één stap die voorheen twee stappen vereisten. Ten tweede voorkomt het dat de AI antwoorden hallucineert wanneer de benodigde informatie ontbreekt in de context. De studie toont aan dat door de manier waarop het systeem zijn eigen geheugen leest te versoepelen en een leerbare drempelwaarde toe te voegen, het een perfecte nauwkeurigheid kan bereiken op specifieke geheugentests, terwijl het volledig stil blijft wanneer het antwoord er niet is.

De kern van het probleem ligt in de manier waarop deze modellen een vraag met een antwoord verbinden. In een standaardopstelling, als een model een trefwoord zoals "appel" ziet en een gerelateerde waarde zoals "rood" moet ophalen, moet het eerst het woord "appel" identificeren en vervolgens naar de direct volgende positie kijken om de kleur te vinden. In traditionele ontwerpen vereist dit twee afzonderlijke lagen van verwerking: één om de informatie naar voren te verschuiven en een andere om het te matchen. Dit verspilt computationele diepte, wat een kostbare bron is in kleinere modellen. Zhovks oplossing houdt een eenvoudige, vaste filter in die alleen op de geheugenstroom wordt toegepast. Deze filter mengt de huidige informatie zachtjes met de informatie die er direct vóór staat, waardoor de identiteit van het trefwoord effectief naar de plek wordt gedragen waar het antwoord leeft. Deze enkele aanpassing stelt het model in staat om het antwoord in één stap te vinden, waardoor het succespercentage op specifieke geheugentests stijgt van ongeveer vijfenveertig procent naar honderd procent.

Echter, dit versoepelingsproces creëert een nieuwe uitdaging. Door de gegevens te mengen, verschuiven de wiskundige scores die bepalen waar het model op let naar beneden. Voor de standaardregel die de aandacht verdeling afdwingt, doet deze verschuiving er niet toe omdat de regel is ontworpen om absolute waarden te negeren en alleen om de relatieve verschillen te geven. Maar voor de nieuwe methode die het systeem toestaat om uit te schakelen, is deze verschuiving fataal. Als de scores te laag worden, knipt het systeem ze af naar nul en verliest het het vermogen om te leren, waardoor het zichzelf effectief uithongert. De onderzoeker vond dat het simpelweg uitschakelen van het systeem wanneer de scores laag zijn alleen werkt als het systeem is getraind op perfecte data. Wanneer de data rommelig is of vragen bevat zonder antwoord, faalt het systeem om zichzelf te laten zwijgen, waardoor er ruis in het geheugen lekt.

Om dit op te lossen, introduceert de studie een enkele, aanpasbare drempelwaarde voor elke laag van het model. Denk aan deze drempelwaarde als een volumeknop die het systeem zelf leert instellen. Als de scores onder dit niveau liggen, behandelt het systeem ze als stilte. Als ze erboven liggen, schenkt het aandacht. Deze eenvoudige kalibratie stelt het model in staat om de neerwaartse verschuiving veroorzaakt door de filter te verwerken. In experimenten waarbij het model werd gevraagd feiten uit een tekst op te halen, bereikte het een perfecte herinnering wanneer de feiten aanwezig waren. Belangrijker nog, wanneer de feiten ontbraken, leerde het model volledig stil te blijven, waarbij het nul aandachtgewicht toekende aan de irrelevante context. Dit is een significante verbetering ten opzichte van eerdere methoden, die gedwongen waren aandacht te verdelen zelfs wanneer er niets relevant was, wat leidde tot fouten waarbij het model antwoorden zou verzinnen.

Het onderzoek hield ook rekening met efficiëntie en stabiliteit. De nieuwe methode vermijdt complexe wiskundige operaties die traag en geheugenintensief zijn, en vervangt deze door eenvoudigere berekeningen die sneller draaien op moderne computerchips. In tests op een klein taalmodel evenaarde de nieuwe aanpak of verbeterde het zelfs licht de bekwaamheid van het model om het volgende woord in een zin te voorspellen, terwijl het minder geheugen gebruikte. Het elimineerde ook de extreme numerieke pieken, bekend als uitschieters (outliers), die deze modellen vaak teisteren en het moeilijk maken om ze te comprimeren voor gebruik op mobiele apparaten. De studie bevestigt dat het systeem zonder deze pieken kan draaien, wat het robuuster maakt voor real-world toepassingen.

De bevindingen zijn specifiek voor de geteste schaal en condities. De experimenten werden uitgevoerd op modellen met enkele miljoenen parameters, wat klein is vergeleken met de enorme systemen die vandaag de dag in de industrie worden gebruikt. Ho

Hoewel de resultaten een perfecte prestatie laten zien op synthetische geheugentaken en sterke prestaties op een standaard tekstdataset, merkt de auteur op dat het opschalen hiervan naar grotere modellen verdere arbeid zal vereisen. De methode vertrouwt op een specifiek type filter en een geleerde drempelwaarde, en de studie sluit expliciet andere variaties uit die deze componenten niet bevatten. Zo leidt het simpelweg verwijderen van de drempelwaarde of het gebruiken van een ander type filter tot een aanzienlijke daling in prestaties of een falen om het model te laten zwijgen wanneer dat nodig is.

Uiteindelijk biedt dit werk een praktisch blauwdruk voor het ontwerpen van aandachtmechanismen die zowel informatie met precisie kunnen ophalen als kunnen onthouden van te gokken wanneer de informatie afwezig is. Door een vaste filter te combineren met een leerbare stilte-drempelwaarde, krijgt het systeem het vermogen om complexe geheugentaken te comprimeren in één enkele laag en zijn interne staat te bewaren wanneer het geconfronteerd wordt met onbeantwoordbare vragen. Het onderzoek suggereert dat deze aanpak kan leiden tot efficiëntere en betrouwbaardere AI-systemen, met name voor taken die betrekking hebben op het ophalen uit grote databases of geheugenversterkte redenering, waarbij weten wanneer je niet moet antwoorden even belangrijk is als het weten van het antwoord zelf. De auteur heeft de code en gedetailleerde metingen vrijgegeven, waardoor anderen deze resultaten kunnen verifiëren en kunnen voortbouwen op deze gekalibreerde uit-schakelaar voor de volgende generatie taalmodellen.

Technische Samenvatting: Attention met een Gekalibreerde Uitschakelaar (pn_fir_tau)

1. Probleemstelling

Het artikel behandelt twee fundamentele beperkingen in standaard Transformer-attentionmechanismen, specifiek met betrekking tot associatieve recall en de preservatie van de residual stream:

De Twee-Laagse Inductie-Bottleneck: Standaard geschaalde dot-product attention (Softmax) kan geen content-adresseerbare key-value inductie uitvoeren in een enkele laag. Om een waarde $v^*$ te extraheren die op positie $j^*+1$ is opgeslagen op basis van een sleutel $k^*$ op positie $j^*$ , heeft een standaard Transformer twee lagen nodig: één om de tokenrepresentatie te verschuiven en een tweede om de match te maken. In compacte modellen (4–12 lagen) verbruikt dit waardevolle diepte en de bandbreedte van de residual stream.
Het Tekort aan de "Off-Switch" en Attention Sinks: Standaard Softmax dwingt een simplex-restrictie af ( $\sum W_{t,j} = 1$ $\sum W_{t, j} = 1$ ), waardoor heads gedwongen worden gewicht te verdelen zelfs wanneer er geen relevante sleutel overeenkomt met de query. Dit leidt tot:
- RAG-hallucinaties: Heads overschrijven de residual state met irrelevante contextwaarden wanneer het antwoord afwezig is.
- Attention Sinks: Pre-trained modellen blazen de initiële token (BOS) op tot een enorme numerieke uitschieter ("vuilnisbak") om aan de som-is-één restrictie te voldoen, wat de lage-bit kwantisatie verslechtert en perplexiteit-instorting veroorzaakt in stromende KV-caches.

Hoewel eerdere werken (zoals ReLA, Softpick) hebben vastgesteld dat gerectificeerde (sub-simplex) normalisatoren heads in staat stellen om "op niets te letten", identificeert het artikel een kritieke faalmodus: Score-Shift Pathologie. Wanneer causale smoothing wordt toegepast op keys om het inductieprobleem op te lossen, verschuift de gehele scoreverdeling naar beneden. Ongekalibreerde gerectificeerde normalisatoren (zoals de vaste $\tau=0$ Power-Norm) lijden onder deze verschuiving, waarbij geldige scores naar nul worden afgeknipt, wat resulteert in "dead rows".

2. Methodologie

De voorgestelde oplossing, pn_fir_tau, combineert een causale Finite Impulse Response (FIR) filter met een gekalibreerde sub-simplex normalisator.

2.1 Causale FIR Key Smoothing

Om single-layer inductie mogelijk te maken, past de auteur een parameter-vrije, causale 7-tap low-pass FIR-filter strikt toe op de Key stream ( $K$ ).

Mechanisme: De filter gebruikt vaste half-Gaussische gewichten ( $\sigma=2.0$ ) om de huidige sleutel $K_{j}$ te mengen met voorgaande sleutels.
Effect: De filter bindt de representatie van een gematchte sleutel $k^*$ op positie $j^*$ fysiek aan de aangrenzende waarde-slot $j^*+1$ . Hierdoor kan een query direct naar de waarde-slot attenderen in een enkele laag, zonder dat een aparte verschuivingslaag nodig is.
Causaliteit: De filter is strikt causaal (geen toekomstige lekkage) en wordt geïmplementeerd via zero-padding en een 7-tap convolutie.

2.2 De Score-Shift Pathologie

Het artikel bewijst (Propositie 1) dat hoewel Softmax translatie-invariant is (immuun voor score-verschuivingen), gerectificeerde normalisatoren dat niet zijn.

Het Probleen: De FIR-filter verlaagt het gemiddelde van de dot-product scores. Voor een gerectificeerde normalizer $S^+ = \max(S, 0)$ veroorzaakt een negatieve verschuiving dat geldige scores onder nul vallen, wat resulteert in nul attention weights en nul gradiënten (starvation).
Het Falen van Alternatieven: Row-mean centering ( $pn\_fir\_c$ ) probeert dit op te lossen door het gemiddelde af te trekken, maar dit maakt de totale attention massa afhankelijk van de binnen-rij spreiding in plaats van absolute score-niveaus, wat leidt tot significante ruis-lekkage bij onbeantwoordbare queries.

2.3 De Gekalibreerde Off-Switch ( $pn\_fir\_tau$ )

Om de starvation op te lossen terwijl de mogelijkheid behouden blijft om heads te dempen, introduceert de auteur een leerbare scalaire drempel $\tau$ per laag.

Formulering: De scores worden verschoven met $\tau$ vóór de rectificatie: $S'_{t,j} = S_{t,j} - \tau$ .
Sub-Simplex Normalisatie: De gewichten worden berekend met behulp van een power-normalisatie ( $p=10$ ) op de gerectificeerde scores, gevolgd door een "peak-silence gate" ( $g_t$ ) die de totale rij-massa schaalt op basis van de maximale positieve score.
Resultaat: De leerbare $\tau$ kalibreert de globale scoreverdeling om de door de FIR veroorzaakte negatieve verschuiving tegen te gaan. Dit stelt het model in staat om 100% recall te bereiken op gematchte queries, terwijl de attention massa van onbeantwoordbare queries naar bijna nul wordt gedreven ( $\sum W \approx 0$ ), waardoor de head effectief "uitgeschakeld" wordt.

2.4 Implementatie: Fused Triton Kernels

Om de computationele overhead van het nieuwe mechanisme aan te pakken, brengt de auteur gefuseerde Triton kernels uit:

Zero-Transcendental: De power-normalisatie $(S')^p$ wordt berekend met register-vermenigvuldigingen, waardoor dure exp() aanroepen worden geëlimineerd.
Geheugenefficiëntie: De kernels bereiken $O(N)$ VRAM-gebruik (in de stijl van FlashAttention-2) en ondersteunen silent-tile skipping (hoewel het artikel opmerkt dat dit launch-bound is in standaard stacks).

3. Belangrijkste Resultaten

Het artikel evalueert de methode op synthetische associatieve recall-taken en een 6-laagse WikiText-2 taalmodellerings-taak (1.8M parameters).

3.1 Synthetische Recall Taken

Single-Layer Induction: Het toepassen van de 7-tap FIR op Softmax ( $sm\_fir$ ) verhoogt de schone associatieve recall van 44,5% naar 100,0%.
Robuustheid tegen Ruis: $pn\_fir\_tau$ behoudt 100,0% recall, zelfs met geïnjecteerde distractor decoys ( $\epsilon \in \{0.05, 0.2, 0.5, 1.0\}$ ), terwijl ongekalibreerde gerectificeerde varianten significant falen.
Stilte bij Onbeantwoordbare Queries: In een taak waarbij heads stil moeten blijven wanneer de sleutel afwezig is:
- Softmax/Sparsemax/Entmax: Falen in het preserveren van de residual stream en hallucineren op 27,2%–34,4% van de onbeantwoordbare queries.
- $pn\_fir\_tau$ : Bereikt een hallucinatiepercentage van 0,0%, waarbij de onbeantwoorde rij-massa daalt naar 0,002 (50x minder lekkage dan de virtuele-sink Softmax).

3.2 Taalmodellering (WikiText-2)

Perplexity: Het $pn\_fir\_tau$ model evenaart en verbetert de Softmax baselines licht. Op een gematchte 50k-step protocol bereikt het een test-perplexity van 114,80 versus 117,13 voor Softmax.
Kwantisatie Hygiëne: De methode vermindert de "Attention Sink" massa (activatie-uitschieters bij de BOS-token) aanzienlijk. Bij breedte $D=64$ is de sink-massa 0,0031 voor $pn\_fir\_tau$ versus 0,0177 voor Softmax.
Latency & VRAM:
- De gefuseerde Triton kernels verminderen de staptijd met 22,5%–31,6% vergeleken met standaard Softmax in BF16.
- Ze bereiken een 21,70x versnelling ten opzichte van eager PyTorch implementaties en een 66,5x reductie in intermediaire tensor-geheugen (van 1886,9MB naar 109,3MB) op een 6-laagse MHA stack met sequentielengte 1024.

4. Claims en Betekenis

Het artikel presenteert zijn bijdrage als een gekalibreerd diagnostisch instrument in plaats van een claim van universele superioriteit op massale schaal.

Mechanistisch Inzicht: Het stelt vast dat causale key smoothing een "score-shift pathologie" creëert die ongekalibreerde gerectificeerde attention breekt, wat een leerbare drempel ( $\tau$ ) noodzakelijk maakt om functionaliteit te herstellen.
Praktisch Nut:
1. Zero-Parameter Induction: De $sm\_fir$ variant stelt standaard Transformers in staat om twee-laagse inductie-heads te comprimeren tot één laag met minimale latency kosten (+1,5%).
2. Hallucinatie-vrije Architectuur: $pn\_fir\_tau$ biedt een mechanisme waarmee attention heads echt kunnen onthouden, wat RAG-context hallucinaties en attention sink uitschieters oplost zonder complexe hulp-losses.
3. Hardware Efficiëntie: Het verwijderen van transcendente functies (exp) en het gebruik van gefuseerde kernels biedt aanzienlijke snelheid- en geheugenvoordelen voor deployment.

Beperkingen erkend door de auteur:

Schaal: De resultaten zijn primair bij $D=64$ (1.8M params). Een single-seed run bij $D=256$ vertoont geen instorting, maar grootschalige (GPT-2 124M) retrofits faalden door co-adaptatie problemen met pre-trained gewichten.
Tile Skipping: Hoewel de kernels silent-tile skipping ondersteunen, merkte de auteur op dat de prestatiewinst in een standaard 6-laagse stack beperkt wordt door de CUDA kernel launch serialisatie. De volledige versnelling wordt pas gerealiseerd wanneer de launch overhead wordt geamortiseerd (bijv. via CUDA graphs).
Hyperparameters: De power $p=10$ en filterbreedte $\sigma=2.0$ zijn vast; gevoeligheidssweeps zijn overgelaten aan toekomstig werk.

Samenvattend demonstreert het artikel dat causale FIR smoothing op keys gecombineerd met een gekalibreerde sub-simplex drempel single-layer associatieve recall en robuuste, stilte-faciliterende attention mogelijk maakt, wat een pad biedt naar efficiëntere en hallucinatie-resistente Transformer-architecturen.