💬 NLP

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

Dit artikel introduceert het Bayesiaanse Aandachtsmechanisme (BAM), een probabilistisch raamwerk dat bestaande methoden voor positionele codering verenigt en een gegeneraliseerde Gaussische prior voorstelt om state-of-the-art generalisatie voor lange contexten te bereiken, waardoor nauwkeurige informatiewinning mogelijk wordt bij 500 keer de trainingscontextlengte met minimale parameteroverhead.

Oorspronkelijke auteurs: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Transformer-taalmodel (de hersenen achter moderne AI-chatbots) voor als een superintelligente bibliothecaris die probeert een enorm boek te lezen. De bibliothecaris is uitstekend in het begrijpen van de betekenis van woorden, maar heeft een vreemd probleem: ze heeft geen gevoel voor orde. Als je haar een zin geeft als "De kat zat op het tapijt", kan ze niet vertellen of "kat" voor of na "zat" kwam, omdat de woorden voor haar er hetzelfde uitzien, ongeacht waar ze staan.

Om dit op te lossen, geven we de bibliothecaris meestal een Positionele Encodering (PE). Denk hierbij aan een klein, onzichtbaar naamplaatje of een gekleurd sticker op elk woord dat zegt: "Ik ben het 1e woord", "Ik ben het 2e woord", enzovoort. Dit helpt de bibliothecaris de flow van het verhaal te begrijpen.

Echter, de meeste van deze "stickersystemen" hebben een gebrek: ze werken geweldig voor korte verhalen, maar vallen uiteen als het boek echt lang wordt (zoals een roman van 100.000 pagina's). De bibliothecaris begint het begin van het boek te negeren omdat de stickers te verwarrend worden of vervagen.

Het Nieuwe Idee: Het "Bayesiaanse Aandachtsmechanisme" (BAM)

De auteurs van dit paper stellen een nieuwe manier voor om over deze stickers na te denken, die ze BAM noemen. In plaats van gewoon een vaste sticker op een woord te plakken, behandelt BAM de positie van een woord als een kansinschatting.

Hier is de analogie:
Stel je voor dat de bibliothecaris probeert een specifiek stukje informatie (een "toegangssleutel") te vinden dat ergens in een lang document verborgen is.

Oude Methode (zoals ALiBi): De bibliothecaris gaat ervan uit dat het antwoord waarschijnlijk direct naast het huidige woord zit, en hoe verder je gaat, hoe minder waarschijnlijk het antwoord is. Het is alsof je naar een verloren sleutel in je huis zoekt; je controleert eerst je zakken, dan de tafel, en je stopt met zoeken in de garage omdat het "te ver" is.
De BAM-methode: De bibliothecaris gebruikt een "voorafgaande overtuiging" (een kansenkaart) over waar het antwoord zou kunnen zijn. Deze kaart is niet vast; het is een flexibele regel die kan worden afgesteld.

Het Geheime Ingrediënt: De "Generalized Gaussian"-kaart

Het paper introduceert een specifiek type kansenkaart genaamd een Generalized Gaussian Prior. Denk aan deze kaart als een terrein met heuvels en valleien die aangeven hoe waarschijnlijk het is dat de bibliothecaris naar een bepaald woord kijkt.

De "Lokale" Heuvel: De kaart kan een steile heuvel hebben direct naast het huidige woord. Dit helpt de bibliothecaris om de directe context te begrijpen (zoals grammatica en zinsbouw).
De "Lange-afstand" Staart: Hier ligt de magie. De auteurs ontdekten dat ze door een specifieke knop (genaamd $\beta$ ) te draaien, de vorm van de kaart konden veranderen.
- Als ze de knop de ene kant op draaien, negeert de bibliothecaris de verre delen van het boek (zoals de oude methoden).
- Als ze de knop de andere kant op draaien (specifiek door deze op een negatief getal te zetten), stopt de bibliothecaris met kijken naar de directe buren en begint ze zich intens te focussen op woorden die zeer ver weg staan.

Wat hebben ze eigenlijk bereikt?

Het paper beweert niet dat dit ziekten zal genezen of nu al romans voor je zal schrijven. Ze testten het op zeer specifieke, gecontroleerde taken:

De "Naald in een Hooiberg"-test: Ze verbergen een specifiek 5-cijferig getal (een "toegangssleutel") diep in een tekst van duizenden woorden.
- Resultaat: Terwijl andere methoden (zoals RoPE of ALiBi) opgaven en willekeurig gokten als de tekst te lang werd, kon het BAM-model het getal nog steeds perfect vinden, zelfs wanneer de tekst 500 keer langer was dan waar het model op getraind was.
De "Perplexiteit"-test: Dit meet hoe goed het model het volgende woord in een zin voorspelt.
- Resultaat: BAM was net zo goed in het voorspellen van woorden als de beste bestaande methoden, wat betekent dat het geen algemene taalvaardigheden opofferde om deze superkracht op lange afstand te krijgen.

De "Onzichtbare" Kosten

Een van de coolste delen van hun ontdekking is hoe goedkoop het toe te voegen is.

Ze voegden minder dan 1.000 nieuwe parameters (kleine stukjes geheugen) toe aan een model dat al 120 miljoen parameters had.
Het is alsof je een enkele korrel zand toevoegt aan een strand en plotseling kan het hele strand de horizon zien.
Het vertraagde het model niet en liet het geen meer computerkracht gebruiken.

Samenvatting in Gewone Taal

De auteurs bouwden een nieuw "positie-sticker"-systeem voor AI. In plaats van aan te nemen dat het antwoord altijd dichtbij is, gaven ze de AI een flexibel regelboek dat het toelaat om de directe omgeving te negeren en zich te richten op informatie die diep in het verleden begraven ligt.

Ze bewezen wiskundig dat dit werkt en toonden in experimenten aan dat hun AI een naald kan vinden in een hooiberg van 500.000 woorden, terwijl andere AI's verdwalen na een paar duizend woorden. Ze testten dit niet op echte medische of juridische documenten, maar ze toonden aan dat het mechanisme voor het vinden van informatie op lange afstand nu veel sterker en betrouwbaarder is.

Technische Samenvatting: Bayesiaanse Aandachtsmechanisme (BAM)

Probleemstelling

Taalmiddelen op basis van Transformers vertrouwen op Positieve Encodering (PE) om de volgorde van tokens te verwerken, maar bestaande methoden staan voor twee kritieke beperkingen met betrekking tot extrapolatie van contextlengte (het vermogen om te generaliseren naar sequenties langer dan die tijdens het trainen zijn gezien):

Theoretische Ondoorzichtigheid: Veel PE-technieken (bijv. Sinusoidaal, RoPE, ALiBi, NoPE) zijn empirisch gemotiveerd met beperkte theoretische fundamenten, waardoor hun gedrag tijdens extrapolatie slecht wordt begrepen.
Ondoelmatige Evaluatie: De afhankelijkheid van perplexiteit als primaire metriek is onvoldoende. Modellen kunnen lage perplexiteit bereiken door gelokaliseerde aandachtspatronen (alleen focussen op recente tokens) zonder echt langeafstands-informatie te integreren, een tekortkoming die wordt benadrukt door evaluaties met schuifvensters.

Methodologie: Het Bayesiaanse Aandachtsmechanisme (BAM)

De auteurs stellen het Bayesiaanse Aandachtsmechanisme (BAM) voor, een theoretisch kader dat zelf-attentie herformuleert als een verwachting over waarden berekend onder een gezamenlijk probabilistisch model van tokeninhoud en positie.

Theoretisch Kader

Formulering van Gezamenlijke Kans: In BAM wordt de aandachtsweeg $p_{ij}$ (de kans dat token $j$ aandacht schenkt aan token $i$ ) gedefinieerd als een gezamenlijke kansverdeling:
$p_{ij} = p(f_{cont}(q_i, k_j) | g_{pos}(i, j)) \times p(g_{pos}(i, j))$
Hierbij vertegenwoordigt $f_{cont}$ inhoudelijke gelijkenis, en $g_{pos}$ de positionele relatie.
Positieve Encodering als Priors: Het kader stelt dat strategieën voor positieve encodering overeenkomen met specifieke prior-verdelingen $p(g_{pos}(i, j))$ $p (g_{p os} (i, j))$ over tokenposities.
- NoPE wordt afgeleid als een Uniforme prior (beperkt door het causale masker).
- ALiBi wordt afgeleid als een product van een Uniforme prior en een Laplace-prior (exponentiële afname op basis van afstand).
De Normaliserende Scalar ( $Z$ ): De afleiding introduceert een scalar $Z$ die het product van inhouds- en positiekansen normaliseert, en de interactie-vrije energie of informatiekoppeling tussen inhoud en positie vertegenwoordigt.

Voorgestelde Oplossing: GGD-BAM

Gebruikmakend van dit kader introduceren de auteurs GGD-BAM, dat een Gegenereerde Gaussische Verdeling (GGD) gebruikt als positionele prior. De bias-matrix $B$ die aan de aandachtscores wordt toegevoegd, is gedefinieerd als:
$b_{ij} = -\left| \frac{j - i - \mu}{\alpha} \right|^\beta$
Waarbij $\mu$ , $\alpha$ en $\beta$ leerbare parameters zijn (of vaststaan voor specifiek gedrag).

$\beta \in (0, 1)$ : Produceert een zwaarstaartverdeling die trager afneemt dan de Laplace-prior (ALiBi), waardoor aandacht verder reikt dan ALiBi terwijl localiteit behouden blijft.
$\beta < 0$ : Een nieuwe versoepeling van de standaard GGD-definitie. Dit creëert een "omgekeerde" prior waarbij de kansmassa wordt onderdrukt in de buurt van het query-token en geconcentreerd aan het verre einde van het contextvenster. Theoretisch stelt dit het model in staat om lokale context te negeren en zich te richten op willekeurig langeafhangsafhankelijkheden.
Schalbare Softmax (SSMax): De auteurs merken op dat BAM vatbaar is voor "vervaging van aandacht" (uniforme verdeling naarmate de context groeit). Ze combineren BAM met SSMax, die logits dynamisch herschaalt om de scherpte van de verdeling te behouden.

Belangrijkste Bijdragen

Gecentraliseerd Theoretisch Kader: BAM biedt een probabilistische unificatie van bestaande PE-methoden, waarbij NoPE en ALiBi expliciet worden gemapt naar respectievelijk Uniforme en Laplace-priors.
Gegenereerde Gaussische Prior: Het voorstellen van GGD-BAM introduceert een flexibele familie van positionele priors. Door het vormparameter $\beta$ te leren, kan het model adaptief schakelen tussen lokale aandacht en modi voor langeafstandsherwinning.
Minimale Overhead: De methode introduceert minder dan 1.000 extra trainbare parameters (specifiek 384 voor een model met 120M parameters) door $\theta_\alpha$ en $\theta_\beta$ te leren voor elk aandachtskop, terwijl $\theta_\mu = 0$ wordt vastgehouden.
Interpreteerbaarheid: Het kader biedt een principiële manier om aandachtspatronen te visualiseren en te interpreteren als expliciete kansverdelingen over posities.

Empirische Resultaten

Experimenten werden uitgevoerd op modellen variërend van 120M tot 1,1 miljard parameters, getraind op FineWeb 10B met een contextlengte van 512 tokens.

Passkey-hervinding: GGD-BAM (specifiek met SSMax) bereikte perfecte nauwkeurigheid bij het hervinden van een specifiek token uit sequenties tot 32.000 tokens (64x de trainingslengte) en behield >80% nauwkeurigheid tot 512.000 tokens (1000x de trainingslengte). In tegenstelling hiermee degradeerden baselines zoals RoPE, Sinusoidaal en NoPE tot bijna-willekeurige nauwkeurigheid buiten hun trainingshorizon. ALiBi toonde betere extrapolatie van perplexiteit, maar faalde aanzienlijk in hervindingsopdrachten bij extreme lengtes.
RULER Benchmark (NIAH): GGD-BAM presteerde beter dan alle baselines (inclusief RoPE en ALiBi) in de "Needle In A Haystack"-subset, als enige methode die hoge nauwkeurigheid behield buiten 6.000 tokens in de Single 1-taak.
Perplexiteit: GGD-BAM behield perplexiteit vergelijkbaar met ALiBi en RoPE op lange contexten, wat aantoont dat verbeterde hervinding niet ten koste gaat van de vlotheid van taalmiddelen.
Downstream-taken: Op MMLU- en ARC-benchmarks presteerde BAM SSMax beter dan RoPE SSMax.
Visualisatie van Aandacht: Visualisaties bevestigden dat koppen met $\beta \le 0$ effectief lokale context onderdrukten en zich richtten op verre tokens (de passkey), terwijl koppen met $\beta \in (0, 1)$ aandachtspatronen met lange staart behielden.

Betekenis en Beweringen

Het artikel beweert dat BAM een dubbel doel dient:

Theoretisch: Het biedt een rigoureuze probabilistische onderbouwing voor positieve encodering, en verduidelijkt waarom bepaalde methoden (zoals ALiBi) werken voor perplexiteit maar falen voor hervinding (vanwege hun lokale aard).
Praktisch: Het biedt een zeer efficiënte methode voor extrapolatie van contextlengte. Door aandachtskoppen toe te staan negatieve $\beta$ -waarden te leren, kan het model expliciet localiteit onderdrukken om informatie te hervinden uit willekeurig lange contexten zonder directe blootstelling aan dergelijke lengtes tijdens het trainen.

De auteurs benadrukken dat hoewel perplexiteit een standaardmetriek is, deze onvoldoende is voor het evalueren van echte lange-contextcapaciteiten; hervindingsgebaseerde taken zijn noodzakelijk om te verifiëren dat modellen aandacht schenken aan verre informatie in plaats van alleen te vertrouwen op lokale patronen. Het werk suggereert dat het vermogen om positionele priors expliciet te modelleren, een cruciale inductieve bias is voor Transformers van de volgende generatie met lange context.