💬 NLP

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

Dieser Artikel stellt den Bayesian Attention Mechanism (BAM) vor, ein probabilistisches Framework, das bestehende Methoden zur Positionskodierung vereinheitlicht und eine generalisierte Gaußsche Prior-Verteilung vorschlägt, um eine State-of-the-Art-Generalisierung für lange Kontexte zu erreichen, wodurch eine präzise Informationswiedergewinnung bei 500-facher Länge des Trainingskontexts mit minimalem Parameteraufwand ermöglicht wird.

Ursprüngliche Autoren: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Transformer-Sprachmodell (das Gehirn hinter modernen KI-Chatbots) als einen überaus klugen Bibliothekar vor, der versucht, ein massives Buch zu lesen. Der Bibliothekar ist hervorragend darin, die Bedeutung von Wörtern zu verstehen, hat aber ein seltsames Problem: er hat kein Gefühl für die Reihenfolge. Wenn Sie ihm einen Satz wie „Die Katze saß auf dem Teppich" geben, kann er nicht sagen, ob „Katze" vor „saß" oder danach kam, da die Wörter für ihn unabhängig von ihrer Position identisch aussehen.

Um dies zu beheben, geben wir dem Bibliothekar normalerweise eine Positionscodierung (PE). Stellen Sie sich dies als ein winziges, unsichtbares Namensschild oder einen farbigen Aufkleber auf jedem Wort vor, der sagt: „Ich bin das 1. Wort", „Ich bin das 2. Wort" usw. Dies hilft dem Bibliothekar, den Fluss der Geschichte zu verstehen.

Die meisten dieser „Aufklebersysteme" haben jedoch einen Fehler: Sie funktionieren großartig für kurze Geschichten, brechen aber zusammen, wenn das Buch wirklich lang wird (wie ein Roman mit 100.000 Seiten). Der Bibliothekar beginnt, den Anfang des Buches zu ignorieren, weil die Aufkleber zu verwirrend werden oder verblassen.

Die neue Idee: Der „Bayesian Attention Mechanism" (BAM)

Die Autoren dieses Papiers schlagen einen neuen Weg vor, über diese Aufkleber nachzudenken, den sie BAM nennen. Anstatt einem Wort einfach einen festen Aufkleber aufzukleben, behandelt BAM die Position eines Wortes als Wahrscheinlichkeitsschätzung.

Hier ist die Analogie:
Stellen Sie sich vor, der Bibliothekar versucht, ein bestimmtes Stück Information (einen „Passschlüssel") zu finden, das irgendwo in einem langen Dokument versteckt ist.

Alte Methode (wie ALiBi): Der Bibliothekar geht davon aus, dass die Antwort am wahrscheinlichsten direkt neben dem aktuellen Wort liegt, und je weiter man entfernt ist, desto unwahrscheinlicher ist die Antwort. Es ist wie das Suchen nach einem verlorenen Schlüssel in Ihrem Haus; Sie prüfen zuerst Ihre Taschen, dann den Tisch, und Sie hören auf, in der Garage zu suchen, weil es „zu weit" ist.
Die BAM-Methode: Der Bibliothekar verwendet einen „Prior-Glauben" (eine Wahrscheinlichkeitskarte) darüber, wo die Antwort sein könnte. Diese Karte ist nicht fest; es ist eine flexible Regel, die angepasst werden kann.

Das Geheimnis: Die „Generalized Gaussian"-Karte

Das Papier führt eine bestimmte Art von Wahrscheinlichkeitskarte ein, die Generalized Gaussian Prior genannt wird. Stellen Sie sich diese Karte als ein Gelände mit Bergen und Tälern vor, die darstellen, wie wahrscheinlich es ist, dass der Bibliothekar ein bestimmtes Wort betrachtet.

Der „lokale" Berg: Die Karte kann einen steilen Berg direkt neben dem aktuellen Wort haben. Dies hilft dem Bibliothekar, den unmittelbaren Kontext zu verstehen (wie Grammatik und Satzstruktur).
Der „langstreckige" Schwanz: Hier liegt die Magie. Die Autoren stellten fest, dass sie durch Drehen eines bestimmten Reglers (genannt $\beta$ ) die Form der Karte verändern können.
- Wenn sie den Regler in eine Richtung drehen, ignoriert der Bibliothekar die entfernten Teile des Buches (wie die alten Methoden).
- Wenn sie den Regler in die andere Richtung drehen (insbesondere, indem sie ihn auf eine negative Zahl setzen), hört der Bibliothekar auf, die unmittelbaren Nachbarn zu betrachten und konzentriert sich intensiv auf Wörter, die sehr weit entfernt sind.

Was haben sie tatsächlich erreicht?

Das Papier behauptet nicht, dass dies Krankheiten heilen oder Romane für Sie schreiben wird. Sie testeten es an sehr spezifischen, kontrollierten Aufgaben:

Der „Nadel im Heuhaufen"-Test: Sie versteckten eine bestimmte 5-stellige Zahl (einen „Passschlüssel") tief in einem Text, der tausende Wörter lang war.
- Ergebnis: Während andere Methoden (wie RoPE oder ALiBi) aufgaben und bei zu langen Texten zufällig räteten, konnte das BAM-Modell die Zahl immer noch perfekt finden, selbst wenn der Text 500-mal länger war als das, worauf das Modell trainiert wurde.
Der „Perplexity"-Test: Dies misst, wie gut das Modell das nächste Wort in einem Satz vorhersagt.
- Ergebnis: BAM war genauso gut darin, Wörter vorherzusagen wie die besten bestehenden Methoden, was bedeutet, dass es keine allgemeinen Sprachfähigkeiten opferte, um diese Langstrecken-Superkraft zu erlangen.

Die „unsichtbaren" Kosten

Einer der coolsten Aspekte ihrer Entdeckung ist, wie günstig sie hinzuzufügen ist.

Sie fügten weniger als 1.000 neue Parameter (winzige Bits an Speicher) zu einem Modell hinzu, das bereits 120 Millionen Parameter hatte.
Das ist wie das Hinzufügen eines einzelnen Sandkorns zu einem Strand, und plötzlich kann der ganze Strand den Horizont sehen.
Es verlangsamte das Modell nicht oder ließ es mehr Rechenleistung verbrauchen.

Zusammenfassung in einfacher Sprache

Die Autoren bauten ein neues „Positionsaufkleber"-System für KI. Anstatt anzunehmen, dass die Antwort immer in der Nähe ist, gaben sie der KI ein flexibles Regelbuch, das es ihr erlaubt, die unmittelbare Umgebung zu ignorieren und sich auf Informationen zu konzentrieren, die tief in der Vergangenheit verborgen sind.

Sie bewiesen mathematisch, dass dies funktioniert, und zeigten in Experimenten, dass ihre KI eine Nadel in einem Heuhaufen von 500.000 Wörtern finden kann, wohingegen andere KIs nach ein paar tausend Wörtern verloren gehen. Sie testeten dies nicht an realen medizinischen oder juristischen Dokumenten, aber sie zeigten, dass der Mechanismus zum Finden von Informationen über große Distanzen nun viel stärker und zuverlässiger ist.

Technische Zusammenfassung: Bayesscher Aufmerksamkeitsmechanismus (BAM)

Problemstellung

Transformer-basierte Sprachmodelle verlassen sich auf Positional Encoding (PE), um die Reihenfolge von Token zu verarbeiten, doch bestehende Methoden weisen zwei kritische Einschränkungen hinsichtlich der Extrapolation der Kontextlänge (die Fähigkeit, auf Sequenzen zu verallgemeinern, die länger sind als die während des Trainings gesehenen) auf:

Theoretische Undurchsichtigkeit: Viele PE-Techniken (z. B. Sinusoidal, RoPE, ALiBi, NoPE) sind empirisch motiviert und verfügen über begrenzte theoretische Grundlagen, wodurch ihr Verhalten während der Extrapolation schlecht verstanden ist.
Unzureichende Evaluation: Die Abhängigkeit von Perplexität als primärem Metrik ist unzureichend. Modelle können niedrige Perplexität durch lokalisierte Aufmerksamkeitsmuster (Fokus nur auf jüngste Token) erreichen, ohne langreichweitige Informationen wirklich zu integrieren, ein Mangel, der durch Sliding-Window-Evaluierungen hervorgehoben wird.

Methodik: Der Bayessche Aufmerksamkeitsmechanismus (BAM)

Die Autoren schlagen den Bayesschen Aufmerksamkeitsmechanismus (BAM) vor, ein theoretisches Rahmenwerk, das Self-Attention als Erwartungswert über Werte neu definiert, die unter einem gemeinsamen probabilistischen Modell von Token-Inhalt und Position berechnet werden.

Theoretisches Rahmenwerk

Formulierung der gemeinsamen Wahrscheinlichkeit: In BAM ist das Aufmerksamkeitsgewicht $p_{ij}$ (die Wahrscheinlichkeit, dass Token $j$ auf Token $i$ achtet) als gemeinsame Wahrscheinlichkeitsverteilung definiert:
$p_{ij} = p(f_{cont}(q_i, k_j) | g_{pos}(i, j)) \times p(g_{pos}(i, j))$
Hier repräsentiert $f_{cont}$ die Inhaltsähnlichkeit und $g_{pos}$ die Positionsbeziehung.
Positional Encoding als Priors: Das Rahmenwerk geht davon aus, dass Positional-Encoding-Strategien spezifischen Prior-Verteilungen $p(g_{pos}(i, j))$ $p (g_{p os} (i, j))$ über Token-Positionen entsprechen.
- NoPE wird als Uniformer Prior abgeleitet (eingeschränkt durch die kausale Maske).
- ALiBi wird als Produkt eines Uniformen Priors und eines Laplace-Priors (exponentieller Abfall basierend auf der Distanz) abgeleitet.
Der Normalisierende Skalar ( $Z$ ): Die Herleitung führt einen Skalar $Z$ ein, der das Produkt aus Inhalts- und Positionswahrscheinlichkeiten normalisiert und die Wechselwirkungs-Freienergie oder Informationskopplung zwischen Inhalt und Position darstellt.

Vorgeschlagene Lösung: GGD-BAM

Unter Ausnutzung dieses Rahmenwerks stellen die Autoren GGD-BAM vor, das eine Generalisierte Gauß-Verteilung (GGD) als Positions-Prior verwendet. Die Bias-Matrix $B$ , die zu den Aufmerksamkeitswerten addiert wird, ist definiert als:
$b_{ij} = -\left| \frac{j - i - \mu}{\alpha} \right|^\beta$
Wobei $\mu$ , $\alpha$ und $\beta$ lernbare Parameter sind (oder für spezifisches Verhalten festgelegt werden).

$\beta \in (0, 1)$ : Erzeugt eine heavy-tailed Verteilung, die langsamer abfällt als der Laplace-Prior (ALiBi), was es der Aufmerksamkeit ermöglicht, sich weiter auszudehnen als bei ALiBi, während die Lokalität erhalten bleibt.
$\beta < 0$ : Eine neuartige Lockerung der Standard-GGD-Definition. Dies erzeugt einen „invertierten" Prior, bei dem die Wahrscheinlichkeitsmasse in der Nähe des Query-Token unterdrückt und am fernen Ende des Kontextfensters konzentriert wird. Theoretisch ermöglicht dies dem Modell, den lokalen Kontext zu ignorieren und sich auf beliebig langreichweitige Abhängigkeiten zu konzentrieren.
Skalierbare Softmax (SSMax): Die Autoren stellen fest, dass BAM anfällig für „Attention Fading" (gleichförmige Verteilung, wenn der Kontext wächst) ist. Sie kombinieren BAM mit SSMax, das Logits dynamisch neu skaliert, um die Schärfe der Verteilung zu erhalten.

Hauptbeiträge

Einheitliches theoretisches Rahmenwerk: BAM bietet eine probabilistische Vereinheitlichung bestehender PE-Methoden und bildet NoPE und ALiBi explizit auf Uniforme bzw. Laplace-Priors ab.
Generalisierter Gauß-Prior: Der Vorschlag von GGD-BAM führt eine flexible Familie von Positions-Priors ein. Durch das Lernen des Formparameters $\beta$ kann das Modell adaptiv zwischen lokalen Aufmerksamkeits- und langreichweitigen Abrufmodi wechseln.
Minimaler Overhead: Die Methode führt weniger als 1.000 zusätzliche trainierbare Parameter ein (speziell 384 für ein Modell mit 120M Parametern), indem $\theta_\alpha$ und $\theta_\beta$ für jeden Aufmerksamkeitskopf gelernt werden, während $\theta_\mu = 0$ festgelegt wird.
Interpretierbarkeit: Das Rahmenwerk bietet eine prinzipielle Möglichkeit, Aufmerksamkeitsmuster als explizite Wahrscheinlichkeitsverteilungen über Positionen zu visualisieren und zu interpretieren.

Empirische Ergebnisse

Experimente wurden an Modellen im Bereich von 120M bis 1,1B Parametern durchgeführt, die auf FineWeb 10B mit einer Kontextlänge von 512 Token trainiert wurden.

Passkey-Abruf: GGD-BAM (speziell mit SSMax) erreichte perfekte Genauigkeit beim Abruf eines spezifischen Tokens aus Sequenzen von bis zu 32.000 Token (64-fache Trainingslänge) und behielt eine Genauigkeit von >80 % bis zu 512.000 Token (1000-fache Trainingslänge) bei. Im Gegensatz dazu verschlechterten sich Baselines wie RoPE, Sinusoidal und NoPE jenseits ihres Trainingshorizonts auf nahezu zufällige Genauigkeit. ALiBi zeigte eine bessere Perplexitätsextrapolation, versagte jedoch erheblich bei Abrufaufgaben bei extremen Längen.
RULER-Benchmark (NIAH): GGD-BAM übertraf alle Baselines (einschließlich RoPE und ALiBi) im Subset „Needle In A Haystack" und war die einzige Methode, die im Single-1-Aufgabentyp über 6.000 Token hinaus eine hohe Genauigkeit beibehielt.
Perplexität: GGD-BAM behielt auf langen Kontexten eine mit ALiBi und RoPE vergleichbare Perplexität bei und zeigt, dass eine verbesserte Abrufleistung nicht auf Kosten der Sprachmodellierungsflüssigkeit geht.
Downstream-Aufgaben: Auf den Benchmarks MMLU und ARC übertraf BAM SSMax RoPE SSMax.
Visualisierung der Aufmerksamkeit: Visualisierungen bestätigten, dass Köpfe mit $\beta \le 0$ den lokalen Kontext effektiv unterdrückten und sich auf ferne Token (den Passkey) konzentrierten, während Köpfe mit $\beta \in (0, 1)$ eine Attention mit langem Schwanz beibehielten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BAM einem doppelten Zweck dient:

Theoretisch: Es bietet eine rigorose probabilistische Fundierung für Positional Encoding und klärt, warum bestimmte Methoden (wie ALiBi) für Perplexität funktionieren, aber beim Abruf versagen (aufgrund ihrer lokalen Natur).
Praktisch: Es bietet eine hocheffiziente Methode zur Extrapolation der Kontextlänge. Indem Aufmerksamkeitsköpfen ermöglicht wird, negative $\beta$ -Werte zu lernen, kann das Modell Lokalität explizit unterdrücken, um Informationen aus beliebig langen Kontexten abzurufen, ohne dass eine direkte Exposition gegenüber solchen Längen während des Trainings erforderlich ist.

Die Autoren betonen, dass Perplexität zwar ein Standardmetrik ist, aber unzureichend zur Bewertung echter Fähigkeiten im langen Kontext ist; abfragebasierte Aufgaben sind notwendig, um zu verifizieren, dass Modelle auf ferne Informationen achten und nicht nur auf lokale Muster angewiesen sind. Die Arbeit legt nahe, dass die Fähigkeit, Positions-Priors explizit zu modellieren, eine entscheidende induktive Verzerrung für Next-Generation-Long-Context-Transformer ist.