💬 NLP

Avey-B

Die Arbeit stellt eine reformulierte, autoregressive und aufmerksamkeitlose Encoder-Architektur namens Avey-B vor, die durch innovative Designelemente wie entkoppelte Parameterisierung und neuronale Kompression Transformer-Modelle in Bezug auf Leistung und Skalierbarkeit bei langen Kontexten übertrifft.

Ursprüngliche Autoren: Devang Acharya, Mohammad Hammoud

Veröffentlicht 2026-02-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Devang Acharya, Mohammad Hammoud

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🚀 Die Geschichte: Vom Labyrinth zum effizienten Bibliothekar

Stell dir vor, du musst ein riesiges Buch lesen, um eine spezifische Information zu finden. Das ist genau das Problem, das moderne KI-Modelle lösen müssen: Sie müssen riesige Mengen an Text verstehen, ohne dabei den Verstand (oder den Rechenleistung) zu verlieren.

Bisher war der Standard dafür BERT und seine Verwandten (wie RoBERTa oder ModernBERT). Man kann sie sich wie einen perfekten, aber langsamen Bibliothekar vorstellen:

Wie er arbeitet: Um einen Satz zu verstehen, liest er jedes Wort im gesamten Buch und vergleicht es mit jedem anderen Wort.
Das Problem: Wenn das Buch nur kurz ist, ist das super. Aber wenn das Buch 100.000 Seiten hat, muss er Milliarden von Vergleichen anstellen. Das dauert ewig und kostet eine Menge Energie. Es ist wie ein Bibliothekar, der für jede Frage das gesamte Regal durchsucht, auch wenn die Antwort nur auf Seite 5 steht.

Jetzt kommt Avey-B ins Spiel. Es ist wie ein neuartiger, super-schneller Bibliothekar, der eine völlig andere Strategie hat.

🧠 Die drei genialen Tricks von Avey-B

Avey-B ist eine neue Art von KI, die keine "Aufmerksamkeit" (Self-Attention) im klassischen Sinne nutzt. Stattdessen nutzt sie drei clevere Tricks, um schneller und schlauer zu sein:

1. Der "Suche-und-Ziehe"-Trick (Der Rangierer)

Statt das ganze Buch zu lesen, schaut sich Avey-B das Buch in kleinen Häppchen an (wir nennen sie "Splits").

Die Analogie: Stell dir vor, du suchst nach einem Rezept in einem Kochbuch. Der alte Bibliothekar (BERT) liest jedes Wort auf jeder Seite. Avey-B hingegen schaut sich erst die Kapitelüberschriften an, findet die drei relevantesten Kapitel und ignoriert den Rest komplett.
Der Trick: Avey-B sucht nur die wichtigsten Teile des Textes heraus, die gerade relevant sind, und konzentriert sich nur darauf. Das spart enorm viel Zeit.

2. Der "Stabile Baumeister" (Entkoppelte Parameter)

In der alten KI-Design (Avey) waren zwei Dinge fest miteinander verklemmt: eine statische Regel und eine dynamische Entscheidung. Das war wie ein Auto, bei dem das Lenkrad und das Gaspedal mechanisch verbunden waren – wenn du lenkst, musst du auch Gas geben, egal ob es sinnvoll ist. Das führte zu Verwirrung.

Die Lösung bei Avey-B: Sie trennen diese beiden Dinge.
- Statisch: Ein erfahrener Architekt, der das Grundgerüst baut (stabile Regeln).
- Dynamisch: Ein flexibler Assistent, der sich an die aktuelle Situation anpasst (basierend auf Ähnlichkeiten).
Warum das hilft: Sie arbeiten nicht mehr gegeneinander. Der Architekt sorgt für Stabilität, der Assistent für Flexibilität. Zusammen bauen sie ein Haus, das nicht wackelt, auch wenn der Wind (der Text) stark weht.

3. Der "Kompressor" (Neurale Kompression)

Wenn Avey-B die wichtigen Teile gefunden hat, wären diese Teile eigentlich noch sehr groß.

Das Problem: Wenn du 10 relevante Seiten aus dem Buch heraussuchst, hast du immer noch viel Text zu verarbeiten.
Die Lösung: Avey-B hat einen eingebauten "Kompressor". Er nimmt die 10 relevanten Seiten und fasst sie so zusammen, dass sie nur noch so viel Platz einnehmen wie eine einzige Seite, aber alle wichtigen Informationen behalten.
Der Effekt: Der Bibliothekar muss nur noch eine Seite lesen, anstatt 10. Das macht ihn extrem schnell, besonders bei langen Texten.

🏆 Warum ist Avey-B so besonders?

Die Autoren haben Avey-B getestet und verglichen mit den besten alten Bibliothekaren (BERT, RoBERTa, ModernBERT, NeoBERT).

Genauigkeit: Avey-B ist oft sogar besser als die alten Modelle. Es macht weniger Fehler beim Verstehen von Texten, beim Beantworten von Fragen und beim Suchen von Informationen.
Geschwindigkeit bei langen Texten: Das ist der größte Vorteil.
- Bei kurzen Texten sind alle ähnlich schnell.
- Bei langen Texten (z. B. 96.000 Wörter) wird der alte Bibliothekar (BERT) extrem langsam und fast unbrauchbar. Avey-B bleibt hingegen schnell wie ein Sportwagen.
- Ein Beispiel: Bei einem sehr langen Text ist Avey-B bis zu 11-mal schneller als NeoBERT und 3-mal schneller als ModernBERT.

🌍 Was bedeutet das für die Zukunft?

Stell dir vor, du willst eine KI, die ein ganzes Jahr an E-Mails auf einmal analysieren kann, um den wichtigsten Punkt zu finden.

Mit alten Modellen (BERT) würde das Tage dauern und extrem teuer sein.
Mit Avey-B geht das in Minuten und kostet einen Bruchteil der Energie.

Zusammenfassend:
Avey-B ist wie ein neuer, hochmoderner Bibliothekar, der nicht alles auswendig lernt, sondern lernt, klug zu suchen. Er ignoriert unnötiges Gerede, fasst das Wichtigste zusammen und arbeitet so effizient, dass er riesige Bücher in Sekunden durchschaut, während die alten Modelle noch am ersten Kapitel hängen.

Das ist ein riesiger Schritt für KI in der Industrie, wo Rechenleistung und Geschwindigkeit oft das größte Hindernis sind.

Titel: AVEY-B: Ein bidirektionaler, aufmerksamerloser Encoder für effiziente Langkontext-Verarbeitung

Autoren: Devang Acharya und Mohammad Hammoud (Avey AI)
Veröffentlicht bei: ICLR 2026

1. Problemstellung

Kompakte vortrainierte bidirektionale Encoder (wie BERT und seine Nachfolger) bilden das Rückgrat industrieller NLP-Anwendungen, insbesondere unter strengen Ressourcenbeschränkungen (Rechenleistung, Speicher). Ihr Erfolg basiert auf dem Self-Attention-Mechanismus von Transformern, der eine hochwertige bidirektionale Kontextualisierung ermöglicht.

Allerdings stellt der quadratische Zeit- und Speicheraufwand ( $O(N^2)$ ) der vollständigen Self-Attention ein zentrales Flaschenhals-Problem dar, das die praktische Erweiterung von Kontextfenstern in kostensensitiven Szenarien limitiert. Zwar gibt es Ansätze wie lineare Attention oder RNN-ähnliche Architekturen, doch diese wurden bisher kaum erfolgreich an das bidirektionale, rein encoder-basierte Paradigma angepasst. Zudem ist die Extrapolation auf sehr lange Sequenzen bei Transformern oft problematisch.

Das Paper stellt die Frage, ob es eine Alternative gibt, die die Effizienz von aufmerksamenlosen (attention-free) Architekturen mit der Leistungsfähigkeit bidirektionaler Encoder für Aufgaben wie Klassifizierung und Information Retrieval vereint.

2. Methodik: Die AVEY-B-Architektur

AVEY-B ist eine bidirektionale Reformulierung der zuvor eingeführten autoregressiven, aufmerksamenlosen Architektur „Avey". Während das originale Avey für kausale Sprachmodellierung (Decoder) konzipiert war, passt AVEY-B die Architektur für den Encoder-only-Modus an und führt drei wesentliche Innovationen ein:

A. Bidirektionale Kontextualisierung

Im Gegensatz zum originalen Avey, das eine kausale Maske verwendet, entfernt AVEY-B diese Maske im „Contextualizer"-Modul. Dies erlaubt jedem Token, sich sowohl auf linke als auch rechte Kontexte zu stützen, was für diskriminative Aufgaben (wie Klassifizierung) essenziell ist. Der Ranker (der relevante Kontextteile auswählt) bleibt jedoch unidirektional, da bidirektionale Suche auf Split-Ebene die Leistung verschlechtert.

B. Entkoppelte Parametrisierung (Decoupled Parametrization)

Im originalen Avey wurden statische Lernparameter und dynamische Ähnlichkeits-Scores (Cosine-Similarity) elementweise multipliziert. Dies führte zu pathologischen Effekten, bei denen ein hochrelevanter Token weniger beitragen konnte als ein weniger relevanter (Verletzung der Monotonie).

Lösung: AVEY-B entkoppelt diese Parameterquellen. Die Architektur besteht aus abwechselnden Schichten:
- Statische Schichten: Führen eine gelernte lineare Transformation durch.
- Dynamische Schichten: Gewichten Embeddings ausschließlich basierend auf der Cosine-Similarity.
Vorteil: Dies erhält die Monotonie der Ähnlichkeits-basierten Updates in dynamischen Schichten, während statische Schichten inhibitorische Muster (negative Gewichte) lernen können, ohne die Ähnlichkeitsreihenfolge zu verzerren.

C. Stabilitätsorientierte Normalisierung

In den dynamischen Schichten werden die Cosine-Similarity-Scores zeilenweise durch die Summe aller Scores normalisiert (Row-wise Sum Normalization).

Zweck: Dies verhindert das Anwachsen großer Singulärwerte und instabiler Gradienten, die bei unnormalisierten Scores oder Softmax-basierten Ansätzen auftreten können. Es sorgt für eine stabile Trainingsdynamik und begrenzt den Gain pro Zeile.

D. Neuronale Kompression (Neural Compression)

Ein Hauptproblem bei der bidirektionalen Erweiterung von Avey ist der Speicherbedarf: Jeder Split müsste mit seinen $k$ besten gefundenen Splits verbunden werden, was die Eingabelänge um den Faktor $k+1$ erhöht.

Lösung: Ein neuronaler Kompressor im Ranker komprimiert den verbundenen Block ( $k+1$ Splits) zurück auf die Größe eines einzelnen Splits ( $S$ Tokens) mittels einer gelernten linearen Projektion.
Ergebnis: Der Neural Processor verarbeitet nur noch die ursprüngliche Anzahl an Tokens pro Split. Dies eliminiert redundante Berechnungen und erhält die lineare Skalierbarkeit ( $O(N)$ ) bei langen Sequenzen, während die Vorteile des Abrufs großer relevanter Token-Mengen ( $k$ ) erhalten bleiben.

3. Wichtige Beiträge

Architektur-Design: Einführung von AVEY-B als erster bidirektionaler, aufmerksamenloser Encoder, der statische und dynamische Parameterisierung entkoppelt und eine spezielle Normalisierung nutzt.
Effizienz-Optimierung: Entwicklung eines neuronalen Kompressionsmechanismus, der den Rechenaufwand pro Split unabhängig von der Anzahl der abgerufenen Kontexte ( $k$ ) hält.
Umfassende Evaluierung: Systematische Design-Studien und Ablationsstudien, die die Wirksamkeit jeder Komponente (Entkoppelung, Normalisierung, Kompression) belegen.
Leistungsnachweis: Demonstration, dass AVEY-B Transformer-basierte Encoder (BERT, RoBERTa, ModernBERT, NeoBERT) in Effizienz und Genauigkeit übertrifft, trotz deutlich weniger Trainingsdaten.

4. Ergebnisse

Effektivität (Genauigkeit)

Benchmark-Leistung: AVEY-B (sowohl Base- als auch Large-Variante) übertrifft BERT und NeoBERT auf allen getesteten Benchmarks (Sequence Classification, Token Classification, QA, Information Retrieval).
Token Classification (TC) & Information Retrieval (IR): AVEY-B erzielt konsistent die besten Ergebnisse, sogar gegenüber großen Transformer-Modellen. Die Base-Version von AVEY-B schlägt sogar die Large-Versionen von Transformer-Modellen in TC und IR.
Daten-Effizienz: AVEY-B wurde auf ca. 11-mal weniger Tokens vortrainiert als ModernBERT, erreicht aber dennoch überlegene Ergebnisse.

Effizienz (Skalierbarkeit)

Lange Kontexte: AVEY-B skaliert deutlich effizienter mit der Sequenzlänge $N$ $N$ .
- Bei $N = 96.000$ Tokens ist AVEY-B 3,38-mal schneller als ModernBERT und 11,63-mal schneller als NeoBERT.
Skalierungsverhalten: Die Durchsatz-Abnahme folgt einem Potenzgesetz $T(N) \propto N^{-\alpha}$ $T (N) \propto N^{- α}$ .
- AVEY-B: $\alpha \approx 0,44$ (sehr flache Abnahme).
- ModernBERT: $\alpha \approx 0,77$ .
- NeoBERT: $\alpha \approx 0,81$ .
- Dies zeigt, dass der Durchsatz von AVEY-B bei steigender Sequenzlänge nur etwa halb so schnell abnimmt wie bei ModernBERT.
NIAH-Benchmark (Needle-in-a-Haystack): AVEY-B behält bei extrem langen Sequenzen (bis 96k Tokens) eine hohe Genauigkeit bei, während Transformer-Modelle bei ihren trainierten Kontextgrenzen (4k–8k) entweder versagen oder aus dem Speicher laufen (OOM).

5. Bedeutung und Fazit

AVEY-B beweist, dass Self-Attention nicht der einzige Weg zu leistungsfähigen bidirektionalen Encodern ist. Durch die Kombination aus Retrieval-Mechanismen (Ranker) und neuronalen Prozessoren ohne Attention erreicht die Architektur:

Überlegene Langkontext-Fähigkeiten: Natürliche Extrapolation auf sehr lange Sequenzen ohne zusätzliche Vortrainierung.
Ressourceneffizienz: Deutlich geringere Latenz und höherer Durchsatz, was sie ideal für industrielle Anwendungen mit strengen Budgets macht.
Stabilität: Die neuen Architekturelemente (Entkoppelung, Normalisierung) führen zu robusterem Training und geringerer Varianz bei der Initialisierung.

Das Paper schlägt einen Paradigmenwechsel vor: Statt die quadratische Komplexität von Attention zu optimieren, kann eine retrieval-basierte, aufmerksamenlose Architektur für bidirektionale Aufgaben überlegen sein, insbesondere wenn es um Skalierbarkeit und Effizienz geht. Der Code und die vortrainierten Checkpoints wurden veröffentlicht, um die Reproduzierbarkeit zu gewährleisten.