💬 NLP

Avey-B

Dit paper introduceert Avey-B, een compacte, autoregressieve encoder-only architectuur die door innovaties zoals ontkoppelde parameterisatie en neurale compressie Transformer-encoders overtreft op taken als token-classificatie en informatiewinning, terwijl het efficiënter schaalt naar lange contexten.

Oorspronkelijke auteurs: Devang Acharya, Mohammad Hammoud

Gepubliceerd 2026-02-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Devang Acharya, Mohammad Hammoud

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken. Je wilt een slimme assistent die al die boeken kan lezen, begrijpen en snel antwoorden kan geven op vragen.

Vroeger was de beste manier om dit te doen met Transformers (zoals BERT). Deze assistent leest een zin en kijkt naar elk woord, terwijl hij tegelijkertijd naar alle andere woorden in de zin kijkt om de betekenis te snappen. Het probleem? Als de zin heel lang wordt (bijvoorbeeld een heel boek), wordt deze assistent traag en duur. Het is alsof hij voor elk nieuw woord, alle andere woorden in het hele boek moet controleren. Bij een heel lang document wordt dit een enorme rompslomp.

Avey-B is de nieuwe, slimme oplossing die de auteurs van dit paper hebben bedacht. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De "Snelzoeker" in plaats van de "Alles-lezer"

Stel je voor dat je een boek moet samenvatten.

De oude manier (Transformer): Je leest elke zin, en voor elk woord in die zin, blader je door het hele boek om te zien of er andere woorden zijn die erop lijken. Dit is extreem traag als het boek dik is.
De Avey-B manier: Je deelt het boek in kleine hoofdstukken (we noemen ze "splits"). Voor elk hoofdstuk dat je nu leest, gebruikt Avey-B een snelzoeker (de ranker). Deze zoekt alleen de 3 of 4 andere hoofdstukken in het hele boek die het meest relevant zijn voor het huidige hoofdstuk.
- Analogie: In plaats van het hele telefoonboek te scannen om een nummer te vinden, vraagt Avey-B eerst aan een slimme secretaresse: "Welke 3 mensen hebben contact met deze persoon?" en kijkt alleen naar die drie.

2. Twee soorten "hersenen" die samenwerken

Avey-B gebruikt een slimme truc om de betekenis van woorden te begrijpen. Het heeft twee soorten lagen (laagjes in het netwerk):

De statische laag (De vaste regels): Dit is als een ervaren leraar die vaste regels kent. Hij weet dat "hond" vaak bij "dier" hoort.
De dynamische laag (De context-sensor): Dit is als een observator die kijkt naar wat er nu gebeurt. Als je leest over een "hond" in een zin over "zwemmen", ziet deze laag dat het misschien om een "waterhond" gaat, niet om een "hond die in de tuin slaapt".

Het probleem met de oude versie: In de vorige versie (Avey) waren deze twee lagen aan elkaar "gelijmd". Soms deed de vaste regel de dynamische observatie dwarszitten, waardoor de assistent verwarde raakte.
De oplossing van Avey-B: Ze hebben de twee lagen uit elkaar gehaald (gedecoupeerd). De vaste regels doen hun werk, en daarna kijkt de dynamische sensor naar de context. Ze werken netjes achter elkaar in plaats van door elkaar heen te prutsen. Dit zorgt voor veel minder fouten.

3. De "Samenvatter" (Compressie)

Als de snelzoeker 3 andere hoofdstukken heeft gevonden, heeft Avey-B nu eigenlijk 4 hoofdstukken om te lezen (het huidige + de 3 gevonden). Dat is veel werk!

De truc: Avey-B heeft een samenvatter (de compressor). Deze neemt die 4 hoofdstukken en verpakt ze weer in één strak hoofdstuk van dezelfde grootte als het origineel, maar dan met alle belangrijke informatie erin bewaard.
Analogie: Het is alsof je drie extra krantenartikelen over een onderwerp leest, maar in plaats van alles te herschrijven, maak je één korte, perfecte samenvatting die je meeneemt. Hierdoor blijft de snelheid hoog, zelfs als je naar heel veel informatie kijkt.

Waarom is dit zo belangrijk?

De auteurs hebben getest of Avey-B beter is dan de huidige kampioenen (zoals BERT, RoBERTa en de nieuwste ModernBERT).

Snelheid op lange afstand: Als je een tekst van 96.000 woorden (ongeveer een dik boek) moet verwerken, is Avey-B 3 tot 11 keer sneller dan de beste Transformers. Terwijl de anderen trager worden naarmate de tekst langer wordt, blijft Avey-B snel.
Betere antwoorden: Op taken zoals het vinden van specifieke informatie in een tekst of het categoriseren van zinnen, scoort Avey-B hoger dan de concurrenten, zelfs al is hij getraind op minder data.
Stabiliteit: De assistent is minder snel "in de war" door willekeurige startpunten. Hij is betrouwbaarder.

Conclusie

Avey-B is als een super-efficiënte rechercheur. In plaats van elke getuige in de stad te ondervragen (wat de oude methoden deden), vraagt hij eerst aan een slimme agent welke 3 getuigen het belangrijkst zijn. Hij luistert goed naar die drie, maakt een korte samenvatting, en geeft dan een perfect antwoord.

Dit betekent dat we in de toekomst AI-modellen kunnen hebben die hele boeken in een seconde kunnen begrijpen, zonder dat je een dure supercomputer nodig hebt. Het is een grote stap voorwaarts voor het gebruik van AI in de echte wereld, waar tijd en geld vaak beperkt zijn.

Titel: AVEY-B: Een Bidirectionele Encoder zonder Attention voor Efficiënte Lange Contexten

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Devang Acharya en Mohammad Hammoud (Avey AI)

1. Het Probleem

Compacte, vooraf getrainde bidirectionele encoders (zoals de BERT-familie) vormen de ruggengraat van industriële NLP-toepassingen vanwege hun prestaties bij taken zoals classificatie en informatiewinning. Deze modellen maken gebruik van zelf-attention (Transformer-architectuur), wat zorgt voor hoge kwaliteit contextuele representaties. Echter, de kwadratische tijd- en geheugenkosten van volledige zelf-attention vormen een groot knelpunt, vooral bij het schalen naar lange contextvensters (bijv. 10k+ tokens).

Hoewel er veel werk is gedaan om dit op te lossen (bijv. lineaire attention of RNN-achtige structuren), zijn deze oplossingen vaak moeilijk toe te passen op de strikt bidirectionele, encoder-only paradigma die nodig is voor discriminatieve taken. Daarnaast zijn bestaande moderne encoders (zoals ModernBERT en NeoBERT) vaak duur in inferentie en schalen ze slecht naarmate de sequentielengte toeneemt.

2. Methodologie: Avey-B Architectuur

Avey-B is een herformulering van het eerder geïntroduceerde Avey-model (een autoregressief, attention-vrij model) naar een bidirectionele encoder. De architectuur deelt een sequentie in splits (blokken) en gebruikt een Ranker om de meest relevante splits te selecteren voor een doel-splits, waarna een Neural Processor deze contextueel verrijkt.

De kerninnovaties van Avey-B zijn:

A. Bidirectionele Contextualisatie

In tegenstelling tot de originele Avey (die causaal/autoregressief was), verwijdert Avey-B het causale masker in de contextualizer. Hierdoor kan elk token zich baseren op zowel links- als rechtscontext binnen de geselecteerde splits, wat essentieel is voor encoder-taken.

B. Ontkoppelde Parameterisatie (Decoupled Parametrization)

In het originele Avey werden statische leerbare gewichten en dynamische, input-afhankelijke cosine-similariteitsscores elementsgewijs vermenigvuldigd. Dit leidde tot "destructieve interacties" waarbij een zeer relevante token (hoge similariteit) minder bijdroeg dan een minder relevante token door de statische gewichten.

Oplossing: Avey-B splitst de lagen op in statische en dynamische lagen die afwisselend (interleaved) worden toegepast.
- Statische lagen: Pas een geleerde lineaire transformatie toe.
- Dynamische lagen: Weeg embeddings uitsluitend op basis van cosine-similariteit.
Voordeel: Dit behoudt de monotonie van de similariteit (een hogere similariteit leidt altijd tot een hogere bijdrage) binnen de dynamische lagen, terwijl statische lagen de representaties kunnen vormen zonder deze monotonie te schenden.

C. Stabiliteitsgerichte Normalisatie

De dynamische lagen gebruiken een rij-genormaliseerde similariteitsmatrix (deling door de som van de scores in een rij), in plaats van Softmax of RMS-norm.

Reden: Dit beperkt de per-rij versterking, stabiliseert het trainingsproces en voorkomt dat de dynamische stroom de statische bijdragen overweldigt, wat leidt tot betere convergentie.

D. Neuraal Compressie (Neural Compression)

In een bidirectionele setting zou het samenvoegen van een splits met zijn top-k relevante splits de invoergrootte met een factor $k+1$ vergroten, wat de inferentie onhaalbaar maakt.

Oplossing: De Ranker bevat een compressor (een geleerde lineaire projectie) die het samengevoegde blok van $(k+1)S$ tokens terugreduceert naar de oorspronkelijke grootte van $S$ tokens voordat het de Neural Processor bereikt.
Voordeel: De rekentijd per splits wordt onafhankelijk van $k$ , waardoor de doorvoer (throughput) aanzienlijk stijgt zonder de voordelen van het ophalen van grote contextblokken te verliezen.

3. Belangrijkste Bijdragen

Architectuurontwerp: Introductie van Avey-B, een attention-vrije bidirectionele encoder die statische en dynamische parameterisatie ontkoppelt en rij-normalisatie toepast.
Efficiëntie-innovatie: Een neuraal compressiemechanisme in de Ranker dat de rekentijd onafhankelijk maakt van het aantal opgehaalde splits ( $k$ ), wat essentieel is voor schaalbaarheid.
Uitgebreide Evaluatie: Systematische ablatiestudies die aantonen dat elke component (ontkoppeling, normalisatie, compressie) cruciaal is voor prestaties en stabiliteit.
Open Source: Publicatie van volledige implementatie en vooraf getrainde checkpoints.

4. Resultaten

Avey-B werd geëvalueerd tegenover toonaangevende Transformer-encoders: BERT, RoBERTa, ModernBERT en NeoBERT.

Effectiviteit (Prestaties):
- Avey-B overtreft BERT en NeoBERT op alle geteste benchmarks (Sequence Classification, Token Classification, QA, Information Retrieval).
- Op Token Classification (TC) en Information Retrieval (IR) presteert Avey-B consistent beter dan alle Transformer-baselines, inclusief RoBERTa en ModernBERT.
- Opmerkelijk: Het Base-model van Avey-B (getraind op ~180B tokens) presteert beter op TC en IR dan de Large-modellen van de concurrenten, ondanks dat ModernBERT op ~11x meer tokens is getraind.
Efficiëntie en Schaalbaarheid:
- Doorvoer (Throughput): Avey-B schaalbaar veel beter met sequentielengte. Terwijl Transformer-modellen een afname in doorvoer vertonen met een exponent $\alpha \approx 0.77 - 0.81$ (kwadratische complexiteit), heeft Avey-B een exponent van $\alpha \approx 0.44$ .
- Latentie: Bij 96k tokens is Avey-B 3,38x sneller dan ModernBERT en 11,63x sneller dan NeoBERT.
- Lange Context: Avey-B kan naadloos extrapoleren tot 96k tokens zonder extra training, terwijl Transformer-modellen vaak vastlopen in geheugen (OOM) of sterk in prestatie dalen buiten hun trainingsvenster.
Stabiliteit: Avey-B toont een zeer lage variantie over verschillende random seeds, wat wijst op robuustere optimalisatie dan veel Transformer-varianten.

5. Betekenis en Conclusie

Dit paper bewijst dat attention niet de enige weg is naar krachtige bidirectionele encoders. Avey-B demonstreert dat een architectuur gebaseerd op retrieval-geconditioneerde, attention-vrije mechanismen superieure prestaties kan leveren op discriminatieve taken, met name bij lange contexten.

De belangrijkste implicaties zijn:

Industriële toepasbaarheid: Avey-B biedt een oplossing voor de "long-context bottleneck" in industrieel NLP, waar lage latentie en geheugenefficiëntie cruciaal zijn.
Paradigmaverschuiving: Het succes van Avey-B moedigt onderzoek aan naar niet-attention-architecturen die specifiek zijn ontworpen voor bidirectionele contextualisatie, in plaats van alleen autoregressieve generatie.
Kostenefficiëntie: Door de lineaire schaalbaarheid en de mogelijkheid om op minder tokens te presteren dan concurrenten, biedt Avey-B een aanzienlijk lager trainings- en inferentiekostenniveau.

Kortom, Avey-B combineert de voordelen van bidirectionele context met de schaalbaarheid van lineaire attention-vrije modellen, en overtreft de huidige staat van de kunst in zowel snelheid als nauwkeurigheid voor lange documenten.