💬 NLP

Avey-B

Cet article présente Avey-B, une reformulation de l'architecture Avey en encodage-only intégrant des innovations telles que des paramétrisations découplées et une compression neuronale, qui surpassent les encodeurs Transformer existants sur des tâches de classification et de recherche d'information tout en offrant une meilleure efficacité pour les contextes longs.

Auteurs originaux : Devang Acharya, Mohammad Hammoud

Publié 2026-02-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Devang Acharya, Mohammad Hammoud

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Grand Défi : Comprendre le monde entier sans se noyer

Imaginez que vous essayez de lire un livre de 1 000 pages en une seule seconde. C'est ce que les ordinateurs doivent faire pour comprendre le langage humain (comme quand vous demandez à Siri ou Google une question).

Pendant des années, la méthode reine s'appelait BERT (et ses cousins comme RoBERTa). C'est un peu comme un lecteur très méticuleux qui lit chaque mot en regardant à la fois ce qui vient avant et ce qui vient après. C'est excellent pour comprendre le sens, mais c'est très lent et gourmand en énergie. Plus le texte est long, plus le lecteur doit faire de "allers-retours" dans sa tête, ce qui le fatigue énormément (c'est ce qu'on appelle la complexité quadratique).

🚀 La Nouvelle Star : AVEY-B

Les chercheurs d'Avey AI ont créé un nouveau modèle appelé AVEY-B. Au lieu de lire chaque mot en détail comme un lecteur classique, AVEY-B fonctionne comme un chef d'orchestre ultra-efficace ou un détective intelligent.

Voici comment il fonctionne, avec trois astuces magiques :

1. Le Tri Intelligent (Le "Ranker")

Au lieu de lire tout le livre page par page, AVEY-B le découpe en petits chapitres (des "splits").

L'analogie : Imaginez que vous cherchez une information précise dans une bibliothèque géante. Au lieu de lire tous les livres, un assistant rapide (le Ranker) va directement chercher les 3 ou 4 chapitres les plus pertinents dans la bibliothèque et les pose sur votre bureau.
Le résultat : Le cerveau du modèle ne se concentre que sur ce qui est important, ignorant le bruit inutile.

2. La Séparation des Tâches (Paramétrage Découplé)

Dans les anciens modèles, le "filtre" (ce qui décide ce qui est important) et le "cerveau" (ce qui apprend) étaient collés ensemble. C'était comme essayer de conduire une voiture tout en essayant de réparer le moteur en même temps : ça créait des interférences.

L'analogie : AVEY-B sépare les deux. Il a un moteur statique (une base solide, comme les fondations d'une maison) et un moteur dynamique (qui s'adapte à la route en temps réel).
Le résultat : Le modèle ne se contredit plus lui-même. Il reste stable même quand le texte devient très complexe.

3. La Compression Neuronale (Le "Neural Compressor")

Quand le modèle va chercher les chapitres pertinents, il en récupère beaucoup. Si on les mettait tous tels quels, cela alourdirait encore le travail.

L'analogie : Imaginez que votre assistant vous apporte 10 dossiers. Au lieu de les empiler tous sur votre bureau, il les lit rapidement, en extrait l'essentiel, et vous ne donne qu'un seul résumé concis.
Le résultat : Le modèle gagne un temps fou. Il traite l'information aussi vite que s'il lisait un seul chapitre, même s'il a "lu" 10 chapitres en arrière-plan.

🏆 Pourquoi c'est une révolution ?

Les chercheurs ont comparé AVEY-B aux géants actuels (BERT, RoBERTa, ModernBERT) sur plusieurs épreuves :

Précision (La compréhension) : AVEY-B est souvent meilleur, surtout pour trouver des informations précises dans un texte (comme trouver un nom dans une liste) ou pour résumer de longs documents.
Vitesse (L'efficacité) : C'est là que ça devient fou.
- Pour un texte court, AVEY-B est rapide.
- Pour un texte très long (comme un roman entier ou un rapport de 100 000 mots), les anciens modèles deviennent extrêmement lents, comme une voiture qui s'essouffle en montant une côte.
- AVEY-B, lui, garde la même vitesse. C'est comme s'il avait un moteur électrique qui ne consomme pas plus d'énergie quand la route s'allonge. À 96 000 mots, il est plus de 10 fois plus rapide que ses concurrents !

🎯 En résumé

AVEY-B est une nouvelle façon de construire l'intelligence artificielle pour le langage.

Il ne lit pas tout mot à mot (trop lent).
Il cherche les infos importantes, résume ce qui est nécessaire, et comprend le tout avec une stabilité incroyable.

C'est comme passer d'un lecteur qui doit tout mémoriser pour répondre à une question, à un expert qui sait exactement où regarder, ce qu'il faut retenir, et qui peut gérer des livres entiers sans jamais se fatiguer. C'est un pas de géant pour rendre l'IA plus rapide, moins chère et capable de comprendre de très longs documents.

1. Problématique

Les encodeurs bidirectionnels pré-entraînés (comme BERT et ses dérivés) constituent la colonne vertébrale du NLP industriel en raison de leur capacité à contextualiser les tokens grâce à l'attention bidirectionnelle. Cependant, ils souffrent de limitations majeures :

Coût computationnel quadratique : Le mécanisme d'auto-attention standard a une complexité en temps et en mémoire de $O(N^2)$ , ce qui limite l'extension des fenêtres de contexte, surtout dans des déploiements contraints par le budget.
Inefficacité à long terme : L'extension des contextes au-delà de la fenêtre d'entraînement dégrade souvent les performances ou devient impossible sans ré-entraînement coûteux.
Architecture rigide : Les architectures basées sur les Transformers peinent à concilier parallélisme, bidirectionnalité et efficacité sur des séquences très longues (jusqu'à 96k tokens).

Le papier propose de dépasser ces limites en reformulant Avey, une architecture récente sans attention (attention-free) et auto-régressive, pour en faire un encodeur bidirectionnel efficace et évolutif.

2. Méthodologie : Architecture Avey-B

Avey-B est une reformulation bidirectionnelle de l'architecture Avey, conçue pour l'entraînement et l'inférence en mode "encodeur-only". Elle repose sur trois innovations architecturales clés :

A. Contextualisation Bidirectionnelle et Découplage des Paramétrisations

Contrairement à Avey original (auto-régressif), Avey-B permet à chaque token de s'attendre au contexte gauche et droit.

Le problème du couplage : Dans Avey original, les poids statiques appris et les scores de similarité (cosinus) dépendants des entrées sont multipliés élément par élément. Cela peut créer des interactions destructrices où un token très pertinent (forte similarité) voit sa contribution réduite par un poids appris défavorable, violant la monotonie de la pertinence.
La solution Avey-B (Découplage) : L'architecture alterne des couches statiques et dynamiques.
- Couches dynamiques : Pondèrent les embeddings uniquement par similarité cosinus (garantissant que plus la similarité est élevée, plus la contribution est forte).
- Couches statiques : Appliquent des transformations linéaires apprises (avec des poids signés) pour façonner les représentations sans inverser l'ordre de pertinence établi par les couches dynamiques.
- Cela préserve la garantie de monotonie tout en permettant une modélisation riche.

B. Normalisation Orientée Stabilité

Dans les couches dynamiques, les scores de similarité sont normalisés par la somme des scores de la ligne (normalisation par somme), plutôt que par Softmax ou RMS.

Avantage : Cette approche préserve l'information de signe et les rapports de similarité relatifs, évitant l'amplification des valeurs aberrantes (outliers) et stabilisant l'entraînement en limitant la croissance des valeurs singulières avec la profondeur du réseau.

C. Compression Neurale (Neural Compression)

Pour l'inférence bidirectionnelle, concaténer chaque segment (split) avec ses $k$ meilleurs segments récupérés gonflerait la séquence d'un facteur $k+1$ , rendant le calcul prohibitif.

Mécanisme : Un module de compression intégré au "ranker" (classeur) réduit le bloc concaténé $(k+1)S$ tokens (où $S$ est la taille du segment) de retour à $S$ tokens via une projection linéaire apprise.
Résultat : Le processeur neuronal ne traite que le nombre de tokens de la séquence d'origine, éliminant les calculs redondants tout en conservant l'information contextuelle pertinente. Une connexion résiduelle préserve les signaux locaux.

3. Contributions Clés

Proposition d'Avey-B : Une nouvelle architecture d'encodeur bidirectionnel sans attention, capable de gérer des contextes arbitrairement longs.
Innovations Architecturales :
- Découplage des paramétrisations statiques et dynamiques pour éviter les effets d'inversion de pertinence.
- Normalisation par somme des scores de similarité pour la stabilité.
- Module de compression neurale pour maintenir une complexité linéaire effective par rapport à la longueur de séquence.
Études d'Ablation et de Design : Analyse approfondie montrant que l'alternance couches statiques/dynamiques, la normalisation par somme et la compression sont essentielles aux performances.
Libération du Code : Mise à disposition des checkpoints pré-entraînés et du code source pour la reproductibilité.

4. Résultats Expérimentaux

Efficacité (Performance)

Avey-B a été comparé à quatre encodeurs basés sur les Transformers : BERT, RoBERTa, ModernBERT et NeoBERT.

Benchmark : Évalué sur des tâches de classification de séquences (SC), de tokens (TC), de question-réponse (QA) et de recherche d'information (IR).
Performance :
- Avey-B surpasse systématiquement BERT et NeoBERT sur tous les benchmarks.
- Il surpasse RoBERTa et ModernBERT sur les tâches de classification de tokens (TC) et de recherche d'information (IR), malgré avoir été pré-entraîné sur environ 11 fois moins de tokens que ModernBERT.
- Il obtient des résultats compétitifs ou supérieurs sur la classification de séquences et le QA.
Robustesse : Avey-B présente une variance très faible entre les graines aléatoires, indiquant une stabilité d'optimisation supérieure à celle des modèles basés sur l'attention (notamment ModernBERT).

Efficacité (Latence et Débit)

Évolutivité : Avey-B affiche une complexité de débit bien meilleure que les Transformers.
- Le débit de Avey-B suit une loi de puissance $T(N) \propto N^{-\alpha}$ avec un exposant $\alpha \approx 0.44$ .
- Comparativement, ModernBERT a $\alpha \approx 0.77$ et NeoBERT $\alpha \approx 0.81$ .
Gains : À une longueur de séquence de 96 000 tokens, Avey-B est 3,38 fois plus rapide que ModernBERT et 11,63 fois plus rapide que NeoBERT.
Extrapolation : Contrairement aux Transformers qui nécessitent un ré-entraînement ou souffrent de dégradation hors de leur fenêtre d'entraînement, Avey-B généralise naturellement à des contextes bien au-delà de sa fenêtre d'entraînement (2048 tokens) jusqu'à 96k tokens, comme démontré sur le benchmark "Needle-in-a-Haystack".

5. Signification et Impact

Ce travail remet en question le dogme selon lequel l'attention est la seule voie viable pour les encodeurs bidirectionnels performants.

Alternative aux Transformers : Avey-B démontre qu'une architecture sans attention, basée sur la récupération de segments (retrieval) et le traitement neuronal, peut surpasser les Transformers modernes en termes de précision et d'efficacité computationnelle.
Adaptation Industrielle : La capacité à traiter des contextes très longs (96k+) avec une latence faible et une consommation mémoire maîtrisée rend cette architecture particulièrement attractive pour les applications industrielles contraintes par les ressources (recherche, analyse de documents longs, RAG).
Stabilité : La conception découplée et normalisée offre une stabilité d'entraînement supérieure, réduisant les risques d'instabilité souvent observés dans les modèles à très long contexte.

En résumé, Avey-B représente une avancée significative vers des encodeurs NLP plus efficaces, scalables et robustes, offrant une alternative crédible et performante à l'architecture Transformer dominante.