Résumé Technique : Compression à Triple Latence Générique avec Récupération Associative à Porte

Énoncé du Problème

La modélisation de séquences standard repose sur l'auto-attention complète pour capturer les interactions de tokens d'ordre supérieur, ce qui entraîne des coûts de calcul quadratiques et nécessite des noyaux (kernels) hautement optimisés. Bien que les alternatives récurrentes et à temps linéaire (par exemple, RetNet, Mamba, RWKV) offrent une efficacité grâce à des états compressés, elles sacrifient souvent la puissance expressive, particulièrement pour la modélisation de dépendances complexes d'ordre supérieur au-delà des interactions par paires.

Cet article examine une question spécifique : Une compression latente générique peut-elle compresser efficacement les interactions de type triplets pour améliorer les performances sur les benchmarks standards de modélisation de langage, sans dépendre de l'énumération explicite de triplets de tokens ou d'un parsing spécifique au benchmark ? Les auteurs cherchent à déterminer si la compression latente seule peut récupérer les bénéfices des interactions d'ordre supérieur et si la récupération exacte (rappel associatif) peut être intégrée dans un tel cadre compressé.

Méthodologie

1. Architecture à Triple Latence Générique

La contribution principale est une famille de modèles récurrents et non typés qui maintiennent un état de token courant aux côtés d'une voie de mémoire de paires compressée. Contrairement aux modèles à latence typée, ces architectures ne reçoivent que des IDs de tokens bruts et n'utilisent aucun en-tête symbolique spécifique à la tâche.

• Mise à jour de l'état : Un état courant $s_t$ est mis à jour via une porte de rétention apprise $\lambda_t$ :
  $$s_t = \lambda_t \odot s_{t-1} + (1 - \lambda_t) \odot a_t$$
• Mémoire de Paire Compressée : Une mémoire de paire dense $P_t$ stocke les interactions entre l'état précédent et un vecteur d'écriture actuel $b_t$ :
  $$P_t = \gamma_t \odot P_{t-1} + (1 - \gamma_t) \odot (s_{t-1} \otimes b_t)$$
  où $P_t \in \mathbb{R}^{H \times S \times S}$.
• Lecture (Readout) : Le modèle sonde la mémoire compressée avec une requête gauche $q^\ell_t$ et compose le résultat avec une requête droite $q^r_t$ pour former une caractéristique d'ordre supérieur avant la compression :
  $$o_t = W_o \text{vec}((P_t q^\ell_t) \odot q^r_t)$$

2. Variantes d'Architecture

L'étude évalue trois variantes spécifiques par rapport à une ligne de base Transformer standard :

• Triple-Latent : Utilise une mémoire de paire dense $P_t$.
• Triple-Slot : Remplace la mémoire dense par des slots appris stockant des facteurs gauche et droit de faible rang.
• Triple-Hybrid : Conserve la mémoire de paire dense et ajoute un chemin convolutionnel local avant la pile récurrente.

3. Ligne de Base de Compatibilité (Transformer+Triple)

Pour isoler le bénéfice des interactions triples du remplacement de l'attention, une ligne de base de compatibilité est introduite. Ce modèle conserve une pile Transformer standard mais ajoute une seule couche de latence triple à la sortie comme en-tête résiduel additif d'ordre supérieur, préservant les recherches de clés-valeurs d'auto-attention standard.

4. Récupération Associative Hybride à Porte

Reconnaissant que les modèles uniquement latents échouent à la récupération exacte, les auteurs proposent un hybride axé sur le rappel. Cette conception conserve la pile triple-latente pour la compression mais ajoute une voie de mémoire clé-valeur explicite pour la récupération :

• Écriture en Mémoire : Des paires clé-valeur $(k_{t-1}, v_t)$ sont écrites à l'aide de projections apprises.
• Récupération : Des requêtes sont générées à partir de la représentation du token précédent ($q_t = W_q e_{t-1}$) pour calculer les scores de similitude top-k par rapport aux clés stockées.
• Fusion Tardive à Porte (Gated Late Fusion) : Le vecteur récupéré est fusionné à la couche de sortie via une porte de lecture apprise et une fusion de logits, garantissant que la voie de compression récurrente avec perte reste intacte par les écritures de récupération.

Configuration Expérimentale

L'évaluation utilise un ensemble de benchmarks "délibérément simples" :

1. WikiText-2 au niveau des octets : Modélisation de langage autorégressive sur des octets UTF-8 bruts (vocabulaire de 259 tokens).
2. Benchmark MiniMind Tokenisé : Un benchmark de pré-entraînement utilisant un tokenizer et un corpus spécifiques, suivant un protocole strict de 120 étapes avec trois graines (seeds).
3. Rappel Associatif : Un test de stress synthétique impliquant des paires clé-valeur, des remplisseurs aléatoires et une requête finale.
4. Profilage du Débit (Throughput) : Mesures sur Apple MPS pour diverses longueurs de séquence.

Résultats Clés

Performance de Modélisation de Langage

• Configuration de Largeur Égale (Matched-Width) : Les trois variantes triple-latentes ont surpassé la ligne de base Transformer sur WikiText-2 au niveau des octets. La Triple-Hybrid a atteint 4,766 bits par octet (BPB) contre 5,124 pour le Transformer.
• Configuration de Paramètres Égaux (Parameter-Matched) : Même avec moins de paramètres, la Triple-Hybrid a maintenu un avantage (5,067 BPY contre 5,124 BPY). Un balayage ciblé a trouvé une configuration (d=64, dimension d'état=8) atteignant 4,806 BP moyen sur trois graines, surpassant significativement les 5,143 du Transformer.
• Benchmark MiniMind : Toutes les modèles triple-augmentés ont amélioré la perte de token moyenne par rapport au Transformer. La Gated Hybrid est le modèle le plus fort (6,766 perte), suivie de la Triple-Hybrid (7,035) et de la ligne de base de compatibilité transformer_plus_triple (7,239).

Rappel Associatif

• Échec du Modèle Latent Pur : La famille de base triple-latente a échoué à améliorer le rappel associatif, performant proche du niveau du hasard (~13,4 %) comparé aux 25,4 % du Transformer.
• Succès de la Gated Hybrid : La version hybride à porte axée sur le rappel a considérablement amélioré les performances, atteignant un rappel moyen de 41,9 % sur trois graines (contre 25,0 % pour le Transformer et 11,6 % pour la Triple-Hybrid simple). La meilleure graine a atteint 100,0 % de précision.
• Instabilité : La performance de haut rappel est très sensible à la graine et non monotone par rapport à la largeur. Une tentative de ré-entraînement ultérieure utilisant un warmup et un ordonnancement curriculaire a échoué à reproduire le mode de haut rappel, s'effondrant à nouveau vers un rappel moyen de ~12,7 %.

Performances Système

• Débit (Throughput) : Aucun des modèles n'a obtenu de gain de débit en temps réel. En raison de l'implémentation actuelle en boucle Python (absence de noyaux fusionnés), la Triple-Hybrid est ~32,7x plus lente que le Transformer à une longueur de séquence de 64, et la Gated Hybrid est ~106,5x plus lente.
• Estimation de Calcul : Les estimations analytiques de FLOP suggèrent que la Triple-Hybrid utilise ~0,80x les FLOP de propagation directe dominants du Transformer, indiquant que l'écart de performance est un artefact d'implémentation plutôt qu'une limitation architecturale.

Signification et Revendications

L'article positionne ces résultats comme preuve de deux conclusions distinctes :

1. La Compression Latente est Efficace pour la Modélisation Générique : La famille triple-latente de base démontre que la compression latente générique peut capturer avec succès des interactions de tokens d'ordre supérieur, améliorant les performances de modélisation de langage sur les benchmarks de bytes et de tokens sans nécessifier d'énumération explicite de triplets ou de parsing spécifique à la tâche. Les gains persistent même sous appariement de paramètres approximatif.

2. Séparation de la Compression et du Rappel : Le rappel exact bénéficie d'un chemin de mémoire séparé et à porte plutôt que d'être forcé dans un seul état compressé. Bien que les modèles uniquement latents échouent au rappel, l'ajout d'un chemin clé-valeur séparé avec une fusion tardive à porte permet à l'architecture de surpasser le Transformer sur les tâches de rappel associatif.

Limites et Mises en Garde :

• Les résultats reposent sur des expériences à petite échelle (Apple MPS) et des horizons d'entraînement courts.
• La performance de haut rappel est actuellement instable selon les graines et les largeurs.
• Les résultats de débit reflètent une implémentation de recherche en Python ; les auteurs notent qu'un système prêt pour la production nécessiterait des scans récurrents fusionnés, des recherches associatives sur appareil et des chemins de rétropropagation compilés pour réaliser le profil arithmétique favorable.

Les auteurs concluent que bien que cela ne soit pas encore un remplacement pratique de l'attention standard en raison de la maturité de l'implémentation et des problèmes de stabilité, cela fournit une preuve significative que la compression latente et le rappel exact peuvent coexister dans une architecture générique unique lorsqu'ils sont acheminés via des voies séparées.