Résumé Technique : SamatNext v0.2-B

Problématique

L'article traite de l'oubli catastrophique dans les décodeurs Transformer autorégressifs lorsqu'ils sont soumis à un ajustement fin (fine-tuning) séquentiel sur des distributions de données changeantes (apprentissage par curriculum). Dans les architectures standards, l'optimisation pour une nouvelle distribution de tâches écrase souvent les connaissances précédemment acquises, particulièrement la syntaxe fondamentale et les concepts sémantiques intermédiaires. Bien que des algorithmes d'apprentissage continu explicites (ex: replay, EWC) existent, cette étude examine si les biais inductifs de mélange de séquences (sequence-mixer inductive biases) peuvent, à eux seuls, modifier le compromis rétention/plasticité sans recourir à ces mécanismes externes. Les auteurs utilisent la génération de code comme plateforme de recherche en raison de ses métriques d'évaluation déterministes et basées sur l'exécution, ce qui permet une mesure précise de la rétention syntaxique et sémantique.

Méthodologie

L'étude introduit SamatNext v0.2-B, un décodeur de séquence hybride expérimental de 356 millions de paramètres, conçu pour être équivalent en nombre de paramètres à une ligne de base (baseline) Transformer standard.

Architecture

SamatNext v0.2-B se compose de 16 blocs de décodage qui alternent entre deux mécanismes de mélange de séquences distincts :

1. Couches de type Differential-Attention (indices impairs) : Inspirées de l'attention différentielle, ces couches calculent deux voies d'attention causale utilisant des projections de requêtes/clés (query/key) séparées. La sortie finale est une somme pondérée d'une voie d'attention de base et d'une voie différentielle, mise à l'échelle par un paramètre apprenable $\alpha$ (initialisé à 0.0). Les plongements de position rotatifs (RoPE) sont appliqués aux deux voies.
2. Mélangeurs d'état linéaire inspirés de DeltaNet (indices pairs) : Ces couches utilisent des mécanismes d'état linéaire récurrents simplifiés. Elles projettent les entrées en clés et requêtes non négatives (via ReLU) et en valeurs. Le modèle maintient des accumulateurs d'état élément par élément ($S_t$ et $K_t$) via des sommes cumulatives sur la séquence. La sortie est calculée via une division élément par élément, suivie d'une Normalisation RMS et d'un paramètre de Calibration d'Échelle de Sortie ($s=0.25$).

Les deux architectures partagent une structure feed-forward SwiGLU et une Normalisation RMS. Le Transformer de référence utilise l'attention multi-têtes (MHA) standard, avec un nombre de paramètres égalé à celui de SamatNext en ajustant la dimension intermédiaire du feed-forward.

Configuration Expérimentale

Les modèles ont été entraînés séquentiellement via un curriculum Python structuré :

• Étape 2A : Fondations syntaxiques (contrôle de flux, variables).
• Étape 3 : Sémantique d'instruction (paraphrase, compréhension de concepts).
• Étape 5 : Tâches de codage causal spécialisées (complétion de fonction finale).
• Évaluation : La performance a été mesurée sur l'Étape 5 (capacité actuelle), l'Étape 3 (rétention sémantique adjacente) et l'Étape 2E (holdout syntaxique adversaire de phase précoce).

L'entraînement a utilisé AdamW avec un schéma de décroissance cosinus. La comparaison principale impliquait un chemin d'apprentissage par curriculum standard (taux d'apprentissage $3 \times 10^{-6}$) et une tentative de "sauvetage" (rescue) pour la baseline en utilisant un taux d'apprentissage plus élevé ($1 \times 10^{-5}$).

Résultats Clés

Les résultats empiriques, présentés dans le Tableau 1 de l'article, soulignent une divergence significative dans les capacités de rétention :

• Compromis Rétention/Plasticité : SamatNext v0.2-B a atteint un taux de réussite parfait de 100.0% sur la tâche finale de l'Étape 5 tout en conservant 98.8% de ses capacités sémantiques de l'Étape 3. En revanche, la baseline Transformer a soit échoué à maîtriser l'Étape 5 (49.4% de réussite), soit, lorsqu'elle a été forcée d'apprendre via un taux d'apprentissage plus élevé (97.6% de réussite à l'Étape 5), a subi un ouboi de sémantique quasi total de l'Étape 3 (6.0% de rétention).
• Syntaxe à Long Terme : Les deux modèles ont montré une faible rétention sur le jeu de données syntaxique adversaire de phase précoce (Étape 2E). Bien que SamatNext l'ait améliorée à 12.0% (contre 0.0–3.0% pour la baseline), les auteurs notent que cela reste relativement faible, indiquant que les biais de mélange de séquences seuls ne résolvent pas entièrement l'oubli à long terme.
• Hors Distribution : Sur un sous-ensemble décontaminé de HumanEval, SamatNext a obtenu un taux pass@1 de 12.0% contre 8.0% pour la baseline, suggérant un léger avantage en matière de cohérence de code générale malgré la petite échelle du modèle.

Revendications et Signification

L'article se positionne comme un rapport technique sobre et une étude exploratoire, évitant explicitement de prétendre avoir résolu le problème de l'oubli catastrophique ou d'établir un nouveau état de l'art pour les modèles de code.

• Revendication Primaire : L'architecture hybride de SamatNext v0.2-B, spécifiquement la combinaison de l'Attention Différentielle et des mélangeurs d'état linéaire inspirés de DeltaNet avec calibration d'échelle, altère le compromis rétention/plasticité. Elle permet au modèle de s'adapter à de nouvelles tâches spécialisées tout en préservant nettement mieux les distributions sémantiques adjacentes qu'un Transformer standard de même nombre de paramètres.
• Hypothèse de Mécanisme : Les auteurs suggèrent que la représentation d'état de taille fixe dans les mélangeurs d'état linéaire agit comme un goulot d'étranglement de régularisation, empêchant l'écrasement complet des mappages de caractéristiques qui se produit dans les couches d'attention denses standard.
• Limites Reconnues :
  • L'étude ne résout pas le problème plus large de l'oubli catastrophique sur de longs horizons d'entraînement (comme en témoigne la faible rétention de l'Étape 2E).
  • Le curriculum est synthétique et limité à Python ; les résultats pourraient ne pas se généraliser au pré-entraînement à grande échelle ou au raisonnement complexe.
  • L'étude manque de comparaisons avec des algorithmes dédiés à l'apprentissage continu (ex: EWC, adaptateurs) et d'ablations architecturales complètes (ex: mélangeurs homogènes).
  • La sensibilité du taux d'apprentissage de SamatNext n'a pas été entièrement explorée, ce qui limite la généralisabilité des conclusions sur les hyperparamètres.

En conclusion, l'article démontre que des biais inductifs spécifiques dans le mélange de séquences peuvent améliorer la stabilité de l'ajustement fin séquentiel dans les petits modèles de code, offrant une direction prometteuse pour la recherche future sur l'apprentissage continu sans mécanisme de replay explicite.