Résumé Technique : AlphaToken

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus adaptés via des paradigmes de post-entraînement tels que le réglage fin supervisé (SFT) et l'optimisation de préférence (PO). Bien que l'utilité des données soit reconnue comme critique, les méthodes existantes de sélection de jetons reposent largement sur des heuristiques locales (ex. : écarts de perte, masquage de perplexité) ou opèrent au niveau de l'échantillon. Ces approches ne parviennent pas à formuler la sélection de jetons comme une évaluation fondée sur des principes de la valeur de chaque jeton de réponse individuel. De plus, elles confondent souvent les objectifs d'adaptation cible (apprentissage de nouvelles tâches) et de stabilité de rétention (préservation des capacités pré-entraînées), ce qui entraîne un oubli catastrophique ou des compromis sous-optimaux. Un cadre rigoureux est nécessaire pour mesurer comment chaque jeton de réponse contribue à la fois à l'adaptation et à la stabilité, particulièrement dans les scénarios où les données de rétention (le corpus d'entraînement initial) ne sont pas disponibles.

Méthodologie : AlphaToken

AlphaToken est un cadre d'évaluation de la valeur des jetons de réponse qui découple l'objectif d'évaluation en adaptation et stabilité, rendant chaque objectif sensible au chemin (path-aware) en modélisant les signaux causaux directs et en aval.

1. Décomposition de l'Évaluation Sensible au Chemin

Le cadre définit la valeur $\Phi(y_t)$ d'un jeton de réponse $y_t$ comme étant proportionnelle à l'alignement entre son gradient d'entraînement et un gradient de validation composite. Cela se décompose en :

• Adaptation : Alignement avec le gradient de validation de la tâche cible.
• Stabilité : Alignement avec un gradient de validation de rétention.

Crucialement, AlphaToken modélise l'influence du jeton le long de deux chemins :

• Chemin Direct : La contribution immédiate à la perte à la position $t$.
• Chemin Causal : L'influence du jeton sur les prédictions futures ($y_k, k > t$) via la génération autorégressive. Ceci est capturé via une approximation de Propagation de la Valeur (Value-Propagation), qui isole le canal de projection de valeur linéaire dominant dans le Jacobien inter-positions, négligeant les termes de propagation de score d'ordre supérieur qui décroissent en $O(1/\sqrt{d_h})$.

2. Proxy de Rétention Sans Données

Puisque les données de rétention sont typiquement indisponibles en raison des licences et des politiques de code fermé, AlphaToken ne peut pas calculer le véritable gradient de rétention $\nabla_\theta J_{ret}$. À la place, il approxime la stabilité de rétention à l'aide d'un proxy de dérive de Fisher ancré sur le modèle de référence pré-entraîné ($\theta_{ref}$).

• La perte de rétention est développée autour de $\theta_{ref}$, où le terme de premier ordre est négligeable et le terme de second ordre est approximé par la matrice d'information de Fisher ($F_{ref}$).
• Le gradient proxy est défini par $g_{prx} = F_{ref}(\theta - \theta_{ref})$.
• Les jetons dont les gradients d'entraînement s'alignent avec $g_{prx}$ sont jugés « favorables à la rétention » car ils contractent la dérive pondérée par Fisher par rapport au modèle de référence.

3. Calcul Efficace via le Produit Scalaire Fantôme (GDP)

Calculer les produits scalaires par jeton dans l'espace des paramètres est prohibitif ($O(T|\theta|)$). AlphaToken étend la technique du Produit Scalaire Fantôme (GDP) à l'évaluation par jeton, calculant tous les scores dans l'espace d'activation :

• Alignement Cible Direct/Causal (A–A) : Factorise les gradients de paramètres en produits scalaires dans l'espace d'activation entre les jetons d'entraînement et de validation.
• Proxy de Rétention (A–P) : Contracte directement le gradient de jeton de rang 1 contre le vecteur proxy de l'espace des paramètres fixe $g_{prx}$ en utilisant une tranche par couche $V^l$, évitant ainsi la formation de gradients de paramètres complets.

4. Post-Entraînement Sensible à la Valeur

Les valeurs composites des jetons guident une stratégie de masquage binaire pendant l'entraînement :

• SFT : Les jetons de faible valeur sont masqués (sautés), réallouant le flux de gradient vers les positions de haute valeur.
• DPO : La méthode s'étend à l'optimisation de préférence en déroulant la perte au niveau de la séquence vers des contributions par jeton. Elle applique des masques distincts aux réponses choisies ($y^+$) et rejetées ($y^-$) basés sur leurs valeurs composites, renforçant les jetons de haute valeur dans $y^+$ et réduisant la probabilité pour les jetons sélectionnés dans $y^-$.

Principales Contributions

1. Cadre d'Évaluation Fondé sur des Principes : L'article formule l'évaluation des jetons de réponse en décomposant l'adaptation et la stabilité de rétention, rendant l'approche sensible au chemin grâce aux signaux de mise à jour locale et aux signaux causaux à longue portée. Il remplace les gradients de rétention inaccessibles par un proxy de dérive pondéré par la matrice de Fisher.
2. Extensions Algorithmiques : S'appuyant sur le GDP pour l'alignement au niveau de l'échantillon, les auteurs l'étendent à l'évaluation au niveau du jeton. Cela inclut le support de l'alignement causal inter-positions via une approximation de Propagation de la Valeur et l'obtention de la stabilité par dérive de Fisher via une nouvelle contraction Activation-Paramètre.
3. Performance Empirique : Les auteurs développent une méthode de sélection de jetons qui masque les jetons de réponse de faible utilité en SFT et en PO. Les expériences montrent que cette approche améliore les performances globales d'au moins 1,54 point sur divers backbones (de 3B à 9B de paramètres) tout en atténuant l'oubli catastrophique.

Résultats Expérimentaux

Les expériences ont été menées sur trois backbones (Llama-3.2-3B, Gemma-3-4B, Qwen-3.5-9B) en utilisant le SFT (jeu de données Magicoder) et l'Optimisation de Préférence (jeu de données UltraFeedback).

• Réglage Fin Supervisé (SFT) : AlphaToken a obtenu le meilleur score « Global » (moyenne des métriques cible et de rétention) sur tous les modèles, surpassant les bases les plus fortes (ex. : ssTOKEN, STM) par des marges de 1,54 à 2,80 points. Il a maintenu ou dépassé les performances de la tâche cible (HumanEval) tout en améliorant significativement la rétention des capacités générales (ARC-C, HellaSwag, MMLU, GSM8K).
• Optimisation de Préférence (PO) : AlphaToken a obtenu le meilleur score Global sur tous les backbones, progressant de 1,54 à 1,83 points par rapport à la base de comparaison la plus forte. Contra-irement au DPO standard, qui subit souvent une « taxe d'alignement » (régression de la rétention), AlphaToken a réalisé des gains simultanés tant dans les taux de victoire de préférence que dans la rétention des capacités générales.
• Études d'Ablation :
  • Classement des Jetons : La sélection de jetons basée sur le score d'AlphaToken (Top-$\rho$) a nettement surperformé la sélection aléatoire et la sélection par score bas, confirmant l'informativité du score.
  • Analyse des Composantes : Il a été démontré que l'axe de l'objectif (adaptation vs stabilité) et l'axe du chemin (direct vs causal) sont complémentaires. La suppression de l'une ou l'autre composante dégrada les performances, indiquant que les signaux directs et les signaux causaux à longue portée fournissent des informations distinctes et non redondantes.
  • Validité du Proxy : Le proxy de dérive de Fisher a montré une forte corrélation (Pearson 0,83) avec un gradient de rétention oracle calculé à partir d'un ensemble de rétention tenu à l'écart.

Signification et Revendications

L'article affirme qu'AlphaToken fournit une solution fondée sur des principes et sans données au compromis entre l'adaptation des LLM à de nouvelles tâches et la préservation de leurs capacités générales pré-entraînées. En décomposant explicitement ces objectifs et en modélisant l'influence causale des jetons, la méthode évite les limitations heuristiques des approches de sélection de jetons précédentes.

Les auteurs soulignent que leur approche est calculablement pratique, introduisant un surcoût modeste (environ 1,17x de temps par rapport à l'entraînement standard) tout en délivrant des améliorations constantes du compromis adaptation-rétention. Ils positionnent AlphaToken comme un cadre général applicable tant au SFT qu'à l'Optimisation de Préférence, offrant un moyen systématique de contrôler la plasticité versus la stabilité sans nécessiter l'accès au corpus d'entraînement original.

Limites Reconnues :

• Surcoût Computationnel : Bien que modeste, le coût de scoring dépend du nombre de couches scorées, de la taille de la fenêtre causale et de la taille du batch de validation.
• Hypothèses du Proxy : Le proxy de dérive de Fisher suppose que le checkpoint de référence est proche de la stationnarité pour la perte de rétention ; cela peut être plus bruité pour des checkpoints fortement spécialisés par domaine ou sous-entraînés.
• Masquage Dur (Hard Masking) : L'implémentation actuelle utilise un masquage binaire Top-$\rho$, ce qui discrétise les valeurs continues. Les auteurs suggèrent le repondérage progressant (soft reweighting) ou des taux d'apprentissage conditionnés par la valeur comme directions futures potentielles.