The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

Résumé Technique : La Géométrie de l'Apprentissage Séquentiel

Énoncé du Problème
Les pipelines d'apprentissage séquentiel, allant de l'adaptation de pré-entraînement par prédiction du prochain jeton (next-token) au réglage fin d'instructions (SFT) et à l'optimisation de préférence directe (DPO), sont intrinsèquement dépendants de l'ordre. Lorsqu'un modèle est adapté de $N$ domaines sources candidats vers un domaine cible, il existe $N!$ curricula d'entraînement possibles. La recherche exhaustive de cet espace est informatiquement intraitable, même pour un $N$ modéré. Le défi central est de prédire si un entraînement sur le domaine $A$ suivi de $B$ ($A \to B$) produit une perte cible plus faible que l'ordre inverse ($B \to A$) sans exécuter les deux programmes d'entraînement complets.

Méthodologie
L'article postule que la dépendance à l'ordre est un phénomène géométrique structuré découlant de la non-commutativité des opérateurs de mise à jour du gradient. Les auteurs dérivent une quantité géométrique locale et calculable — le commutateur de Lie — pour prédire l'ordre de transfert optimal.

1. Fondement Théorique :
   Soit $L_D(\theta)$ la perte sur le domaine $D$ avec le gradient $g_D$ et la Hessienne $H_D$. Une étape de gradient unique est un opérateur $U_D(\theta) = \theta - \eta g_D(\theta)$. Pour deux sources $A$ et $B$, la différence dans l'espace des paramètres après deux étapes dans des ordres opposés est :
   $$\theta_{AB} - \theta_{BA} = \eta^2 (H_B g_A - H_A g_B) + O(\eta^3)$$
   Le terme $b_{AB} := H_B g_A - H_A g_B$ est identifié comme le crochet de Lie des champs de vecteurs de flux de gradient. Ce vecteur pilote la dépendance à l'ordre.

2. Prédiction par Paire (Le Planificateur) :
   Pour prédire quel ordre minimise la perte sur un domaine cible $E$, la méthode projette le vecteur de crochet sur le gradient cible $g_E$. Le score directionnel est :
   $$\sigma^{(E)}_{AB} = \langle g_E, b_{AB} \rangle$$
   Si $\sigma^{(E)}_{AB} < 0$, alors $A \to B$ est prédit comme produisant une perte plus faible ; sinon, $B \to A$ est préféré.

• Estimation par Correspondance de Dérive (Drift-Matched Estimation) : Pour améliorer la précision au-delà du régime infinitésimal, le gradient cible $g_E$ est évalué non pas au point d'initialisation $\theta_0$, mais à un « point de référence de Trotter » $\theta_{ref} = \theta_0 - \eta(g_A + g_B)$. Ce point approxime la dérive de premier ordre partagée des deux ordres, réduisant l'erreur d'estimation du gradient.
• Efficacité Computationnelle : La méthode ne nécessite que des gradients et des produits Hessienne-Vecteur (HVP). Elle ne matérialise pas de matrices Hessiennes complètes. En pratique, les calculs sont restreints à un sous-ensemble de paramètres entraînables (par exemple, les dernières couches du transformer pour les LLM), rendant le coût approximativement de $3$ évaluations de gradient et $2$ HVP par paire.

3. Planification Scalable (Tournois de Crochets de Lie) :
   Pour $N > 2$ sources, les scores par paire définissent un tournoi pondéré. Les auteurs proposent un classement de Borda/somme de ligne pour déterminer l'ordre du curriculum sans évaluer les $N!$ permutations.

• Optimisation Clé : En utilisant un gradient de référence cible partagé ($\theta_0$) pour toutes les paires, les poids des arêtes par paire peuvent être calculés via des produits scalaires de gradients sources et des HVP pré-calculés ($u_i = H_i g_E$).
• Complexité : Cela réduit le problème de planification à $O(N)$ produits scalaires et un tri en $O(N \log N)$, évitant la matérialisation $O(N^2)$ de la matrice complète des paires.

Contributions Clés

1. Théorie du Commutateur pour l'Ordre de Transfert : L'article établit un lien théorique entre les différences de perte cible dépendant de l'ordre et le score de crochet directionnel $\sigma^{(E)}_{AB}$, prouvant que son signe prédit l'ordre optimal par paire.
2. Planificateur de Paire Déployable : Introduction d'un estimateur de Trotter par correspondance de dérive qui utilise des gradients et des HVP pour prédire les effets d'ordre avec une grande précision, incluant des métriques pour les « enjeux » (magnitude de l'effet) et la « confiance » (alignement).
3. Tournois de Crochets de Lie : Une méthode scalable pour la planification de nombreux domaines qui transforme la recherche de curriculum $N!$ en un problème de classement, permettant l'ordonnancement efficace de dizaines de domaines.
4. Sélection Automatique de la Taille de Pas : Un « autopilote » piloté par la théorie ($\eta$-autopilot) qui sélectionne automatiquement les tailles de pas à partir de données pilotes pour équilibrer la détectabilité par rapport aux contraintes de stabilité d'ordre supérieur.
5. Validation Large : Le cadre est validé à travers l'instruction-SFT, le DPO, l'adaptation de pré-entraînement par jeton suivant et l'adaptation de modèles de diffusion.

Résultats Expérimentaux

• Précision Par Paire :
  • Instruction-SFT : A atteint une précision de signe de 98,1 % à $k=1$ (une étape par domaine) et 73,1 % à $k=20$.
  • DPO : A atteint 98,9 % de précision à $k=1$ et 72,2 % à $k=20$.
  • Pré-entraînement/Diffusion : Sur quatre LLM et un modèle de diffusion, la méthode a maintenu une précision élevée (ex: 92,0 % sur Llama-3.2-1B, 91,1 % sur la diffusion), surpassant nettement les baselines aléatoires.
• Généralisation à Long Terme : Le prédicteur, calculé une seule fois à l'initialisation, est resté efficace sur de longs horizons d'entraînement. Sur Llama-3.2-1B, la précision est restée à 81,5 % pour $k=20$ et 65,3 % pour $k=50$ (100 mises à jour totales), avec une réduction significative du regret par rapport à un ordonnancement aléatoire.
• Planification Multi-Domaines :
  • Petit $N$ ($N=3$) : La méthode a récupéré le meilleur des $3!$ programmes en 87,5 % des essais.
  • Grand $N$ : Sur 56 sujets MMLU, la méthode a atteint le percentile échantillonné de 99,0–99,6-ième, surpassant nettement la baseline de descente de norme de gradient (qui est tombée sous le 1er percentile). Sur 85 domaines de langages de programmation Stack, elle a atteint le 99-ième percentile pour une cible Python.
• Efficacité : Le planificateur devient moins coûteux qu'une évaluation par force brute des deux ordres à environ $k \approx 3$ étapes par domaine.

Signification et Revendications
L'article recadre l'apprentissage séquentiel comme un problème de tournoi géométrique. Il affirme que le commutateur de crochet de Lie fournit à la fois l'information d'ordre par paire locale et une primitive scalable pour construire des programmes de nombreux domaines. Les résultats suggèrent que la non-commutativité des mises à jour de gradient est un facteur dominant dans la conception de curricula, et que cette structure géométrique peut être exploitée pour éviter une recherche exhaustive. Les auteurs soulignent que la méthode est particulièrement efficace pour les scénarios de réglage fin à efficacité de paramètres (ex: ajustement uniquement des dernières couches ou des adaptateurs) et que la primitive géométrique par paire se généralise à travers différentes objectifs d'entraînement (SFT, DPO, pré-entraînement) et architectures (Transformers, UNets). L'article ne prétend pas résoudre l'optimisation globale de curricula arbitraires, mais démontre qu'une heuristique géométrique locale peut récupérer des programmes quasi-optimaux avec un surcoût computationnel minimal.