An evolutionary perspective on modes of learning in Transformers

1. Problématique et Contexte

Les Transformers, qui sous-tendent les modèles de langage modernes (LLM), possèdent deux stratégies d'apprentissage complémentaires :

• L'apprentissage dans les poids (In-Weights Learning - IWL) : La connaissance est encodée de manière permanente dans les paramètres du modèle lors de l'entraînement.
• L'apprentissage en contexte (In-Context Learning - ICL) : Le modèle ajuste ses inférences de manière éphémère en utilisant les informations contenues dans le prompt (le contexte), sans modifier ses poids.

Bien que l'émergence de l'ICL soit souvent étudiée, la dynamique de transition entre ces deux stratégies reste mal comprise. Les études empiriques montrent que l'ICL peut être transitoire (émergeant tôt puis disparaissant au profit de l'IWL, ou vice-versa). L'article pose l'hypothèse que ces dynamiques ne sont pas aléatoires mais sont gouvernées par des principes similaires à ceux de la biologie évolutive, spécifiquement la tension entre la plasticité phénotypique (adaptation rapide via des signaux environnementaux) et l'évolution génétique (adaptation lente et permanente).

2. Méthodologie

Cadre Théorique

Les auteurs opèrent une analogie directe :

• ICL $\approx$ Plasticité : Capacité d'un même génotype (poids fixes) à produire différents phénotypes (sorties) en réponse à des signaux environnementaux (le prompt).
• IWL $\approx$ Évolution : Modification lente du génotype (poids) sur plusieurs générations pour s'adapter à un environnement stable.
• Génétique assimilation : Processus où un trait plastique devient fixe génétiquement, rendant le signal environnemental initial redondant. Cela correspond à la transition observée de l'ICL vers l'IWL.

Les auteurs identifient deux dimensions clés de la prévisibilité environnementale qui déterminent la stratégie optimale :

1. Stabilité environnementale : L'invariance de la tâche cible à travers le temps (à travers les prompts).
2. Fiabilité des indices (Cues) : La suffisance et la précision des informations dans un prompt unique pour spécifier la tâche.

Expérimentation

Pour tester ces hypothèses, les auteurs utilisent deux environnements de contrôle issus de la littérature sur l'apprentissage méta :

1. Régression de sinusoides paramétriques : Une tâche continue où le modèle doit prédire une fonction $f_t(x) = A_t \sin(x + \phi_t)$.
   • Manipulation de la stabilité : Via un processus AR(1) sur les paramètres de la tâche ($\alpha$).
   • Manipulation de la fiabilité : Via l'ajout de bruit gaussien sur les étiquettes du prompt ($\sigma^2$).
2. Classification Omniglot (Few-shot) : Une tâche discrète où le modèle doit classifier des caractères selon une carte binaire globale $M_t$.
   • Manipulation de la stabilité : Probabilité de persistance de la carte globale ($\gamma$).
   • Manipulation de la fiabilité : Probabilité que les étiquettes du prompt soient correctes ($\rho$).

Protocole d'évaluation :
Pour quantifier la préférence du modèle, les auteurs utilisent un score $S_{ICL}$. Ils génèrent des prompts où la tâche cible (définie par le prompt) est en conflit avec la tâche d'entraînement (définie par les poids).

• $S_{ICL} \approx 1$ : Le modèle suit le contexte (ICL).
• $S_{ICL} \approx 0$ : Le modèle suit ses poids (IWL).

3. Résultats Clés

A. Déterminants de la stratégie asymptotique

Les résultats confirment que la prévisibilité environnementale dicte la stratégie finale (après 50 000 étapes) :

• Environnements stables favorisent l'IWL : Lorsque la tâche est invariante dans le temps ($\alpha \to 1$), le modèle abandonne l'ICL pour consolider la tâche dans ses poids (assimilation génétique).
• Environnements volatiles avec indices fiables favorisent l'ICL : Lorsque la tâche change souvent mais que le prompt fournit des indices précis, le modèle s'appuie fortement sur l'ICL (plasticité).
• Cas particulier d'Omniglot : Même dans un environnement stable, si les indices sont parfaits, l'ICL peut persister. Cela suggère que le coût de maintenance de l'ICL est négligeable pour les Transformers, ou que le coût d'acquisition de l'IWL est prohibitif.

B. Dynamiques de transition (Transience)

L'étude des trajectoires d'apprentissage révèle des transitions directionnelles dépendantes de la tâche :

• Transition ICL $\to$ IWL (Omniglot) : Le modèle commence par utiliser le contexte (ICL) puis bascule vers les poids. Cela imite l'assimilation génétique.
• Transition IWL $\to$ ICL (Sinusoides) : Le modèle commence par approximer la fonction via les poids (IWL) et développe ensuite la capacité d'utiliser le contexte (ICL) plus tardivement. Ce phénomène rappelle le "grokking".

C. Arbitrage basé sur le coût d'apprentissage

La direction de la transition est gouvernée par le coût d'acquisition de la stratégie, déterminé par le biais inductif du modèle :

• Omniglot : L'ICL est "moins cher" à apprendre car il ne nécessite qu'un circuit de correspondance locale (attention), tandis que l'IWL nécessite de mémoriser une carte globale complexe (vocabulary de 1623 caractères). Le modèle adopte donc d'abord l'ICL.
• Sinusoides : L'IWL est "moins cher" car approximer une sinusoïde est simple pour un réseau de neurones, tandis que l'ICL nécessite d'implémenter un algorithme de régression complexe dans le forward pass. Le modèle adopte donc d'abord l'IWL.

Validation causale : En réduisant la taille du vocabulaire dans Omniglot (diminuant le coût de l'IWL), les auteurs ont inversé la dynamique : le modèle a commencé par privilégier l'IWL avant de passer à l'ICL, prouvant que le coût d'acquisition dicte la phase initiale.

4. Contributions Principales

1. Cadre Évolutionniste Unifié : Proposition d'une lentille explicative puissante reliant l'apprentissage des Transformers à la théorie de l'évolution (plasticité vs sélection naturelle), expliquant non seulement quelle stratégie est optimale, mais quand et comment les transitions se produisent.
2. Identification des Facteurs de Transition : Démonstration que les dynamiques d'apprentissage sont le résultat d'un arbitrage entre l'optimalité asymptotique (dictée par l'environnement) et le coût d'acquisition (dicté par le biais inductif et la structure de la tâche).
3. Mesure du Coût d'Apprentissage : Utilisation de la longueur de codage préquentielle (MDL) pour quantifier objectivement le coût relatif de l'ICL et de l'IWL, validant que le modèle adopte toujours la stratégie la plus "facile" à apprendre en premier.
4. Explication des Phénomènes Transitoires : Résolution du paradoxe de la transience de l'ICL (pourquoi elle apparaît et disparaît, ou apparaît tardivement) en fonction de la complexité structurelle de la tâche.

5. Signification et Implications

Ce travail offre une perspective écologique sur le comportement des modèles d'IA. Il suggère que les dynamiques d'apprentissage ne sont pas des artefacts accidentels, mais des réponses adaptatives rationnelles à la structure statistique de l'environnement d'entraînement.

• Pour la recherche fondamentale : Cela établit un lien profond entre l'intelligence artificielle et la biologie évolutive, suggérant que les principes de sélection naturelle s'appliquent aux stratégies d'optimisation des réseaux de neurones.
• Pour l'ingénierie des modèles : Comprendre ces coûts d'acquisition permet de concevoir des méthodologies d'entraînement plus efficaces. Par exemple, si l'on souhaite favoriser l'ICL dans des tâches complexes, il faut peut-être structurer l'entraînement pour réduire le coût d'acquisition de l'ICL ou augmenter artificiellement la volatilité environnementale.
• Limites et Futur : L'étude se base sur des tâches simplifiées. Les auteurs suggèrent d'explorer si l'émergence précoce de l'ICL agit comme un "échafaudage" pour accélérer l'acquisition de solutions IWL complexes (effet Baldwin), ouvrant la voie à des modèles capables de naviguer de manière plus robuste dans des environnements dynamiques.