Résumé Technique : Le Grokking en Vaut-il la Peine ?

Problématique

Les grands modèles de langage (LLM) présentent fréquemment une « malédiction du raisonnement à deux sauts », où ils échouent à composer des faits appris séparément en une chaîne d'inférence cohérente. Par exemple, un modèle peut se souvenir que « la femme de Barack est Michelle » et que « Michelle est née en 1964 », mais échouer à déduire que « la femme de Barack est née en 1964 » par le biais d'un calcul interne. Cet échec est attribué à un décalage de représentation : les Transformers standards extraient des faits atomiques dans les couches peu profondes, mais les couches plus profondes ne sont pas entraînées à utiliser ces représentations latentes spécifiques comme entrées pour des étapes de récupération ultérieures.

La littérature récente suggère que les Transformers à partage de paramètres peuvent surmonter cela en subissant une phase d'entraînement prolongée appelée « grokking » (compréhension soudaine), durant laquelle un « Circuit de Généralisation » émerge. Ce circuit permet au modèle d'internaliser des chaînes de raisonnement en récupérant explicitement des entités intermédiaires (ponts) dans les couches centrales. Cependant, des questions fondamentales subsistent : un modèle ayant « grokké » est-il réellement supérieur à son homologue non-grokké sur des tâches en aval ? Le coût computationnel important de l'attente de la phase de grokking est-il justifié ? La capacité de raisonnement acquise par le grokking se transfère-t-elle efficacement à de nouveaux faits ?

Méthodologie

Les auteurs emploient une étude mécaniste utilisant une architecture de Transformer à partage de paramètres de pointe sur une tâche de raisonnement compositionnel synthétique.

• Construction du Jeu de Données : Un jeu de données synthétique comprenant 2 000 entités et 200 relations uniques a été construit, totalisant 40 000 faits atomiques. Les données sont partitionnées en sous-ensembles de Distribution Interne (ID) et de Distribution Hors Distribution (OOD). Les modèles sont entraînés sur toutes les requêtes atomiques, mais uniquement sur les requêtes compositionnelles construites à partir de faits ID. L'évaluation porte sur des requêtes compositionnelles impliquant des faits OOD afin de tester une véritable généralisation plutôt qu'une mémorisation.
• Analyse Mécaniste : L'étude utilise la technique de la « lentille de logit » (logit lens) pour décoder les états cachés à travers toutes les couches, visualisant la maturation des Circuits de Généralisation. Une trace d'inférence est classée comme « Pont trouvé » si l'état caché décodé correspond à l'entité pont de vérité terrain.
• Variations Expérimentales :
  1. Grokking Naturel : Entraînement sur des données compositionnelles ID standards pour observer l'émergence naturelle du grokking.
  2. Augmentation par Supervision Complète : Fournir une supervision compositionnelle sur des faits OOD (Augmentation Complète du Premier Saut et Augmentation Complète du Second Saut) pour accélérer l'apprentissage et tester si le chemin de raisonnement change.
  3. Évaluation de la Transférabilité : Fine-tuning de modèles pré-entraînés (à la fois naturellement grokkés et « faux grokkés ») sur un mélange de faits ID conservés et de 2 000 nouveaux faits atomiques pour évaluer la capacité à assimiler de nouvelles connaissances et à les composer.

Principaux Résultats

1. Chemins de Raisonnement Identiques

Contrairement à l'hypothèse selon laquelle le grokking représente l'acquisition soudaine d'un nouveau paradigme de raisonnement, l'étude démontre que les modèles non-grokkés et grokkés suivent des chemins d'inférence identiques pour les requêtes compositionnelles en distribution interne.

• Le « Circuit de Généralisation » n'est pas une nouvelle structure formée seulement après le grokking ; le chemin de raisonnement est établi tôt dans l'entraînement pour les faits ID.
• Le grokking est caractérisé comme le processus d'intégration de faits OOD supervisés de manière parcimonieuse dans ce circuit naturellement établi.
• Les modèles entraînés avec une supervision compositionnelle complète sur des faits OOD atteignent le même chemin de raisonnement et la même performance de transfert que les modèles naturellement grokkés, mais en beaucoup moins d'étapes.

2. Dissociation entre Comportement et Mécanisme

L'article démontre que le grokking comportemental (haute précision sur des cas non vus) n'est pas intrinsèquement lié à la formation d'un Circuit de Généralisation.

• Sous des régimes de données spécifiques (par exemple, l'Augmentation Complète du Second Saut), les modèles peuvent atteindre une haute précision sur des compositions OOD sans jamais récupérer correctement l'entité pont dans les couches intermédiaires.
• Ces modèles « faux grokkés » manquent le mécanisme sous-jacent du Circuit de Généralisation et, surtout, échouent à transférer cette capacité à de nouveaux faits, contrairement aux modèles possédant le vrai circuit.

3. Transférabilité Limitée

Même lorsqu'un Circuit de Généralisation mature est présent, sa transférabilité à de nouvelles connaissances est limitée.

• Bien que le circuit permette aux modèles de récupérer des entités pont pour de nouveaux faits, il ne garantit pas la capacité de compléter le second saut du raisonnement si ce dernier implique un fait nouveau.
• Pour établir un circuit fiable pour de nouvelles connaissances, les modèles nécessitent toujours soit une phase de grokking supplémentaire, soit un entraînement beaucoup plus intensif couvrant les nouveaux faits et leurs compositions.
• Les modèles « faux grokkés » échouent à s'adapter au raisonnement compositionnel mélangeant anciens et nouveaux faits, se contentant de mémoriser les nouveaux faits atomiques sans apprendre à raisonner sur eux.

Signification et Revendications

L'article remet en question la vision dominante selon laquelle le grokking représente l'acquisition véritable d'un paradigme de raisonnement généralisé. Au lieu de cela, il pose le grokking comme un mécanisme d'intégration de données parsemées dans une structure existante.

Les auteurs concluent que la décision de poursuivre le grokking implique un arbitrage entre la rareté des données et les ressources computationnelles :

• Sous une supervision parcimonieuse : S'entraîner jusqu'au grokking peut être nécessaire pour forcer l'intégration des faits dans le circuit de raisonnement.
• Sous une supervision suffisante : Si des données compositionnelles suffisantes sont disponibles, les modèles peuvent s'arrêter à la saturation de l'entraînement et atteindre une performance équivalente sans la surcharge computationnelle de la phase prolongée de grokking.

Enfin, l'étude suggère que les Transformers « grokkés » n'atteignent pas une maîtrise complète de la logique compositionnelle comparable au raisonnement humain, car leur capacité à généraliser des schémas de raisonnement à travers différents domaines reste contrainte.

Limites

Les auteurs reconnaissent deux limites principales :

1. Contraintes Computationnelles : L'investigation sur le « faux grokking » n'est pas exhaustive en raison des cycles d'entraînement extrêmes requis pour observer les phénomènes de grokking, laissant la question des conditions limites précises de l'effondrement du circuit ouverte.
2. Portée Architecturale : Les résultats sont spécifiques aux Transformers à partage de paramètres. Les Transformers standards avec des poids de couches indépendants luttent intrinsèquement avec cette forme de généralisation implicite, et les résultats pourraient ne pas s'étendre à ces architectures.