💻 computer science

Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

Cet article introduit une méthode agnostique de la tâche pour mesurer l'influence des données d'entraînement en quantifiant à quel point des exemples individuels réduisent la distance vers les paramètres finaux du modèle, révélant que les données liées à la littérature stimulent le début du pré-entraînement tandis que les données STEM deviennent plus influentes lors des étapes ultérieures à travers diverses configurations de modèles.

Auteurs originaux : Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

Publié 2026-08-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à parler comme un humain. Vous ne lui donnez pas simplement un livre ; vous déversez l'intégralité d'Internet dans son cerveau. Ce processus est appelé « pré-entraînement », et c'est le fondement des modèles d'IA que nous utilisons aujourd'hui. Mais voici la partie délicate : une fois que le robot a fini d'apprendre, personne ne sait réellement quelles phrases ou quelles histoires spécifiques étaient les plus importantes. A-t-il appris à être bon en mathématiques grâce à un article spécifique de Wikipédia ? A-t-il appris à écrire de la poésie grâce à un roman spécifique ?

Les scientifiques ont essayé de répondre à cette question en demandant : « Si je supprime cette phrase précise, est-ce que le robot devient moins bon à un test spécifique, comme résoudre des problèmes mathématiques ou écrire un poème ? » C'est comme essayer de comprendre quel ingrédient a rendu un gâteau bon en goûtant le gâteau après l'avoir déjà mangé. Le problème est que les modèles d'IA sont censés être bons en tout, pas seulement à un test précis. Si vous ne vérifiez que leur capacité à faire des mathématiques, vous pourriez manquer le fait qu'ils ont appris à être drôles grâce à une autre partie des données. Alors, la grande question est la suivante : pouvons-nous voir comment le cerveau du robot change au fil du temps sans le forcer à passer un test spécifique ?

Cet article introduit une nouvelle méthode ingénieuse pour observer le robot apprendre, sans avoir besoin d'un test spécifique. Au lieu de demander : « Est-ce que cette phrase a aidé le robot à réussir un quiz de mathématiques ? », les chercheurs ont demandé : « Est-ce que cette phrase a aidé le robot à se rapprocher de son cerveau final et achevé ? ». Ils ont traité l'état final du robot comme une destination sur une carte. Chaque fois que le robot lisait une nouvelle phrase, il faisait un petit pas. Les chercheurs ont mesuré si ce pas rapprochait le robot de la ligne d'arrivée ou s'il faisait accidentellement un pas en arrière.

Ils ont appliqué cette méthode à 18 versions différentes d'une célèbre famille de modèles d'IA, observant l'apprentissage à travers 154 points de contrôle différents (comme des instantanés du cerveau du robot à différents moments). Ce qu'ils ont découvert est une histoire fascinante sur la façon dont le « régime alimentaire » du robot change au fur et à mesure qu'il grandit.

Au tout début, quand le robot commençait tout juste à apprendre, les phrases les plus utiles provenaient de la littérature et des histoires. C'étaient les « contributeurs majeurs » qui poussaient le robot vers sa forme finale. C'était comme si le robot avait d'abord besoin de comprendre les histoires humaines et les émotions. Cependant, à mesure que l'entraînement se poursuivait dans les phases intermédiaires et tardives, l'histoire changeait. Les phrases qui devenaient les plus importantes n'étaient plus des histoires ; elles provenaient des domaines STEM (sciences, technologie, ingénierie et mathématiques).

Les chercheurs ont observé un « croisement » clair. Au début, les livres et la littérature étaient les stars du spectacle. Plus tard, les données techniques sur la science et l'informatique ont pris le devant de la scène. Cela suggère que le robot n'apprend pas seulement des choses « difficiles » à la fin ; il a réellement besoin d'une séquence d'apprentissage spécifique. Il semble avoir besoin de la fondation du langage humain et des histoires d'abord, et seulement ensuite peut-il réellement bénéficier des données techniques complexes pour atteindre son plein potentiel.

Les auteurs ont également vérifié si leur méthode était fiable. Ils ont comparé leur mesure de « distance par rapport à la fin » avec l'ancienne méthode du « score de test » et ont constaté que l'ancienne méthode donnait des réponses très différentes selon le test choisi. Si vous testiez les mathématiques, vous pensiez que les données mathématiques étaient importantes tout au long du processus. Si vous testiez les histoires, vous pensiez que les histoires étaient importantes tout au long du processus. Leur nouvelle méthode, cependant, a montré un schéma cohérent à travers tous les modèles différents qu'ils ont testés, suggérant que ce passage des histoires vers la science est un changement réel et fondamental de la façon dont ces modèles d'IA apprennent, et non un simple accident lié à la manière dont ils ont été testés.

Ainsi, la principale conclusion est que l'entraînement d'une IA ne consiste pas seulement à lui donner un mélange aléatoire de données. C'est plutôt comme un curriculum. L'article suggère que les « meilleures » données changent en fonction de l'avancement de l'IA dans son entraînement. Au début, elle a besoin d'histoires ; plus tard, elle a besoin de sciences. Cela nous donne une nouvelle façon de penser la construction d'une meilleure IA : peut-être devrions-nous d'abord leur donner des histoires, et garder les mathématiques complexes pour le moment où elles seront prêtes pour cela.

Résumé technique : Mesurer l'influence des données d'entraînement de manière agnostique aux tâches à travers le préentraînement de modèles de langage

Énoncé du problème
Les méthodes existantes pour mesurer l'influence des données d'entraînement dans les modèles de langage (LM) reposent généralement sur des cibles spécifiques à une tâche, telles que la perte (loss) sur un point de test spécifique ou la performance sur un benchmark en aval. Bien qu'utiles pour des objectifs précis, ces approches font face à des limitations significatives dans le contexte du préentraînement, qui vise à développer des capacités générales et larges plutôt qu'à optimiser un seul objectif. La sélection de tâches en aval ou de jeux de validation représentatifs des capacités générales d'un modèle tout au long de l'intégralité de la trajectoire de préentraînement est difficile. De plus, les estimations d'influence liées à la performance de points de contrôle (checkpoints) intermédiaires sur des tâches spécifiques sont souvent incohérentes et difficiles à comparer entre les différentes étapes d'entraînement, car les premiers points de contrôle peuvent posséder des capacités pertinentes sans encore avoir pleinement résolu la tâche cible.

Méthodologie
Les auteurs proposent une mesure de l'influence des données d'entraînement agnostique aux tâches, définie par la mesure dans laquelle un exemple d'entraînement individuel déplace le modèle vers les paramètres finaux d'une exécution de préentraînement donnée.

Définition de l'influence : L'influence d'un mini-lot $B_t$ est quantifiée par la réduction de la distance $L_2$ au carré entre les paramètres actuels $\theta_t$ et les paramètres préentraînés finaux $\theta^*$ induite par la mise à jour à l'étape $t$ . Mathématiquement, $Cont(B_t) = \|\theta^* - \theta_t\|_2^2 - \|\theta^* - \theta_{t+1}\|_2^2$ . Cela se développe en $2\Delta_t^\top(\theta^* - \theta_t) - \|\Delta_t\|_2^2$ , où le premier terme mesure l'alignement avec la direction vers les paramètres finaux, et le second terme pénalise la norme au carré de la mise à jour.
Décomposition au niveau de l'exemple : En supposant une descente de gradient stochastique (SGD) standard, l'influence du mini-lot est décomposée en contributions d'exemples individuels. L'influence d'un exemple $x_k^t$ est définie par $Cont(x_k^t) = 2\Delta_{t,k}^\top(\theta^* - \theta_t) - \Delta_{t,k}^\top \Delta_t$ . Cette formulation tient compte de l'interaction entre les exemples au sein d'un mini-lot.
Approximation basée sur les points de contrôle : Pour rendre la méthode exploitable pour un préentraînement à grande échelle sans réentraînement, les auteurs dérivent une approximation utilisant des points de contrôle sauvegardés périodiquement. Au lieu de calculer les mises à jour à chaque étape, ils approchent l'état $\theta_t$ et la mise à jour $\Delta_t$ en utilisant les paramètres au début ( $\theta_c$ ) et à la fin ( $\theta_{c'}$ ) d'un intervalle de point de contrôle. Cela permet une estimation a posteriori de l'influence à partir de points de contrôle publics.

Contributions clés

Reformulation agnostique aux tâches : Le papier reformule l'influence des données d'entraînement à travers le préentraînement en termes de progression vers les paramètres finaux, supprimant la dépendance à des tâches ou ensembles de validation spécifiques en aval.
Estimation basée sur les points de contrôle : Les auteurs dérivent une méthode d'approximation pratique qui permet l'estimation de l'influence au niveau de l'exemple à partir de points de contrôle intermédiaires sans réentraîner le modèle à partir de zéro.
Caractérisation empirique : L'étude caractérise l'évolution de la contribution des données tout au long du préentraînement, révélant des variations systématiques et dépendantes des étapes à travers différents types de données.
Analyse de fiabilité : Le travail établit la fiabilité de l'analyse proposée à travers les approximations de points de contrôle, les points de référence finaux et diverses configurations de modèles (tailles, initialisations et ordonnancements de données).

Résultats expérimentaux
La méthode a été appliquée à 18 configurations des suites Pythia et PolyPythia, couvrant des tailles de modèles de 70M à 12B de paramètres et utilisant 154 points de contrôle par exécution.

Dynamique de contribution : La contribution moyenne augmente significativement après la phase initiale d'entraînement, culmine vers 40k étapes, puis diminue progressivement. L'écart-type suit un schéma similaire. Notamment, la part d'exemples « opposants » (ceux ayant une contribution négative, éloignant le modèle des paramètres finaux) reste faible (<1 %) durant les phases initiales et médianes, mais s'élève à 8–10 % lors des phases tardives.
Difficulté du texte : Les textes à perplexité (PPL) élevée (plus difficiles pour le modèle) représentent une part plus importante de la contribution normalisée pendant la phase médiane du préentraînement, tandis que la contribution est plus uniformément répartie entre les niveaux de difficulté lors des phases initiales et tardives.
Décalage de domaine (Le croisement) : Un décalage temporel systématique des domaines de données influents a été observé :
- Début de l'entraînement : Les données liées à la littérature (ex: Livres, Loisirs) sont plus fortement alignées avec la trajectoire vers les paramètres finaux.
- Fin de l'entraînement : Les données liées aux STEM (Sciences, Technologie, Ingénierie, Mathématiques - ex: Science, Informatique et Électronique) deviennent de plus en plus alignées avec la trajectoire.
- Ce croisement qualitatif est largement cohérent à travers les configurations de modèles, bien que le moment des transitions puisse varier selon l'échelle du modèle (les modèles plus grands présentent des transitions plus précoces).
Validation : L'approximation basée sur les points de contrôle montre une forte corrélation (Pearson $r > 0,94$ lors des phases tardives) avec les contributions exactes au niveau de l'exemple calculées via un réentraînement sur des modèles plus petits. Les résultats sont robustes aux variations d'initialisation des poids et d'ordonnancement des données, bien que l'ordonnancement des données introduise une variation légèrement plus importante que l'initialisation.
Comparaison avec les méthodes spécifiques aux tâches : Contra'irement aux analyses de type TracIn spécifiques à une tâche, qui produisent des schémas d'attribution fortement dépendants du domaine de validation choisi, la mesure agnostique proposée révèle systématiquement le croisement Littérature-vers-STEM, quel que soit le domaine cible spécifique.

Signification et affirmations
Le papier affirme fournir une vue traçable et au niveau de la trajectoire de la façon dont les données influentes changent tout au long du préentraînement. En découplant l'analyse d'influence des tâches spécifiques en aval, les auteurs offrent une perspective qui complète les analyses existantes basées sur les tâches.

Les résultats suggèrent que les exemples d'entraînement qui déplacent le plus fortement le modèle vers ses paramètres finaux ne sont pas statiques à travers le préentraînement. Cette découverte motive des approches de préentraînement tenant compte des étapes pour la composition des données et la conception de curricula. Spécifiquement, le passage observé vers les données STEM dans les phases tardives fournit un soutien empirique aux récentes recettes de préentraînement de LLM qui augmentent l'allocation de données de mathématiques et de code dans les phases tardives de l'entraînement. Les auteurs positionnent leur travail comme un outil pour guider des stratégies de préentraînement plus nuancées qui adaptent la composition des données à travers les étapes d'entraînement plutôt que de traiter un mélange de données unique comme étant tout aussi approprié tout au long du processus.

Les auteurs restent modestes concernant les affirmations causales, notant que leur analyse caractérise comment la contribution varie à travers l'entraînement plutôt que d'établir directement l'effet causal du changement des mélanges de données sur la performance en aval. Ils reconnaissent également des limites, telles que le recours à la distance au carré dans l'espace des paramètres (sensible à la paramétrisation) et l'hypothèse de l'utilisation de la SGD pour la décomposition malgré l'usage d'optimiseurs adaptatifs en pratique.

Articles similaires