Résumé technique : Difficulté des données et compromis généralisation–extrapolation dans le fine-tuning des LLM

Énoncé du problème

Le fine-tuning supervisé (SFT) est une étape cruciale pour adapter les grands modèles de langage (LLM) à des tâches spécifiques, mais le rôle de la difficulté des données dans ce processus reste controversé. La littérature existante présente des résultats contradictoires : certaines études suggèrent que supprimer les données faciles et peu informatives et privilégier des exemples plus difficiles améliore les performances, tandis que d'autres soutiennent que rester proche de la distribution d'entraînement du modèle de base (favorisant les données faciles) produit une meilleure généralisation. Une troisième vision postule qu'une difficulté intermédiaire est optimale. Ces incohérences suggèrent que la difficulté des données ne peut être analysée isolément ; son efficacité dépend probablement d'autres facteurs, tels que la taille des données d'entraînement disponibles. Cet article aborde la question ouverte : Dans quelles conditions le SFT doit-il privilégier des données faciles, difficiles ou de difficulté intermédiaire ?

Méthodologie

Les auteurs emploient une approche multifacette combinant une analyse empirique, des expériences synthétiques contrôlées et une dérivation théorique :

1. Analyse empirique sur des jeux de données réels :

   • Les auteurs ont mené des expériences préliminaires sur des jeux de données tels que OpenR1-Math, OpenMath et OpenScience, en divisant les données en sous-ensembles faciles, moyens et difficiles basés sur la longueur de la chaîne de pensée (CoT).
   • Ils ont évalué des modèles fine-tunés (par exemple, Qwen2.5-Math) sur des benchmarks standards (Math500, MMLU) pour observer comment les performances varient avec la difficulté des données et la taille du jeu de données.
   • Ils ont observé que supprimer les données difficiles aide dans les régimes à faible quantité de données, tandis que supprimer les données faciles devient bénéfique dans les régimes à grande quantité de données.

2. Expériences synthétiques contrôlées (iGSM) :

   • Pour isoler les variables, les auteurs ont utilisé le cadre iGSM, qui génère des problèmes de raisonnement mathématique de niveau primaire avec un contrôle précis de la difficulté (mesurée par le nombre d'opérations arithmétiques, ou "ops").
   • Ils ont réalisé des études systématiques bidimensionnelles faisant varier à la fois la taille des données (de 1k à 128k exemples) et la difficulté des données (nombre d'ops) sur des modèles de base (Qwen2.5-Math-1.5B et 7B).
   • Ils ont décomposé les performances de test par niveaux de difficulté pour analyser les modes de défaillance (par exemple, mauvaise extrapolation versus mauvaise généralisation in-distribution).

3. Analyse théorique :

   • Les auteurs ont fourni une explication théorique utilisant des bornes de généralisation PAC-Bayésiennes.
   • Ils ont formalisé la décomposition de l'erreur en deux composantes : l'écart de généralisation in-distribution (IID) et l'écart d'extrapolation.
   • Ils ont analysé comment ces écarts interagissent avec la taille des données et la difficulté pour déduire les tendances observées.

4. Extension à la sélection au niveau des tokens :

   • L'étude a étendu son analyse au Fine-Tuning Dynamique (DFT), une méthode de repondération au niveau des tokens qui favorise implicitement les tokens faciles, afin de comparer son comportement au SFT standard dans des conditions de données variables.

Résultats et découvertes clés

1. Relation non monotone et difficulté optimale

Les expériences révèlent que les performances du SFT ne varient pas de manière monotone avec la difficulté des données. Au contraire, il existe un niveau de difficulté des données optimal pour un budget de données fixe.

• Trop facile : Les modèles s'ajustent bien à la distribution d'entraînement mais échouent à généraliser à des cas de test plus difficiles (grand écart d'extrapolation).
• Trop difficile : Les modèles peinent à apprendre efficacement à partir des données d'entraînement elles-mêmes, entraînant une mauvaise généralisation in-distribution et un oubli des capacités de base (grand écart de généralisation).
• Intermédiaire : Un "juste milieu" optimal existe où le compromis entre ces deux écarts est minimisé.

2. Le compromis taille des données–difficulté

Une découverte centrale est que la difficulté optimale se déplace vers des données plus difficiles à mesure que le budget de données augmente.

• Régime de faible quantité de données : Supprimer les exemples difficiles améliore les performances car le modèle ne peut pas généraliser à partir de données difficiles avec un nombre limité d'échantillons ; des données plus faciles assurent un meilleur apprentissage in-distribution.
• Régime de grande quantité de données : Supprimer les exemples faciles améliore les performances car le modèle dispose de suffisamment de données pour apprendre à partir d'exemples plus difficiles, réduisant ainsi l'écart d'extrapolation vers des cas de test exigeants.

3. Difficulté relative

L'efficacité de la difficulté des données est relative aux capacités du modèle de base. Un modèle de base plus puissant peut apprendre avec succès à partir d'une gamme de données plus large et plus difficile par rapport à un modèle plus faible, déplaçant la courbe de difficulté optimale vers des niveaux de difficulté plus élevés.

4. Mécanisme : Généralisation vs Extrapolation

Les auteurs identifient le mécanisme sous-jacent comme un compromis entre deux écarts :

• Écart d'extrapolation : La dégradation des performances causée par le décalage entre la distribution d'entraînement et des cas de test plus difficiles, hors distribution. Cet écart diminue à mesure que les données d'entraînement deviennent plus difficiles (couvrant mieux la distribution de test).
• Écart de généralisation : La dégradation des performances due à un apprentissage imparfait au sein de la distribution d'entraînement. Cet écart augmente à mesure que les données deviennent plus difficiles (nécessitant des adaptations de modèle plus importantes par rapport au prior).
• Effet de la taille des données : L'augmentation de la taille des données réduit l'écart de généralisation (en échelle $O(1/\sqrt{n})$) mais laisse l'écart d'extrapolation largement inchangé. Cette réduction permet au modèle de tolérer des données d'entraînement plus difficiles, déplaçant ainsi l'optimum.

5. Comparaison avec le DFT

Dans le contexte du Fine-Tuning Dynamique (DFT), qui favorise les tokens faciles :

• Le DFT présente un écart de généralisation plus faible et est moins sensible à la difficulté des données, surpassant le SFT lorsque les données sont trop difficiles pour la taille disponible.
• Cependant, le DFT sature plus rapidement et est finalement dépassé par le SFT standard lorsque suffisamment de données sont disponibles pour apprendre à partir d'exemples plus difficiles.

Importance et affirmations

L'article prétend fournir une explication fondée sur des principes des observations contradictoires précédentes dans la littérature concernant la sélection de données pour le SFT. En reliant les phénomènes empiriques à l'analyse théorique, les auteurs établissent que :

1. Il n'existe pas de niveau de difficulté universellement optimal ; l'efficacité est déterminée conjointement par la taille des données et les capacités du modèle de base.
2. Le compromis entre l'écart de généralisation in-distribution et l'écart d'extrapolation est le moteur fondamental de ces comportements.
3. Les stratégies efficaces de sélection de données doivent adapter la difficulté des données à l'échelle des données disponibles plutôt que de s'appuyer sur des heuristiques fixes (par exemple, supprimer toujours les données faciles ou difficiles).

Les auteurs notent que, bien qu'ils établissent l'existence d'une difficulté optimale, identifier efficacement cet optimum dans des distributions de données complexes et réelles reste un défi ouvert. Ils suggèrent que des stratégies de recherche adaptative sur la difficulté des données pourraient être une direction pratique pour optimiser les performances du SFT sous des budgets de données fixes.