Résumé technique : Disjonction de la synthèse à source fixe et de l'expansion de la source dans le passage à l'échelle des données synthétiques

Énoncé du problème

Les données synthétiques sont devenues un composant standard pour l'entraînement des grands modèles de langage (LLM), avec une performance en aval qui croît de manière prévisible avec la taille du jeu de données. Cependant, les études de mise à l'échelle existantes confondent souvent deux voies distinctes pour l'expansion des jeux de données synthétiques :

1. Expansion de la Source (SE - Source Expansion) : Agrandir les sources d'information en ajoutant des matériaux de base (ex. : nouveaux documents ou questions) ou en passant à des générateurs plus puissants.
2. Synthèse à Source Fixe (FSS - Fixed-Source Synthesis) : Maintenir la source (questions de base et modèle enseignant) fixe tout en augmentant le budget de génération (c'est-à-dire générer plus de réponses par question de base).

Les travaux antérieurs se concentrent principalement sur la SE, laissant les rendements de la FSS sous-explorés. Cet article vise à isoler la FSS pour déterminer ses limites de mise à l'échelle, dériver une loi de mise à l'échelle prédictive pour celle-ci, et comparer son efficacité par rapport à la SE et à divers protocoles de synthèse sous des budgets de nombre total d'échantillons équivalents.

Méthodologie

Les auteurs modélisent le pipeline de données synthétiques comme un triplet $(Q, T, p)$, où $Q$ est un ensemble de questions de base, $T$ est un modèle enseignant, et $p$ est un protocole de synthèse. Ils isolent la FSS en fixant $(Q, T)$ et en faisant varier uniquement le budget de réponse par question $r$ via l'échantillonnage par rejet (RS - Rejection Sampling).

Configuration expérimentale :

• Domaines : Mathématiques et Physique (issus de SuperGPQA).
• Modèles : Le modèle enseignant principal est DeepSeek-V3.1 ($T_{DS}$) ; l'élève principal est Qwen2-7B-Instruct ($S_{Q7}$). Des vérifications par paires croisées utilisent Qwen2.5-72B ($T_{Q72}$) et Llama-3.1-8B ($S_{L8}$).
• Protocole de référence : RS avec une température de 1,2, collectant jusqu'à 32 réponses correctes par question de base.
• Métrique d'évaluation : Mean@8 (la moyenne de la fraction de réponses correctes lors de l'échantillonnage de 8 sorties d'étudiants à une température de 0,7).
• Échelle : L'étude a impliqué environ 2 milliards de jetons d'inférence de l'enseignant et plus de 500 exécutions de fine-tuning de l'élève.

Questions de recherche (RQ) :

1. RQ1 (Mise à l'échelle FSS) : Avec $(Q, T)$ fixé, la FSS améliore-t-elle la précision de l'élève, et comment le gain évolue-t-il avec $r$ ?
2. RQ2 (SE vs FSS) : À budgets totaux d'échantillons égalisés, comment les gains de la SE (ajout de graines) se comparent-ils à ceux de la FSS (augmentation de $r$) ?
3. RQ3 (Efficacité des protocoles) : Dans le cadre de la FSS, les protocoles de synthèse avancés (diversification, sélection, réécriture) surpassent-ils le simple RS ?

Contributions clés et résultats

1. Loi de mise à l'échelle FSS et rendements décroissants (RQ1)

Les auteurs dérivent une forme de mise à l'échelle spécifique pour la FSS basée sur la "vue quantique" de l'apprentissage, où les caractéristiques sont couvertes de manière binaire (apprise ou non). Contra-rément aux lois de mise à l'échelle standard où la taille des données est l'axe, la FSS met à l'échelle une source fixe.

• Forme dérivée : La performance $P(r)$ suit une décroissance de type loi de puissance vers un plafond déterminé par la source :
  $$P(r) \approx P_{\infty} - A r^{-\alpha}$$
  Ici, $P_{\infty}$ est le plafond déterminé par la source fixe $(Q, T)$, et non par le bruit intrinsèque de la tâche.
• Constatations : La FSS améliore systématiquement la précision de l'élève, mais les gains diminuent rapidement à mesure que $r$ augmente. La courbe sature plus tôt pour les enseignants plus faibles.
• Prédiction : Une forme ajustée sur de faibles budgets ($r \le 16$) prédit avec succès la performance au budget le plus élevé testé ($r=32$) pour toutes les paires enseignant-élève.

2. L'expansion de la source surpasse la mise à l'échelle à source fixe (RQ2)

L'étude compare la SE (augmenter le nombre de questions de base $|Q|$) à la FSS (augmenter les réponses $r$) pour un nombre total d'exemples égalisé ($B = |Q| \times r$).

• Constatations : À de faibles budgets, la SE et la FSS sont comparables. Cependant, à mesure que le budget augmente, l'expansion du ensemble réel de questions de base (SE) surpasse significativement l'utilisation du même budget pour obtenir plus de réponses à partir de moins de graines.
• Synthèse de questions : La synthèse de nouvelles questions à partir de graines existantes (une variante de la FSS) ne produit aucun gain par rapport au simple RS lorsqu'elle est égalisée sur le nombre total d'échantillons. Le bénéfice apparent de la synthèse de prompts dans les travaux antérieurs est attribué à des effets de budget plutôt qu'à la qualité de la synthèse.

3. Efficacité limitée des protocoles de synthèse (RQ3)

Sous une source fixe $(Q, T)$, les auteurs ont évalué divers protocoles par rapport au simple RS, notamment :

• Variantes de température (0,6, 0,001).
• Sélection de diversité basée sur les embeddings.
• Prompting de persona.
• Filtrage sans juge (acceptation des traces erronées).
• Réparation au niveau de la trace (réécriture $\to$ vérification $\to$ correction).
• Constatations : Bien que ces protocoles aient réussi à déplacer leurs métriques intrinsèques ciblées (ex. : diversité, niveaux de bruit), aucun n'a amélioré de manière constante la performance de l'élève par rapport au simple RS sur l'ensemble de la variation du budget. Les gains issus des changements de protocole sont négligeables une fois la source fixée.

4. Robustesse sur des sources hétérogènes

Les expériences sur un ensemble de données STEM mixte ont confirmé que la limite FSS persiste même avec des sources hétérogènes. À budgets égalisés, augmenter la couverture des questions de base réelles (SE) reste supérieur à l'augmentation du nombre de réponses sur un pool plus restreint.

Signification et affirmations

L'article affirme fournir un cadre contrôlé pour évaluer la mise à l'échelle des données synthétiques en distinguant l'expansion de la source de la synthèse intra-source.

• Mise à l'échelle bornée : La FSS est un axe de mise à l'échelle borné. Elle améliore la performance, mais elle est limitée par le "plafond de la source" ($P_{\infty}$) défini par le pool de graines et la force de l'enseignant.
• Évaluation des protocoles : Le cadre à source fixe sert de contrôle rigoureux pour comparer les protocoles de synthèse. Les auteurs constatent que, sous une source fixe, les variations de protocole contribuent peu par rapport au choix fondamental de l'expansion de la source.
• Allocation des ressources : Pour les praticiens, les résultats suggèrent que, lors de la mise à l'échelle de données synthétiques, ajouter de nouvelles questions de base diverses (Expansion de la Source) est une stratégie plus fiable que de simplement augmenter le budget de génération sur un ensemble de graines fixe ou de compter sur des protocoles de synthèse complexes.

Les auteurs concluent que les attributions antérieures de gains à la "mise à l'échelle des données synthétiques" ont souvent confondu les bénéfices de l'expansion de la source avec ceux de l'augmentation de l'échantillonnage ou du raffinement des protocoles. En isolant la FSS, ils démontrent que, bien qu'elle soit une voie de mise à l'échelle valide, elle est intrinsèquement bornée et moins efficace que l'expansion du support de la source.