Résumé technique : Éliminer le bruit, pas trouver l'or : Le filtrage de qualité pour le pré-entraînement à grande échelle

Problématique

Les modèles de langage à grande échelle sont généralement pré-entraînés sur des ensembles de données massifs issus du web (ensembles de faible qualité ou LQ) contenant des documents de qualités mixtes. Pour améliorer les performances en aval, les praticiens utilisent le Filtrage de Qualité par Classificateur (CQF - Classifier-based Quality Filtering). Cette méthode entraîne un classificateur binaire pour distinguer un petit ensemble de haute qualité (HQ) (ex. : Wikipédia, livres) de l'ensemble LQ. Les documents de l'ensemble LQ sont scorés selon la probabilité d'appartenir à l'ensemble HQ générée par le classificateur, et seule la fraction supérieure ($k$) est conservée pour le pré-entraînement.

Malgré son adoption généralisée dans les pipelines de modèles tels que GPT-3, LLaMA et PaLM, les mécanismes sous-jacents du CQF restent mal compris. L'hypothèse prédominante est que le CQF améliore les modèles en sélectionnant des données qui ressemblent étroitement à la distribution HQ. Cet article remet en question cette hypothèse, en se demandant si le CQF sélectionne réellement des données similaires à l'ensemble HQ, si l'augmentation des données HQ est toujours la stratégie optimale, et si les scores de « qualité » définis par le CQF reflètent une notion de qualité de données fondée sur des principes.

Méthodologie

Les auteurs mènent une analyse empirique et théorique approfondie du CQF en utilisant l'approche suivante :

1. Configuration expérimentale :

   • Ensembles de données : L'ensemble LQ est RedPajama-V2 (32T tokens). Divers ensembles HQ sont utilisés, notamment OpenOrca, KnowledgePile, OpenHermes, ELI5 et ARC-Easy.
   • Pipeline : Les documents sont plongés (embedding via sBert), et un classificateur de régression logistique est entraîné pour distinguer les plongements HQ des LQ. L'ensemble LQ est filtré en conservant la fraction supérieure $k$ de documents basée sur les scores du classificateur.
   • Évaluation : Des modèles (350 millions de paramètres) sont pré-entraînés sur des ensembles de données filtrés et évalués sur des benchmarks en aval (ARC-Easy, ARC-Challenge, MMLU, Reward Bench) et sur l'ensemble HQ lui-même (via la perte de prédiction du prochain jeton/next-token prediction loss).

2. Analyse théorique :

   • Les auteurs analysent la fonction de score $s(x)$ du CQF sous l'hypothèse d'un classificateur optimal de Bayes, montrant qu'il s'agit d'une fonction monotone du rapport de vraisemblance $p_{HQ}(x) / p_{LQ}(x)$.
   • Ils comparent le CQF à l'Échantillonnage par Importance (plus précisément la méthode CRISP), qui tente de ré-échantillonner l'ensemble LQ pour correspondre directement à la distribution HQ ($p_{HQ}(x)$).

3. Cadre de conditionnement des données :

   • Le papier introduit une nouvelle définition de la qualité appelée conditionnement des données (data-conditioning) : un ensemble de données $D_{clean}$ est « mieux conditionné » qu'un ensemble $D_{dirty}$ si un modèle entraîné sur $D_{clean}$ obtient une perte plus faible sur $D_{dirty}$ qu'un modèle entraîné directement sur $D_{dirty}$.
   • Cette propriété est testée à l'aide d'ensembles de données semi-synthétiques (permutant les jetons pour simuler le bruit) et de sous-ensembles sélectionnés par CQF pour voir si les sous-ensembles de « plus haute qualité » accélèrent systématiquement l'apprentissage sur les distributions de « plus basse qualité ».

Résultats clés

1. Le paradoxe du CQF : Gain en aval vs Modélisation HQ

L'étude révèle un phénomène contre-intuitif : bien que le CQF améliore systématiquement les performances sur les tâches en aval, il n'améliore pas nécessairement les performances de modélisation du langage sur l'ensemble HQ lui-même.

• Pour la plupart des ensembles HQ (ex. : OpenOrca, KnowledgePile), réduire la fraction de sélection $k$ améliore la précision en aval mais augmente la perte sur l'ensemble HQ, créant une courbe en forme de U.
• Cela contredit la croyance selon laquelle le CQF fonctionne en rendant la distribution d'entraînement plus proche de la distribution HQ.

2. Filtrage implicite de l'ensemble HQ

Les auteurs expliquent ce paradoxe en démontrant que le CQF effectue un filtrage implicite de l'ensemble HQ lui-même.

• Le CQF sélectionne des documents qui sont probables sous la distribution HQ et improbables sous la distribution LQ.
• Par conséquent, le CQF surpondère le sous-ensemble de l'ensemble HQ qui est « loin » de l'ensemble LQ (c'est-à-dire les parties les plus « propres » de l'ensemble HQ) et souspondère les documents HQ qui ressemblent à l'ensemble bruité LQ.
• Les expériences divisant l'ensemble HQ en déciles basés sur les scores CQF montrent que les modèles entraînés avec le CQF performent le mieux sur les déciles supérieurs de l'ensemble HQ, tandis que la performance sur les déciles inférieurs se dégrade à mesure que $k$ diminue.

3. CQF vs Échantillonnage par Importance

Comparé à l'Échantillonnage par Importance (CRISP) :

• L'Échantillonnage par Importance réussit à minimiser la perte sur l'ensemble HQ (imitant la distribution HQ) mais échoue à surpasser le CQF sur les benchmarks en aval lorsque l'ensemble HQ est un ensemble de données curatées.
• Le CQF surpasse l'Échantillonnage par Importance sur les tâches en aval car il filtre implicitement l'ensemble HQ pour mieux s'aligner avec les benchmarks d'évaluation, plutôt que de simplement imiter la distribution HQ.

4. Le CQF surpasse l'entraînement direct sur HQ

Même lorsque l'ensemble HQ est étendu à une taille suffisante pour un pré-entraînement à grande échelle (éliminant la rareté des données), l'entraînement sur des données filtrées par CQF surpasse toujours l'entraînement direct sur l'ensemble HQ étendu.

• Dans une expérience où un ensemble HQ de base a été utilisé pour générer un ensemble HQ plus vaste et « illimité » via le CQF, un passage ultérieur de CQF sur ce nouvel ensemble a produit un modèle avec une précision de 53,8 % sur ARC-Easy, contre 50,1 % pour un modèle entraîné directement sur l'ensemble HQ étendu.
• Cela suggère que le CQF agit comme un opérateur de façonnage de distribution qui crée des ensembles de données efficaces pour l'optimisation, plutôt que comme un simple mécanisme d'approximation des données HQ.

5. Limites de la notion de qualité du CQF

Le papier teste si les scores de qualité du CQF satisfont la propriété de conditionnement des données.

• Dans les expériences semi-synthétiques où la qualité est contrôlée (ex. : via la permutation de jetons), le conditionnement des données est vérifié : l'entraînement sur des données plus « propres » améliore la performance sur les données plus « sales ».
• Cependant, les sous-ensembles sélectionnés par CQF échouent à présenter le conditionnement des données. L'entraînement sur un sous-ensemble « top-k » du CQF n'accélère pas universellement l'apprentissage sur les sous-ensembles de moindre qualité.
• Cela implique que le CQF capture une notion de qualité liée à la similitude stylistique ou de domaine (alignement avec les benchmarks) plutôt qu'un avantage fondamental d'optimisation.

Signification et affirmations

Le papier prétend élucider les mécanismes derrière le CQF et approfondir la compréhension des méthodes de sélection de données. Ses principales contributions sont :

1. Insight mécaniste : Le CQF ne sélectionne pas simplement des données ressemblant à l'ensemble HQ ; il filtre implicitement l'ensemble HQ pour mettre l'accent sur les exemples qui sont distincts de l'ensemble LQ bruité. Ce mécanisme de « suppression du bruit » est plus critique que celui de « trouver l'or » (imiter la distribution HQ).
2. Alternative pratique à l'augmentation de données : Les auteurs contestent la stratégie consistant à investir des ressources massives pour augmenter les ensembles de données HQ. Ils démontrent que le CQF peut être utilisé pour améliorer les ensembles HQ existants, offrant une stratégie scalable pour construire des distributions d'entraînement qui surpassent la distribution HQ elle-même.
3. Nouvelle métrique de qualité : Le papier propose le conditionnement des données comme une définition de la qualité des données fondée sur des principes d'optimisation. Il démontre que cette métrique peut être estimée de manière fiable à l'aide de modèles proxys à petite échelle, fournissant un outil pratique pour évaluer les stratégies de sélection de données avant un pré-entraînement à grande échelle.
4. Recadrage du CQF : Les auteurs concluent que le CQF doit être vu comme un outil pour supprimer les mauvaises données à grande échelle et s'aligner avec les évaluations en aval, plutôt que comme une méthode pour reconstruire un sous-ensemble « doré » de la distribution HQ.

Le papier maintient un ton modeste concernant les implications futures, se concentrant strictement sur l'explication des phénomènes observés et l'offre de conseils pratiques immédiats pour les pipelines de curation de données.