From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

Résumé Technique : De la Sélection d'Instances à la Recherche de Recettes de Données à Pool Fixe

Formulation du Problème

Les approches actuelles de sélection de données pour l'Affinement Supervisé (SFT) sont principalement formulées comme un classement au niveau des instances : notation d'échantillons individuels basée sur des heuristiques, des estimations d'influence ou des représentations apprises, et rétention d'un sous-ensemble top-$k$. Bien que efficaces, ces vues abstraient la réalité pratique de l'assemblage de jeux de données pour le SFT, qui implique souvent des flux de travail de curation multi-étapes incluant le filtrage, le mélange de sources, la déduplication et le nettoyage.

Ce papier reformule le problème comme une recherche de recettes de données à pool fixe. Dans ce cadre :

• Le pool d'instructions brut ($D_0$) est fixe.
• Une bibliothèque d'opérateurs ancrés ($O$) existe (par exemple, filtrage par difficulté, déduplication, mélange).
• Une « recette » candidate est une séquence ordonnée de ces opérateurs.
• L'objectif n'est pas d'attribuer un score final à chaque instance, mais de découvrir une recette exécutable qui construit un sous-ensemble sélectionné de haute qualité sous un budget limité d'évaluations complètes de SFT.
• Crucialement, la méthode ne génère, ne réécrit ni n'augmente les échantillons d'entraînement ; elle sélectionne et compose uniquement des données existantes.

Cette formulation englobe la sélection top-k à opérateur unique (vue comme une recette dégénérée de longueur un) mais optimise explicitement la composition des opérateurs, leur ordre et les états intermédiaires résultants des sous-ensembles.

Méthodologie : AutoSelection

Les auteurs introduisent AutoSelection, un solveur à deux couches conçu pour naviguer efficacement dans l'espace des recettes compositionnelles sous des contraintes d'évaluation coûteuses.

1. Couche de Matérialisation du Pool Fixe (Raisonnement peu coûteux côté recherche)
Pour éviter de recalculer des signaux coûteux pour chaque candidat, AutoSelection met en cache des signaux ancrés sur le pool brut canonicisé ($D'_0$) :

• Signaux côté tâche : Similarité d'activation conditionnée par le benchmark (suivant MONA).
• Signaux côté données : Propriétés intrinsèques telles que la diversité lexicale (entropie des N-grammes) et la ramification action-objet.
• Signaux côté modèle : Réponses mises en cache du modèle de base, incluant la difficulté de suivi d'instructions (IFD), la varentropie et les statistiques d'activation parcimonieuse.
• Vecteurs d'État : Pour toute recette matérialisée, un vecteur d'état $z(r)$ résume les propriétés du sous-ensemble réalisé (par exemple, ratios de tokens retenus, dérive de distribution, pertinence de tâche). Cela permet au contrôleur de recherche de comparer les sous-ensembles candidats avant de s'engager dans une évaluation complète de SFT.

2. Couche Contrôleur de Recherche (Allocation du Budget)
Le contrôleur gère le compromis exploration-exploitation en utilisant un budget de $B$ évaluations complètes :

• Sondages de Démarrage : La recherche commence par sonder trois régimes distincts d'échelle de données (faible, moyenne, forte rétention) pour établir une ancre de graine initiale et identifier des niveaux de rétention prometteurs.
• Raffinement Local : En utilisant un Résumé, le système convertit l'historique évalué en hypothèses étayées par les données. Un Proposeur génère ensuite des recettes candidates frères en effectuant des modifications locales (insertion, suppression, échange ou réajustement d'étapes) autour de la graine actuelle.
• Classement : Un Classeur sélectionne le meilleur candidat unique pour une évaluation complète. Il combine :
  • La structure de la recette.
  • Le vecteur d'état réalisé (propriétés du sous-ensemble).
  • Un prior de substitut par Processus Gaussien (GP) basé sur les encodages de recette.
  • Les données de recherche historiques.
• Resemence Déclenché par la Stagnation : Si la recherche échoue à améliorer le meilleur score en cours pour $P$ étapes consécutives, un Resemeneur rafraîchit l'ancre de graine en sélectionnant un nouveau motif prometteur dans l'historique, empêchant la recherche de rester coincée dans des régions locales saturées.

Les modèles de langage (spécifiquement DeepSeek-R1) sont utilisés strictement comme assistants côté recherche pour résumer l'historique, proposer des modifications ancrées, classer les candidats et ressemer ; ils ne réécrivent ni ne génèrent de données d'entraînement.

Contributions Clés

1. Formulation du Problème : Les auteurs formalisent la curation de données pour le SFT comme un problème d'optimisation boîte noire budgétisée sur des recettes exécutables appliquées à un pool brut fixe, rendant la composition et l'ordre des opérateurs des cibles d'optimisation explicites.
2. Méthode (AutoSelection) : Un solveur à deux couches qui découple la matérialisation mise en cache des candidats de l'évaluation complète coûteuse de SFT, en utilisant des sondages de démarrage, des modifications locales conscientes de l'état, un classement assisté par GP et un ressemence déclenché par la stagnation.
3. Preuves Empiriques : Évaluation complète sur trois modèles de base (Qwen2.5-1.5B/3B, Llama3.2-1B) sur un pool de 90K instructions.

Résultats Expérimentaux

Évalué sur un pool d'instructions de 90K échantillons avec un budget de 15 évaluations complètes de SFT :

• Performance : AutoSelection a obtenu la moyenne de raisonnement en distribution la plus forte sur les trois modèles de base, surpassant l'entraînement sur données complètes, la recherche aléatoire de recettes, le top-k aléatoire et les sélecteurs à opérateur unique.
  • Améliorations par rapport à l'entraînement sur données complètes : +1,82 (Llama3.2-1B), +3,40 (Qwen2.5-1.5B) et +3,72 (Qwen2.5-3B) points.
  • Améliorations par rapport à la meilleure base non-AutoSelection : +0,90 à +2,89 points.
• Généralisation OOD : Sur les benchmarks de raisonnement graphique retenus (GraphWiz, NLGraph), AutoSelection est resté compétitif, se classant premier sur Qwen2.5-1.5B et égalant presque la meilleure base sur Qwen2.5-3B.
• Stabilité : Trois exécutions indépendantes sur le modèle 1.5B ont montré une plage de scores étroite (0,59 point), indiquant que les gains ne sont pas dus à une seule exécution chanceuse.
• Ablations :
  • Le retrait du Démarrage a conduit la recherche à passer les premières évaluations dans des régions à faible score.
  • Le retrait du Résumé a résulté en une trajectoire plus lisse mais une meilleure recette finale plus faible.
  • Le retrait du Resemence a conduit à une courbe « meilleur jusqu'à présent » plus plate, indiquant une difficulté à échapper aux optima locaux.
  • Le retrait des Vecteurs d'État a exposé la recherche à des candidats aux formes prometteuses mais aux états de sous-ensemble réalisés faibles.
• Sensibilité Structurelle : Des ablations structurelles avec graine correspondante ont confirmé que l'ordre et la composition des opérateurs impactent significativement la performance au-delà de la simple présence d'opérateurs spécifiques.
• Transférabilité : Une vérification de transfert 1.5B vers 7B a montré une corrélation de rang de Spearman positive ($\rho=0,82$), suggérant que les motifs de données de haute qualité découverts sur des modèles plus petits peuvent être utiles pour des modèles plus grands, bien que la préservation exacte du rang ne soit pas garantie.

Signification et Revendications

Le papier revendique que la valeur d'AutoSelection ne réside pas dans la découverte d'un seul sélecteur universellement meilleur, mais dans l'allocation d'un petit nombre d'évaluations complètes pour trouver une composition plus forte de décisions de curation ancrées.

Les auteurs soutiennent que :

1. La Structure de la Recette Compte : L'ordre et l'interaction des opérateurs (par exemple, filtrage avant déduplication vs après) ont un impact mesurable sur la performance de SFT en aval, soutenant la vision des recettes de données comme objets d'optimisation de premier plan.
2. Contrôle à Pool Fixe : En restreignant la recherche à un pool brut fixe sans génération ni réécriture, la méthode isole les effets des choix d'opérateurs des confusions introduites par la synthèse de données ou l'ingénierie de prompts.
3. Efficacité : L'approche démontre que des stratégies de recherche efficaces (démarrage, classement conscient de l'état, ressemence) peuvent produire de meilleurs sous-ensembles que l'entraînement sur données complètes ou la recherche aléatoire dans un budget d'évaluation strict.

Ce travail se positionne comme une alternative contrôlée aux systèmes de génération de données pilotés par les LLM, se concentrant sur l'optimisation des flux de travail de données existants plutôt que sur la synthèse de nouvelles données.