🤖 machine learning

Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training

Cet article propose Data-DPO, une nouvelle méthode de sélection de données pour le post-entraînement des LLM qui exploite le sondage en une étape (one-step probing) pour apprendre les préférences de données tenant compte du modèle cible via un modèle de récompense léger, construisant ainsi un sous-ensemble d'entraînement de haute qualité qui surpasse systématiquement les bases de référence existantes et même l'entraînement sur l'intégralité des données.

Auteurs originaux : Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Publié 2026-08-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle en évolution rapide, les grands modèles de langage sont devenus des outils puissants capables d'écrire, de raisonner et de résoudre des problèmes complexes. Cependant, enseigner à ces modèles l'exécution de tâches spécifiques nécessite un processus appelé ajustement fin supervisé (supervised fine-tuning), où le système apprend à partir de vastes collections d'exemples. Imaginez essayer d'enseigner à un étudiant en lui remettant une bibliothèque entière de livres ; bien que l'étudiant finisse par apprendre, le processus est incroyablement lent, coûteux et souvent inefficace car une grande partie du matériel est redondante ou non pertinente pour la leçon spécifique en question. Les chercheurs cherchent depuis longtemps un moyen de ne sélectionner que les pages les plus utiles de cette bibliothèque, espérant ainsi entraîner le modèle plus rapidement et à moindre coût sans sacrifier son intelligence. L'hypothèse prédominante dans ce domaine était que certaines données sont simplement « meilleures » que d'autres en fonction de leur propre qualité intrinsèque, tout comme un manuel scolaire est jugé par la clarté de son écriture.

Une nouvelle étude remet en question cette vision statique de la qualité des données. Les chercheurs, dirigés par une équipe de l'Université de Nanjing et de plusieurs autres institutions, soutiennent que la valeur d'un exemple d'entraînement ne dépend pas seulement de l'exemple lui-même, mais de la manière dont il s'adapte au modèle spécifique qui est en train d'apprendre. Tout comme un problème de physique difficile peut être parfait pour un étudiant avancé mais accablant pour un débutant, un échantillon de données de haute qualité peut être inutile pour un modèle d'intelligence artificielle donné tout en étant exactement ce dont un autre modèle a besoin pour s'améliorer. Pour résoudre cela, l'équipe a développé une méthode appelée Data-DPO, qui agit comme un guide personnalisé pour la sélection des données d'entraînement. Au lieu de s'appuyer sur une liste préétablie d'exemples « bons », cette méthode observe comment un modèle spécifique réagit à différents échantillons lors d'un bref essai. En observant quels exemples aident le modèle à le plus apprendre en une seule étape, le système construit une carte personnalisée de préférences, identifiant les données qui résonnent véritablement avec les besoins actuels de ce modèle particulier.

Le cœur de cette approche repose sur un processus ingénieux en deux étapes. Premièrement, les chercheurs prennent un petit groupe représentatif de données et laissent le modèle cible s'exercer dessus pendant un seul instant. Ils mesurent à quel point la performance du modèle s'améliore après cette minuscule étape. Si un exemple spécifique provoque une baisse significative des erreurs, cela signale que le modèle est en train de s'« activer » ou de s'éveiller à cette information. Le système compare ensuite ces réactions, créant un classement des échantillons les plus efficaces pour ce modèle spécifique à ce moment précis. Cela marque une rupture avec les anciennes méthodes qui traitaient la valeur des données comme une propriété fixe, indépendante de l'apprenant. Les chercheurs ont découvert qu'en utilisant ce retour d'information en direct, ils pouvaient construire un ensemble d'entraînement bien plus efficace qu'un ensemble choisi par hasard ou par des contrôles de qualité standards.

Pour s'assurer que les données sélectionnées n'étaient pas seulement faciles à apprendre, mais aussi diverses et de haute qualité, l'équipe a combiné ce retour d'information spécifique au modèle avec d'autres facteurs. Ils ont ajouté une couche d'évaluation de la qualité externe pour garantir l'exactitude des réponses, ainsi qu'une mesure de la diversité pour s'assurer que le modèle soit confronté à une grande variété de situations. Cette approche hybride leur a permis de choisir un sous-ensemble de données qui couvrait le terrain nécessaire sans redondance. Lors de tests sur deux types de tâches différents — l'une impliquant des instructions visuelles générales et l'autre axée sur le raisonnement complexe — la nouvelle méthode a systématiquement surpassé les techniques de sélection existantes. Dans de nombreux cas, les modèles entraînés sur ces sous-ensembles soigneusement sélectionnés ont obtenu de meilleurs résultats que les modèles entraînés sur l'ensemble du jeu de données original, atteignant des performances supérieures à 100 % de la performance des données complètes dans certains scénarios.

L'étude a également testé rigoureusement si cette méthode dépendait d'un type spécifique de modèle ou d'une manière spécifique de mesurer la qualité. Les résultats ont montré que l'approche restait robuste même lorsque les chercheurs changeaient le modèle cible pour un autre modèle de taille ou de famille différente, ou lorsqu'ils remplaçaient les outils utilisés pour juger la qualité des données. Cela suggère que la méthode n'est pas un tour fragile qui ne fonctionne que dans des conditions parfaites, mais une stratégie fiable pour trouver les bonnes données pour le bon modèle. Les chercheurs ont toutefois noté que la méthode nécessite toujours un certain effort de calcul initial pour exécuter ces sondages d'essai, et qu'elle fonctionne mieux lorsque la distribution des données reste relativement stable. En fin de compte, ce travail démontre que, à l'ère des grands modèles, les données d'entraînement les plus efficaces ne sont pas une constante universelle, mais une relation dynamique entre l'apprenant et la leçon. En écoutant le propre retour d'information du modèle, les chercheurs peuvent désormais constituer des ensembles d'entraînement qui ne sont pas seulement plus petits, mais plus intelligents.

Résumé Technique : Data-DPO

Énoncé du Problème

Le réglage fin supervisé (SFT - Supervised Fine-Tuning) est une étape critique pour améliorer les grands modèles de langage (LLM), mais l'entraînement sur des jeux de données d'instructions à pleine échelle est coûteux en termes de calcul et souvent sous-optimal. Les méthodes de sélection de données existantes traitent généralement ce problème en sélectionnant des sous-ensembles basés sur l'importance de l'échantillon (similitude de gradient, réduction de la perte) ou la diversité des données (couverture des plongements, réduction de la redondance).

Cependant, les auteurs soutiennent que ces méthodes considèrent la valeur des données comme une propriété statique, déterminée uniquement par la qualité intrinsèque de l'échantillon ou sa position dans un espace de représentation. Cela néglige un aspect crucial : la compatibilité entre un échantillon de données et la distribution des capacités du modèle cible spécifique. Un échantillon qui est « de haute qualité » ou « informatif » dans un sens général peut être trop difficile pour un modèle plus faible ou redondant pour un modèle plus fort. Par conséquent, le problème central abordé est de savoir comment sélectionner des données qui ne sont pas seulement de haute qualité, mais spécifiquement adaptées aux besoins d'apprentissage actuels du modèle cible.

Méthodologie : Data-DPO

Le papier propose Data-DPO, un cadre de sélection de données orienté vers le modèle cible. Contrairement aux méthodes reposant sur des indicateurs statiques ou pré-calculés, Data-DPO observe activement la dynamique d'entraînement locale du modèle cible pour en dériver des préférences. Le pipeline se compose de quatre étapes principales :

1. Encodage à Double Vue (Dual View Encoding)

Chaque échantillon candidat $z_i = (c_i, y_i)$ (condition et réponse) est encodé en deux représentations complémentaires à l'aide d'un modèle de plongement gelé :

Plongement de la Condition ( $e^c_i$ ) : Encode uniquement l'entrée $c_i$ . Utilisé pour la construction de l'ensemble de sondage et la mesure de la diversité marginale.
Plongement de Supervision ( $e^s_i$ ) : Encode la paire complète $(c_i, y_i)$ . Utilisé pour l'apprentissage des préférences et le scoring.

2. Construction de l'Ensemble de Sondage et Sondage d'Activation

Pour caractériser la façon dont le modèle cible $M_0$ réagit à différents échantillons, un ensemble de sondage (probe set) représentatif $D_p$ est construit via le clustering et une stratégie de k-center gourmande pour assurer la couverture.

Sondage en une étape (One-Step Probing) : La méthode effectue $T$ cycles de mises à jour en une étape. Pour un batch $B_t$ , elle calcule la perte SFT avant ( $\ell^0_i$ ) et après une mise à jour temporaire d'une étape ( $\ell^1_i$ ).
Gain d'Activation : Le gain est défini par $g^{(t)}_i = \log(\frac{\ell^0_i + \epsilon}{\ell^1_i + \epsilon})$ . Un gain plus élevé indique qu'un échantillon active fortement le modèle cible localement.
Construction des Préférences : Ces gains sont normalisés au sein des batches et agrégés pour former des préférences par paires ( $z_w \succ z_l$ ) basées sur l'échantillon produisant la plus grande activation.

3. Apprentissage des Préférences (Style DPO)

Un modèle de récompense léger (MLP résiduel) est entraîné pour prédire les préférences de données conditionnées par le modèle cible.

Objectif : Le modèle est entraîné en utilisant un objectif de Direct Preference Optimization (DPO) dans l'espace des données.
Politique de Référence : Contrairement au DPO standard qui utilise la politique d'un modèle de base comme référence, Data-DPO utilise une référence empirique uniforme sur l'ensemble de sondage, car l'ensemble candidat est prédéfini plutôt que échantillonné à partir d'une politique.
Entraînement : Le modèle apprend à attribuer des récompenses plus élevées aux échantillons préférés par le feedback d'une étape du modèle cible.

4. Sélection Séquentielle

Le sous-ensemble final est sélectionné de manière gourmande en combinant trois signaux :

Préférence du Modèle Cible ( $p_i$ ) : Le score du modèle de récompense entraîné.
Qualité Externe ( $q_i$ ) : Un score de qualité indépendant (par exemple, provenant d'un autre LLM).
Diversité Marginale ( $d_i$ ) : Mesurée par la similitude cosinus des plongements de condition par rapport à l'ensemble déjà sélectionné.
La récompense par étape est $R(S_t, z_i) = p_i + q_i + d_i(S_t)$ , garantissant que le sous-ensemble sélectionné équilibre l'activation spécifique au modèle, la qualité générale et la couverture de la distribution.

Contributions Clés

Perspective Conditionnée par le Modèle Cible : Le papier recadre la sélection de données en soulignant que la valeur des données est dynamique et dépend de la compatibilité avec la distribution des capacités du modèle cible, plutôt que d'être une propriété intrinsèque statique.
Cadre Data-DPO : Il introduit une méthode qui construit des préférences de données directement à partir du feedback d'entraînement d'une étape du modèle cible, en entraînant un modèle de récompense pour apprendre ces préférences spécifiques.
Stratégie de Sélection Hybride : Il propose un mécanisme de sélection qui intègre les préférences du modèle cible avec la qualité externe et la diversité marginale pour éviter le surapprentissage sur des échantillons localement faciles à activer.
Validation Empirique : Des expériences systématiques démontrent que Data-DPO surpasse systématiquement les bases de comparaison existantes (incluant les méthodes basées sur l'importance, la diversité et les méthodes hybrides) et dépasse de manière stable les performances de l'entraînement sur l'ensemble des données à travers plusieurs budgets de données.

Résultats Expérimentaux

La méthode a été évaluée sur Vision-Flan (instruction générale) et LLaVA-CoT (raisonnement) en utilisant LLaVA et Llama-3.2 comme modèles cibles sous des budgets de données de 5 %, 10 % et 15 %.

Performance : Data-DPO a systématiquement surpassé toutes les bases de comparaison (ex: Random, LESS, COINCIDE, EL2N) sur Vision-Flan et à des budgets plus faibles sur LLaVA-CoT.
- Sur Vision-Flan, il a atteint un Performance Relative Moyenne (ARP) de 100,76 %, 102,63 % et 102,70 % pour les budgets de 5 %, 10 % et 15 % respectivement, dépassant tous l'entraînement sur l'ensemble des données.
- Sur LLaVA-CoT, il a atteint un ARP de 102,73 % et 103,93 % à 5 % et 10 % de budget, surpassant de manière significative les bases de comparaison. Cependant, au budget de 15 %, EL2N a atteint un ARP de 102,46, légèrement supérieur à celui de Data-DPO (101,31). Malgré cela, Data-DPO a tout de même surpassé toutes les autres méthodes et a maintenu une performance supérieure à l'entraînement complet.
Études d'Ablation :
- Modèles Proxy : L'utilisation d'un modèle proxy (entraîné sur 5 % de données) pour le sondage au lieu du modèle cible original a considérablement dégradé les performances, validant la nécessité d'un feedback direct du modèle cible.
- Combinaison de Signaux : L'utilisation de la seule préférence du modèle a donné de moins bons résultats qu'une sélection aléatoire. La combinaison Préférence + Qualité + Diversité était essentielle pour des résultats optimaux, montrant la complémentarité de ces signaux.
- Robustesse : La méthode est restée efficace à travers différentes échelles de modèles cibles (7B vs 13B), différentes familles de modèles, différentes sources de score de qualité et différents modèles de plongement.

Signification et Revendications

Le papier affirme que Data-DPO offre un changement de paradigme dans la sélection de données en passant d'une évaluation statique centrée sur l'échantillon à une évaluation dynamique centrée sur le modèle.

Intuition Centrale : La valeur des données dans le SFT n'est pas absolue ; elle est relative à l'état actuel du modèle cible. Un échantillon qui active les capacités latentes d'un modèle est plus précieux qu'un échantillon qui est simplement de « haute qualité » de manière isolée.
Stabilité : En combinant les préférences spécifiques au modèle avec des contraintes de qualité et de diversité, Data-DPO évite les pièges de la sélection de seuls échantillons « faciles » qui pourraient mener à des distributions d'entraînement étroites.
Efficacité : Bien qu'il nécessite une phase de sondage, il évite l'entraînement de modèles proxy lourds pour les signaux de sélection, en s'appuyant plutôt sur un modèle de récompense léger entraîné sur le feedback d'une étape.

Les auteurs concluent que leur méthode fournit une solution robuste et consciente du modèle cible pour la sélection de données SFT, permettant aux modèles d'atteindre des performances supérieures avec une quantité de données d'entraînement considérablement réduite.