🤖 machine learning

HARP: Efficient Data Selection for Finetuning Large Language Models

Le document introduit HARP, une méthode d'élagage hiérarchique des régions actives qui sélectionne efficacement les données de réglage fin pour les grands modèles de langage en organisant l'ensemble de données en une hiérarchie nœud-feuille et en utilisant des a posteriori bayésiens empiriques pour inférer les utilités, atteignant ainsi une performance en aval supérieure avec nettement moins d'exemples d'entraînement et un coût computationnel réduit par rapport aux sélecteurs basés sur l'entraînement existants.

Auteurs originaux : Ning Wang, Zhengxin Zhang, Maosen Tang, Yitang Gao, Claire Cardie, Sainyam Galhotra

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ning Wang, Zhengxin Zhang, Maosen Tang, Yitang Gao, Claire Cardie, Sainyam Galhotra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de créer la recette parfaite pour un nouveau plat célèbre. Vous avez une immense bibliothèque de 100 000 vieux livres de cuisine (les données d'entraînement). Vous voulez enseigner à votre chef IA une nouvelle compétence, comme « réussir son pain au levain ».

Le problème ? La plupart de ces 100 000 livres sont remplis de :

Doublons : La même recette écrite de dix façons différentes.
Bruit : Des pages déchirées, tachées ou simplement absurdes.
Irrélevance : Des recettes pour faire de la soupe alors que vous avez besoin de pain.

Si vous essayez de lire l'intégralité de ces 100 000 livres pour choisir les meilleurs, cela prendra une éternité et coûtera une fortune. Si vous en choisissez au hasard, votre chef pourrait prendre de mauvaises habitudes. Si vous les choisissez en fonction de leur apparence (comme vérifier si la couverture correspond), vous pourriez choisir un livre qui ressemble à du pain mais qui traite en réalité de la soupe.

HARP est un nouveau système intelligent conçu pour résoudre ce problème de « sélection de données ». Il aide à choisir le petit sous-ensemble de livres idéal pour enseigner à votre chef, sans avoir à lire chaque page au préalable.

Voici comment fonctionne HARP, décomposé en étapes simples :

1. La Carte de la Bibliothèque (Hiérarchie)

Au lieu d'examiner chaque livre individuellement, HARP organise la bibliothèque en une hiérarchie.

Imaginez regrouper les livres par Étagères (Nœuds).
Puis, regrouper des sections spécifiques de ces étagères en Bacs (Feuilles).
Chaque « Bac » contient un lot de recettes similaires.

Cela signifie que HARP n'a pas besoin de tester 100 000 livres individuels. Il n'a besoin de tester que quelques « Bacs » représentatifs.

2. Le Test de Goût (Échantillonnage Représentatif)

Tester chaque Bac est encore trop coûteux. C'est pourquoi HARP ne choisit qu'un ou deux « Testeurs de Goût » (feuilles représentatives) de chaque Bac pour les essayer réellement.

Il entraîne le chef IA sur ces quelques échantillons.
Il observe les performances du chef sur un test spécifique (comme un « Défi du Pain au Levain »).
L'astuce magique : En utilisant une méthode statistique appelée Bayes Empirique, HARP peut regarder les résultats des quelques « Testeurs de Goût » et deviner comment le reste du Bac aurait performé. C'est comme goûter un seul biscuit d'une fournée et deviner avec confiance que tout le lot est bon, sans avoir à cuire le reste.

3. Les Deux Stratégies de Sélection (Les Enveloppes)

Une fois que HARP sait quels Bacs sont bons, il doit décider lesquels inclure dans l'ensemble d'entraînement final. Il propose deux « enveloppes » (stratégies) différentes selon la situation :

HARP-C (L'Élagageur Conservateur) :
- La métaphore : Imaginez que vous préparez votre valise pour un voyage. Vous avez un espace limité. HARP-C dit : « Si deux articles font exactement le même travail, n'en emportez que le meilleur. Ne prenez pas de doublons. »
- Quand l'utiliser : C'est idéal pour les données désordonnées et bruitées (comme le jeu de données « Self-Instruct » mentionné dans l'article). Cela évite le surcomptage et garantit que vous ne gaspillez pas d'espace avec des recettes redondantes.
HARP-E (Le Collecteur Expansif) :
- La métaphore : Imaginez que vous construisez un puzzle. HARP-E dit : « Même si deux pièces se ressemblent, si elles ajoutent toutes les deux un peu de couleur à l'image, emportez les deux ! »
- Quand l'utiliser : C'est idéal pour les données propres et de haute qualité (comme le jeu de données « WizardLM »). Cela récompense le fait d'avoir plusieurs pièces qui se complètent, même si elles appartiennent à la même catégorie.

4. Les Résultats : Plus Intelligent, Plus Rapide, Moins Cher

L'article a testé HARP sur trois modèles d'IA différents et divers jeux de données. Voici ce qu'ils ont découvert :

Meilleure Performance : HARP a battu les méthodes existantes les plus puissantes avec une marge considérable (jusqu'à 8,9 points de précision en plus).
Économies Massives : Il a obtenu ces meilleurs résultats en utilisant environ 7 fois moins d'exemples d'entraînement que le budget standard de « 10 000 exemples ».
Efficacité : Il a utilisé environ 56 fois moins d'exemples que l'entraînement sur l'ensemble du jeu de données.

L'Essentiel

HARP est comme un bibliothécaire super efficace qui peut examiner quelques échantillons d'une collection massive, deviner la qualité du reste, et choisir la poignée de livres absolument parfaite pour enseigner à une IA. Cela gagne du temps, économise de l'argent et produit un chef IA plus intelligent qu'en essayant de tout lire ou en choisissant au hasard.

Point clé à retenir : Vous n'avez pas besoin de plus de données pour obtenir de meilleurs résultats en IA ; vous avez juste besoin des bonnes données, et HARP est l'outil qui les trouve efficacement.

Résumé Technique : HARP – Sélection Efficace de Données pour le Fine-tuning de Grands Modèles de Langage

1. Énoncé du Problème

Le fine-tuning des Grands Modèles de Langage (LLM) nécessite la sélection de sous-ensembles de données de haute qualité pour améliorer les performances en aval tout en gérant les coûts computationnels. Les approches existantes sont confrontées à un arbitrage entre deux objectifs concurrents :

Les sélecteurs sans entraînement (Train-free) : Ces méthodes (basées par exemple sur la similitude d'embedding, le clustering ou des objectifs de diversité) sont évolutives et peu coûteuses, mais reposent sur des proxies qui peuvent ne pas s'aligner sur l'objectif réel en aval (ex: la précision de la tâche). Une forte similitude d'embedding avec un ensemble de test, par exemple, ne garantit pas une utilité marginale élevée pour l'amélioration du modèle.
Les sélecteurs basés sur l'entraînement (Train-based) : Ces méthodes (telles que l'estimation de la valeur de Shapley, les fonctions d'influence ou les approximations basées sur le gradient) estiment explicitement la contribution des données à la performance en aval, offrant ainsi un meilleur alignement avec l'objectif cible. Cependant, elles sont extrêmement coûteuses en calcul, nécessitant de nombreuses itérations fastidieuses de type « entraînement–évaluation » pour évaluer les sous-ensembles candidats.

Le papier postule la nécessité d'un « juste milieu » : un sélecteur qui conserve l'alignement avec l'objectif en aval des méthodes basées sur l'entraînement, tout en évitant le coût exhaustif de l'évaluation de chaque candidat.

2. Méthodologie : Hiérarchisation de l'Élagage des Régions Actives (HARP)

HARP est un cadre de sélection de données basé sur l'entraînement, conçu pour réduire les coûts de sélection tout en préservant l'alignement avec les objectifs en aval. Il opère via trois mécanismes fondamentaux :

A. Construction Hiérarchique Nœuds–Feuilles

Au lieu d'évaluer chaque exemple d'entraînement individuellement, HARP organise le pool d'entraînement en une hiérarchie à deux niveaux :

Nœuds : Régions locales grossières formées par le clustering d'exemples d'entraînement basés sur des embeddings normalisés.
Feuilles : Unités de sélection atomiques (groupes d'exemples) au sein de chaque nœud.
Cette structure réduit le nombre d'unités candidates de $N$ (exemples individuels) à $G$ (feuilles), où $G \le N/C_{min}$ .

B. Estimation de l'Utilité par l'Empirical Bayes

Évaluer chaque feuille reste coûteux. HARP emploie une stratégie d'échantillonnage et d'inférence :

Échantillonnage Représentatif : Pour chaque nœud, un petit ensemble de feuilles représentatives est sélectionné (via une stratification par taille et un échantillonnage de type farthest-first) et réellement soumis au fine-tuning/évaluation.
Inférence : L'utilité des feuilles non mesurées est inférée à l'aide de posteriors d'Empirical Bayes. La méthode interpole les estimations locales en fonction de la similitude avec les représentants mesurés et applique une contraction (shrinkage) vers une moyenne globale pour réduire le bruit d'estimation.
Ensemble d'Évaluation Proxy : Pour réduire davantage les coûts d'évaluation, HARP construit un ensemble d'évaluation proxy compact ( $\tilde{E}$ ) qui préserve la couverture de domaine et la diversité, plutôt que d'évaluer sur l'ensemble de validation complet à chaque itération.

C. Enveloppes de Sélection Complémentaires

Sur la base des effets principaux estimés (contributions d'utilité) des feuilles, HARP introduit deux stratégies de sélection (enveloppes) pour traiter différemment la redondance et la complémentarité :

HARP-C (Couverture Conservatrice) : Utilise une enveloppe conservatrice qui n'attribue de crédit qu'à la feuille la plus forte par domaine tout en accumulant tous les dommages estimés. Cela empêît le surcomptage de l'utilité lorsque plusieurs feuilles capturent la même information redondante. Elle est particulièrement efficace pour les données bruitées ou hétérogènes.
HARP-E (Additive Expansive) : Utilise une enveloppe expansive qui additionne les contributions positives à travers les feuilles. Cela permet à plusieurs feuilles complémentaires au sein d'un même domaine de recevoir un crédit. Elle performe mieux sur des données propres et orientées vers la tâche (on-task), où la redondance est moins préoccupante.

D. Garanties Théoriques

Le papier fournit une analyse théorique montrant que, sous des hypothèses de lissage local et d'erreur d'estimation bornée, HARP contrôle l'erreur de sélection. Plus précisément, la borne d'erreur pour HARP-C est proportionnelle à $(K+1)\eta$ et pour HARP-E à $K\eta$ (où $K$ est le nombre maximum de feuilles dans un ensemble et $\eta$ est l'erreur d'estimation), démontrant la stabilité même avec des estimations d'utilité approximatives.

3. Principales Contributions

Cadre HARP : Une nouvelle méthode de sélection de données hiérarchique qui réduit les coûts de sélection basés sur l'entraînement de plusieurs ordres de grandeur grâce au regroupement par niveau de feuille et à l'inférence par Empirical Bayes.
Stratégie de Double Enveloppe : L'introduction de HARP-C et HARP-E, qui offrent des forces complémentaires : HARP-C pour un élagage robuste dans des environnements bruités et HARP-E pour maximiser la couverture dans des jeux de données propres.
Analyse Théorique : Des preuves formelles établissant la stabilité du processus de sélection et des bornes sur l'erreur de sélection par rapport à la précision de l'estimation.
Validation Empirique : Évaluation complète sur 3 modèles de base, 3 jeux de données d'entraînement et 4 benchmarks de raisonnement.

4. Résultats Expérimentaux

Les auteurs ont évalué HARP contre 6 baselines (incluant Random, DSIR, DQ, Full Finetuning et des variantes de SHED) à travers 36 configurations expérimentales (3 modèles $\times$ 3 jeux de données $\times$ 4 benchmarks).

Performance : Les variantes de HARP ont obtenu le meilleur résultat dans 28 des 36 configurations (78%).
Comparaison aux Baselines : En moyenne, HARP-C et HARP-E ont surpassé la meilleure baseline non-HARP (SHED-O) de +8,9 et +7,9 points, respectivement. Ils ont également nettement surpassé le Full Finetuning.
Efficacité des Données : Les variantes de HARP ont obtenu ces résultats en utilisant environ 7 fois moins d'exemples d'entraînement que les baselines à budget de 10k et 56 fois moins que le Full Finetuning.
Sensibilité aux Jeux de Données :
- HARP-C a excellé sur les jeux de données bruités (Self-Instruct) et hétérogènes (Tulu-3).
- HARP-E a le mieux performé sur les jeux de données propres et orientés vers la tâche (WizardLM), surpassant souvent le Full Finetuning.
Études d'Ablation : La méthode a montré une robustesse aux variations de la taille des feuilles ( $L$ ) et du nombre de représentants par nœud ( $R$ ), les réglages par défaut offrant un équilibre pratique entre granularité et coût.

5. Signification et Revendications

Le papier affirme que HARP parvient à combler le fossé entre l'évolutivité des méthodes sans entraînement et l'alignement objectif des méthodes basées sur l'entraînement. En organisant les données de manière hiérarchique et en important les utilités via l'Empirical Bayes, HARP évite les itérations exhaustives de type entraînement–évaluation qui rendent la sélection traditionnelle basée sur l'entraînement irréalisable à grande échelle.

Les auteurs soulignent que les deux enveloppes sont complémentaires : HARP-C est supérieur pour un « élagage conservateur » dans les régimes de données bruitées, tandis que HARP-E est meilleur pour une « couverture plus large de la tâche » dans les régimes propres. Ce travail démontre qu'un fine-tuning de haute qualité peut être réalisé avec des ressources de données et de calcul considérablement réduites sans sacrifier la performance en aval, répondant ainsi à l'inefficacité et à la redondance souvent présentes dans les jeux de données actuels de fine-tuning à grande échelle.

Limites : Les auteurs notent que HARP nécessite un ensemble d'évaluation reflétant la distribution de la tâche en aval et que leurs expériences actuelles sont limitées aux benchmarks de raisonnement, laissant les tâches de codage et de génération ouverte à des travaux futurs.