Résumé Technique : InstructDiff

Problématique

Le réglage fin supervisé (SFT - Supervised Fine-Tuning) est la pierre angulaire de l'adaptation des grands modèles de langage (LLM) à des tâches spécifiques. Cependant, l'entraînement sur des jeux de données complets entraîne des coûts de calcul prohibitifs avec des rendements décroissants. Bien que la qualité des données soit de plus en plus reconnue comme étant plus critique que la quantité, les méthodes existantes de sélection de données souffrent d'une grave spécificité de domaine. Les techniques optimisées pour le suivi d'instructions général (par exemple, en utilisant des fonctions d'influence ou des mesures d'incertitude) échouent souvent sur les tâches de raisonnement, et inversement, les méthodes conçues pour le raisonnement (par exemple, le filtrage basé sur la difficulté ou l'échantillonnage Best-of-N) ne se généralisent pas aux tâches générales. Il existe un manque de critère unifié et adaptatif au domaine capable de s'ajuster automatiquement aux caractéristiques des différentes structures de tâches.

Méthodologie : InstructDiff

Les auteurs proposent InstructDiff, un cadre de sélection de données unifié et conscient du modèle qui exploite l'entropie différentielle comme critère de sélection adaptatif au domaine. Le cadre repose sur l'observation que la comparaison d'un modèle de base ($\pi_{base}$) avec un modèle « calibré » ayant subi un réglage fin minimal d'instructions ($\pi_{inst}$) révèle des schémas d'apprentissage distincts selon les domaines.

La méthode consiste en un processus en deux étapes :

1. Calibrage de Préchauffage (Warmup Calibration)

Pour établir une distribution de référence, un petit sous-ensemble aléatoire ($D_{warmup}$, typiquement 10 % des données) est utilisé pour effectuer un léger réglage fin du modèle de base, produisant ainsi un modèle calibré ($\pi_{inst}$). Cette étape active les capacités latentes de suivi d'instructions sans nécessiter un entraînement à grande échelle.

2. Sélection Sensible à la Distribution

Pour chaque échantillon candidat dans le jeu de données complet, le cadre calcule deux métriques entre le modèle de base et le modèle calibré :

• $\Delta$NLL (Différence de Log-Vraisemblance Négative) : Mesure la force du signal d'apprentissage.
• $\Delta$H (Différence d'Entropie) : Définie par $H_{base} - H_{inst}$. Cela révèle le mode d'apprentissage.

Stratégie de Sélection :

1. Filtrage NLL Bi-directionnel : Les échantillons présentant des valeurs de $\Delta$NLL extrêmes sont écartés. Le percentile inférieur (doublons/redondances) et le percentile supérieur (motifs incompréhensibles) sont supprimés pour isoler la « plage apprenable ».
2. Classement basé sur l'Entropie : Dans la plage filtrée, les échantillons sont classés par $\Delta$H. La méthode sélectionne les échantillons présentant l'entropie différentielle absolue la plus faible.

Mécanisme Adaptatif au Domaine :
Le papier identifie que l'« entropie différentielle la plus faible » se manifeste différemment selon la tâche :

• Tâches de Raisonnement (ex: Mathématiques) : Les échantillons optimaux présentent un $\Delta$H négatif (augmentation de l'entropie). Cela représente une « expansion cognitive », où le réglage fin préserve la diversité des chemins de solution.
• Tâches Générales/Médicales : Les échantillons optimaux présentent un petit $\Delta$H positif (diminution de l'entropie). Cela représente une « compression cognitive », où le réglage fin concentre des priors diffus sur des comportements canoniques.

En sélectionnant le $\Delta$H le plus bas quel que soit son signe, le cadre s'adapte automatiquement à la tâche sans spécification manuelle du domaine. Le processus peut être itéré, en utilisant le nouveau modèle finement ajusté comme référence pour le cycle de sélection suivant.

Contributions Clés

• Principe de Sélection Unifié : Le papier introduit une métrique unique (entropie différentielle) qui unifie la sélection de données à travers des domaines disparates (raisonnement, instruction générale, QA médicale, code), surmontant la nature cloisonnée des méthodes précédentes.
• Expansion vs Compression Cognitive : Les auteurs démontrent empiriquement qu'un raisonnement efficace nécessite une augmentation de l'entropie (diversité), tandis que les tâches générales nécessitent une diminution de l'entropie (compression), mais que les deux sont capturées en minimisant l'amplitude du changement d'entropie.
• Efficacité : Le cadre atteint des performances supérieures en utilisant seulement 10 % des données (20 % pour le code), réduisant considérablement les coûts d'entraînement.
• Itératif et Scalable : La méthode permet un raffinement itératif et passe à l'échelle efficacement sur de grands réservoirs de données (ex: sélectionner 10k parmi 100k). Elle supporte également la calibration « weak-to-strong », où de plus petits modèles peuvent sélectionner des données pour de plus grands modèles de la même famille.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur quatre domaines : Mathématiques (Qwen2.5-7B), Instruction Générale (LLaMA3-8B), QA Médicale (LLaMA3-8B) et Génération de Code (LLaMA3-8B).

• Gains de Performance : InstructDiff a surpassé l'entraînement sur données complètes et tous les modèles de référence (incluant Random, PPL-based, Entropy-based, Length-based, IFD, SelectIT et ZIP).
  • Mathématiques : Amélioration relative de 17 % par rapport à l'entraînement complet (31,63 contre 27,05 de score moyen).
  • Instruction Générale : Amélioration relative de 52 % (taux de victoire de 12,09 % contre 8,15 %).
  • QA Médicale : Amélioration relative de 6,2 %.
  • Génération de Code : Amélioration relative de 4,9 %.
• Études d'Ablation : La suppression du filtrage NLL bi-directionnel a provoqué des chutes de performance significatives dans tous les domaines, validant la nécessité de filtrer les échantillons redondants et incompréhensibles. La sélection des 10 % inférieurs de $\Delta$H a systématiquement surpassé la sélection des plages d'entropie élevées ou moyennes.
• Mise à l'Échelle (Scaling) : Appliqué à un réservoir de 100k échantillons, la sélection de 10 % via InstructDiff a surpassé à la fois la sélection aléatoire et l'entraînement complet sur l'ensemble des 100k.
• Efficacité de la Calibration : L'utilisation d'un modèle de 0,5B pour calibrer les données d'un modèle cible de 7B a conservé environ 90 % de la performance d'une calibration de taille identique, tout en réduisant le coût de calcul par 14.

Signification et Revendications

Le papier affirme que l'entropie différentielle sert de critère fondamental et agnostique au domaine pour l'adaptation efficace des LLM. En opérationnalisant la différence d'état des modèles (base vs calibré), InstructDiff identifie les échantillons situés à la « frontière apprenable » du modèle.

Les auteurs soulignent que cette approche ne nécessite aucune heuristique de domaine explicite ; le cadre s'adapte naturellement pour déterminer si une tâche nécessite une expansion ou une compression cognitive. Les résultats suggèrent que des sous-ensembles soigneusement sélectionnés via cette métrique peuvent atteindre des résultats comparables ou supérieurs à l'entraînement sur l'intégralité des données avec des ressources de calcul considérablement réduites, répondant ainsi au défi critique des rendements décroissants dans le SFT à grande échelle.

Limites notées par les auteurs :

• Les hyperparamètres (ratio de rejet $\gamma$ et ratio de sélection $\beta$) nécessitent des ajustements manuels mineurs selon les domaines.
• La qualité de la sélection dépend du modèle de calibration ; des ensembles de préchauffage très petits (ex: 1 %) produisent des estimations bruitées.
• La cohérence de la sélection dépend de la famille de modèles ; les modèles de même famille montrent un chevauchement nettement plus élevé dans les données sélectionnées que les modèles de familles différentes, suggérant que la calibration devrait idéalement être effectuée avec le modèle cible ou un variant de la même famille.