Résumé Technique : Sélection Unifiée de Données pour le Raisonnement des LLM

Énoncé du Problème

L'avancement des Grands Modèles de Langage (LLM) dans le raisonnement complexe et à long terme par Chaîne de Pensée (CoT) est actuellement limité par la nécessité de volumes massifs de données d'entraînement de haute qualité. Les stratégies existantes de sélection de données font face à deux défis principaux :

1. Coût Computationsnel : Les méthodes qui reposent sur l'entraînement de modèles auxiliaires spécifiques à une tâche ou sur l'utilisation de LLM puissants pour filtrer les données engendrent une surcharge computationnelle substantielle.
2. Limitations des Métriques : Les métriques traditionnelles telles que la longueur de séquence, la perplexité ou l'entropie moyenne des tokens échouent à distinguer les échantillons de raisonnement de haute qualité dans les scénarios de CoT long. Ces métriques globales attribuent un poids égal à tous les tokens, masquant ainsi la structure nuancée et multi-étapes du raisonnement complexe (planification, exploration, réflexion) et échouant à capturer les points de décision critiques où le modèle fait face à l'incertitude.

Le problème central est l'absence d'une métrique robuste, efficace et sans entraînement capable de distinguer rapidement les chemins de raisonnement de haute qualité de ceux de faible qualité à travers différents paradigmes d'entraînement.

Méthodologie

Les auteurs proposent le Somme à Haute Entropie (HES), une métrique sans entraînement conçue pour quantifier la qualité du raisonnement en se concentrant sur les informations fines et critiques intégrées dans les réponses de raisonnement.

La Métrique HES

La méthodologie repose sur l'observation que les tokens à haute entropie — ceux où le modèle présente une forte incertitude — correspondent souvent à des points de bifurcation critiques dans un chemin de raisonnement où des décisions non triviales sont prises.

• Définition : Le HES est calculé en sommant les valeurs d'entropie des $k\%$ supérieurs (par exemple, 0,5 %) des tokens ayant la plus haute entropie dans une réponse.
• Formulations :
  • HES$_{relative}$ : Utilise un seuil basé sur les percentiles (par exemple, les 0,5 % supérieurs des tokens) pour s'adapter aux longueurs de séquence et aux distributions de modèles variables. C'est la formulation principale utilisée.
  • HES$_{absolu}$ : Utilise un seuil d'entropie fixe (par exemple, $\tau = 1,6$) pour la sommation.
• Raison d'être : Contrairement à l'entropie moyenne, qui dilue les signaux critiques en moyennant sur de longues séquences, le HES isole l'intensité cumulative des moments pivots à forte incertitude. L'analyse empirique (Figure 1) démontre que tandis que les métriques d'entropie moyenne ne parviennent pas à distinguer les échantillons corrects des incorrects, la somme des tokens à haute entropie fournit une séparation robuste.

Cadre Unifié de Sélection de Données

L'article propose une stratégie unifiée de sélection de données applicable à trois paradigmes d'entraînement dominants :

1. Affinement Supervisé (SFT) : L'ensemble de données complet est classé selon les scores HES. Le modèle est entraîné sur le percentile $\rho$ supérieur (par exemple, les 20 % supérieurs) ou l'ensemble de données est élagué en supprimant le $\rho$ inférieur (par exemple, les 20 % inférieurs).
2. Affinement par Rejet (RFT) : Pour chaque requête, plusieurs réponses candidates sont générées. Le HES est utilisé pour sélectionner les solutions correctes de la plus haute qualité, soit sur une base par requête (sélection des $k$ meilleurs parmi les candidats locaux), soit globalement (sélection des $N$ meilleurs parmi un pool global de trajectoires correctes).
3. Apprentissage par Renforcement (RL) : Les auteurs introduisent une stratégie d'échantillonnage asymétrique pour l'Optimisation de la Politique Relative de Groupe (GRPO). Ils priorisent la sélection des trajectoires positives à HES le plus élevé (pour encourager la maîtrise des motifs complexes) tout en conservant des trajectoires négatives aléatoires (pour assurer l'exposition à divers modes d'erreur). Cela contraste avec l'échantillonnage uniforme standard ou les mises à jour sur tout le lot.

Contributions Clés

1. Introduction du HES : Une métrique nouvelle et sans entraînement qui quantifie la qualité du raisonnement en analysant uniquement les tokens à haute entropie dans les chemins de réponse, capturant efficacement la complexité cumulative des points de décision critiques.
2. Cadre Unifié de Sélection : Une méthode efficace de sélection de données compatible avec les paradigmes SFT, RFT et RL, éliminant le besoin de mécanismes de sélection séparés et coûteux pour chacun.
3. Transférabilité du Petit vers le Grand : Démonstration qu'un modèle proxy léger (par exemple, 0,6B) peut efficacement filtrer les données pour des modèles de base plus grands (par exemple, 8B), réduisant considérablement le coût d'inférence de la curation de données hors ligne sans compromettre la qualité de la sélection.

Résultats Expérimentaux

Des expériences extensives ont été menées dans les domaines des Mathématiques, des STEM et du Code, utilisant des benchmarks tels que AIME, HMMT, GPQA et LiveCodeBench.

• Performance SFT :
  • L'entraînement sur les 20 % supérieurs des données classés par HES a atteint des performances comparables à l'ensemble de données complet à travers divers domaines.
  • Dans le cadre de "Débruitage", la suppression des 20 % inférieurs des données classées par HES a amélioré les performances par rapport à l'ensemble de données complet.
  • À l'inverse, l'entraînement sur les 20 % de données à HES le plus bas a entraîné une dégradation drastique des performances, validant la capacité de la métrique à identifier le bruit nuisible.
  • Efficacité : L'utilisation d'un modèle proxy de 0,6B pour la sélection a produit des résultats (30,20 % en moyenne) comparables à l'utilisation du modèle 8B lui-même (31,34 % en moyenne), réduisant les coûts de sélection d'un ordre de grandeur.
• Performance RFT :
  • La sélection basée sur le HES a nettement surpassé la sélection aléatoire et les bases de référence heuristiques (longueur, difficulté) dans les deux contextes de sélection par requête et de pool global.
  • La sélection par requête a souvent produit des performances supérieures à la sélection de pool global, suggérant que le maintien de la diversité au niveau de la requête est crucial parallèlement au filtrage de la qualité.
• Performance RL :
  • La stratégie "Pos-Haut, Neg-Aléatoire" (sélection des positifs à HES le plus élevé et des négatifs aléatoires) a surpassé l'entraînement standard sur tout le lot et d'autres stratégies d'échantillonnage.
  • Cette approche a atteint une précision supérieure (19,26 % en moyenne) en utilisant seulement 50 % des données par étape par rapport à la base de référence sur tout le lot (18,34 %), confirmant que la priorisation des signaux positifs de haute qualité est plus efficace que l'augmentation de la taille du lot avec des données non différenciées.
• Comparaison des Métriques : Le HES a constamment surpassé les métriques alternatives basées sur l'entropie (Entropie Moyenne, Haute Entropie Moyenne, Somme Totale d'Entropie), confirmant que l'ampleur cumulative des points de bifurcation critiques est le proxy le plus efficace de la qualité du raisonnement.

Importance et Revendications

L'article établit le HES comme une métrique robuste et sans entraînement permettant une méthode unifiée, efficace et efficiente pour développer un raisonnement avancé dans les LLM. Les auteurs affirment que :

• Efficacité : Le HES permet une sélection proxy évolutive utilisant de petits modèles dans le SFT hors ligne et engendre une surcharge de stockage/computation négligeable dans les contextes en ligne RFT et RL (car l'entropie peut être calculée de manière synchrone lors de la génération sans passes avant supplémentaires).
• Efficacité : En se concentrant sur la "minorité de tokens à haute entropie", la méthode filtre avec succès les signaux redondants et le bruit d'entraînement, permettant aux modèles d'apprendre des motifs de raisonnement solides à partir d'un sous-ensemble de données curaté.
• Généralisabilité : La méthode est applicable à travers différentes architectures de modèles (Qwen, Llama, DeepSeek) et domaines de raisonnement (Mathématiques, Code, STEM), suggérant que le HES capture la complexité intrinsèque du raisonnement plutôt que des artefacts spécifiques au modèle.

L'ouvrage conclut que le HES fournit une solution rentable pour mettre à l'échelle les capacités de raisonnement des LLM, soulignant le rôle pivot des tokens critiques dans la sélection de données et réduisant la charge computationnelle associée à l'entraînement de modèles de raisonnement haute performance.